Aby przenieść dane z bazy danych Firestore Standard do bazy danych Firestore Enterprise, zalecamy użycie jednej z tych opcji:
funkcje importowania i eksportowania, Pliki danych z operacji importowania są zgodne zarówno z wersją Enterprise, jak i Standard.
Szablon
firestore-to-firestoreDataflow. Usługa Dataflow umożliwia tworzenie potoków danych, a szablonfirestore-to-firestoretworzy potok wsadowy między bazami danych Cloud Firestore.
Importowanie i eksportowanie to prostsza opcja, która wymaga mniejszej liczby opcji konfiguracji.
Szablon Dataflow można bardziej dostosować. Możesz rozszerzyć kod szablonu, aby przeprowadzić częściową migrację lub przekształcić dane. Możesz też kontrolować liczbę i rozmiar instancji roboczych.
Obie opcje obsługują migracje między projektami i regionami.
Migracja danych za pomocą eksportu i importu
Aby dowiedzieć się, jak przeprowadzić migrację danych za pomocą operacji eksportowania i importowania, przeczytaj artykuł na temat eksportowania i importowania danych. Aby przenieść dane do bazy danych w innym projekcie, zapoznaj się z artykułem Przenoszenie danych między projektami.
Przenoszenie danych za pomocą szablonu Dataflow
Aby przenieść dane za pomocą szablonu firestore-to-firestore Dataflow, postępuj zgodnie z tymi instrukcjami.
Zanim zaczniesz
Zanim rozpoczniesz migrację danych, upewnij się, że w źródłowej bazie danych jest włączone odzyskiwanie do określonego momentu. Zadanie Dataflow używa PITR do odczytu danych w sygnaturze czasowej PITR. Jeśli odzyskiwanie do określonego momentu jest wyłączone, zadanie nie powiedzie się, jeśli będzie działać dłużej niż godzinę.
Aby korzystać z tego szablonu, musisz włączyć interfejs API
datastore.googleapis.com.Przypisz wymagane role opisane w następnej sekcji.
Wymagane role
Aby przenieść dane z jednej bazy danych do innej, przypisz te role. Wymagane uprawnienia możesz też uzyskać, używając ról niestandardowych lub innych ról zdefiniowanych:
- Aby uzyskać uprawnienia potrzebne do utworzenia nowej bazy danych i uzyskania dostępu do danych Cloud Firestore, poproś administratora o przypisanie Ci roli Właściciel Cloud Datastore (
roles/datastore.owner) Identity and Access Management (IAM) w Twoim projekcie. -
Aby przyznać zadaniu Dataflow uprawnienia do odczytu i zapisu w bazach danych Cloud Firestore, przypisz kontu usługi instancji roboczej Dataflow (np.
PROJECT_NUMBER-compute@) rolę uprawnień Użytkownik Cloud Datastore (roles/datastore.user) w projekcie.Więcej informacji o zabezpieczeniach Dataflow znajdziesz w artykule Zabezpieczenia i uprawnienia w Dataflow.
Więcej informacji o przyznawaniu ról uprawnień znajdziesz w artykule o zarządzaniu dostępem do projektów, folderów i organizacji.
1. Tworzenie nowej bazy danych Firestore Enterprise
Aby przenieść dane z bazy danych w wersji Standard do bazy danych w wersji Enterprise, musisz najpierw utworzyć docelową bazę danych w wersji Enterprise. Zobacz Tworzenie bazy danych.
2. Uruchamianie szablonu Dataflow firestore-to-firestore
Skonfiguruj i uruchom zadanie Dataflow za pomocą szablonu firestore-to-firestore.
Szablony obsługują migrację całej bazy danych lub tylko określonych grup kolekcji.
Ograniczenia
Weź pod uwagę te ograniczenia szablonu firestore-to-firestore Dataflow:
- Źródłowa baza danych musi być bazą danych w wersji Standard.
- Migracja odczytuje dane w określonym czasie odczytu. Zalecamy włączenie odzyskiwania do określonego momentu w źródłowej bazie danych. Jeśli odzyskiwanie do określonego momentu nie jest włączone, dane tracą ważność po godzinie, co może nie wystarczyć do zakończenia migracji danych. PITR wydłuża okres przechowywania danych do 7 dni.
- Indeksy nie są przenoszone.
Zadanie Dataflow nie przenosi konfiguracji bazy danych, takich jak zasady czasu życia (TTL), kopie zapasowe, PITR i klucze szyfrowania zarządzane przez klienta (CMEK).
Musisz skonfigurować te ustawienia w nowej bazie danych. Aby przyspieszyć migrację danych, poczekaj z konfiguracją TTL, kopii zapasowych i odzyskiwania do określonego momentu w docelowej bazie danych do zakończenia migracji.
Poniższe przykłady pokazują, jak uruchomić szablon za pomocą Google Cloud CLI.
Przenoszenie wszystkich danych
Aby przenieść wszystkie dane, użyj tego polecenia:
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Zastąp następujące elementy:
JOB_NAME: nazwa zadania.PROJECT: identyfikator projektu Google Cloud.REGION_NAME: lokalizacja Google Cloud, w której chcesz uruchomić zadanie Dataflow. Użyj lokalizacji, która znajduje się w pobliżu baz danych.VERSION: wersja szablonu, którego chcesz użyć. Możesz użyć tych wartości:latest, aby użyć najnowszej wersji szablonu, która jest dostępna w folderze nadrzędnym bez daty w zasobniku: gs://dataflow-templates-REGION_NAME/latest/- nazwę wersji, np.
2023-09-12-00_RC00, aby użyć konkretnej wersji szablonu, którą można znaleźć w odpowiednim folderze nadrzędnym z datą w zasobniku: gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: identyfikator źródłowego projektu Google Cloud, który zawiera bazę danych Firestore w wersji Standard.SOURCE_DATABASE_ID: identyfikator źródłowej bazy danych Cloud Firestore.DESTINATION_PROJECT_ID: identyfikator docelowego projektu Google Cloud dla nowej bazy danych Cloud Firestore.DESTINATION_DATABASE_ID: identyfikator docelowej bazy danych Cloud Firestore.READ_TIME: sygnatura czasowa odczytu danych ze źródłowej bazy danych. Ustaw sygnaturę czasową w formacie RFC 3339 z dokładnością do minuty, np.2026-05-15T16:31:00.00Z.Najwcześniejsza prawidłowa sygnatura czasowa zależy od ustawień odzyskiwania do określonego momentu (PITR). Zobacz Pobieranie czasu najwcześniejszej wersji.
Przenieś określone grupy kolekcji
Aby przenieść tylko określone grupy kolekcji, użyj tego polecenia:
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Zastąp następujące elementy:
JOB_NAME: nazwa zadania.PROJECT: identyfikator projektu Google Cloud.REGION_NAME: lokalizacja Google Cloud, w której chcesz uruchomić zadanie Dataflow. Użyj lokalizacji, która znajduje się w pobliżu baz danych.VERSION: wersja szablonu, którego chcesz użyć. Możesz użyć tych wartości:latest, aby użyć najnowszej wersji szablonu, która jest dostępna w folderze nadrzędnym bez daty w zasobniku: gs://dataflow-templates-REGION_NAME/latest/- nazwę wersji, np.
2023-09-12-00_RC00, aby użyć konkretnej wersji szablonu, którą można znaleźć w odpowiednim folderze nadrzędnym z datą w zasobniku: gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: identyfikator źródłowego projektu Google Cloud, który zawiera bazę danych Firestore w wersji Standard.SOURCE_DATABASE_ID: identyfikator źródłowej bazy danych Cloud Firestore.COLLECTION_GROUP_IDS: lista identyfikatorów grup kolekcji rozdzielona przecinkami do przeniesienia.Podkolekcje nie są uwzględniane rekurencyjnie. Jeśli na przykład określisz grupę kolekcji
users, migracja nie obejmie podkolekcjimessagesw/users/userid/messages, chyba że określisz też grupę kolekcjimessages.DESTINATION_PROJECT_ID: identyfikator docelowego projektu Google Cloud dla nowej bazy danych Cloud Firestore.DESTINATION_DATABASE_ID: identyfikator docelowej bazy danych Cloud Firestore.READ_TIME: sygnatura czasowa odczytu danych ze źródłowej bazy danych. Ustaw sygnaturę czasową w formacie RFC 3339 z dokładnością do minuty, np.2026-05-15T16:31:00.00Z.Najwcześniejsza prawidłowa sygnatura czasowa zależy od ustawień odzyskiwania do określonego momentu (PITR). Zobacz Pobieranie czasu najwcześniejszej wersji.
3. Konfigurowanie bazy danych
Zadanie firestore-to-firestore przenosi tylko dane.
Indeksy i inne ustawienia bazy danych nie są przenoszone. Oprócz migracji danych rozważ skonfigurowanie w nowej bazie danych tych elementów:
Indeksy: bazy danych Firestore Enterprise nie wymagają indeksów do uruchamiania zapytań i domyślnie nie tworzą automatycznych indeksów. Aby utworzyć indeksy dla zapytań, zapoznaj się z tymi artykułami:
- Omówienie indeksów w wersji Firestore Enterprise
- Optymalizacja wydajności zapytań za pomocą indeksów
- Możesz użyć interfejsu wiersza poleceń Firebase, aby wyeksportować indeksy i wdrożyć je w nowej bazie danych.
- Użyj statystyk zapytań, aby zidentyfikować zapytania, które możesz zoptymalizować za pomocą indeksu.
TTL: tworzenie zasad TTL.
Kopie zapasowe: skonfiguruj kopie zapasowe.
Po skonfigurowaniu bazy danych możesz kontynuować testowanie aplikacji z nową bazą danych. Aby przeprowadzić pełną migrację, zaktualizuj aplikacje, tak aby korzystały z nowej bazy danych.
Rozwiązywanie problemów
W przypadku dużych baz danych zadanie może się nie powieść, jeśli odczyta zbyt dużo danych naraz. Aby rozwiązać ten problem:
Zwiększ wartość
maxNumWorkers.
Co dalej?
- Dowiedz się więcej o generowaniu zapytań dotyczących danych za pomocą operacji potoku.
- Dowiedz się, jak optymalizować zapytania w Firestore Enterprise.
- Dowiedz się, jak skaluje się baza danych w wersji Enterprise.