Чтобы перенести данные из базы данных Firestore Standard в базу данных Firestore Enterprise, рекомендуем использовать один из следующих вариантов:
Функции импорта и экспорта. Файлы данных, полученные в результате операции импорта, совместимы с версиями Enterprise и Standard.
Шаблон Dataflow
firestore-to-firestore. Сервис Dataflow позволяет создавать конвейеры данных, а шаблонfirestore-to-firestore– пакетный конвейер между базами данных Cloud Firestore.
Импорт и экспорт – это более простой вариант с меньшим количеством настроек.
Шаблон Dataflow можно настраивать. Вы можете расширить код шаблона, чтобы выполнить частичный перенос или преобразовать данные. Вы также можете управлять количеством и размером рабочих процессов.
Оба варианта поддерживают перенос между проектами и регионами.
Как перенести данные с помощью экспорта и импорта
Чтобы перенести данные с помощью операций экспорта и импорта, ознакомьтесь со статьей Экспорт и импорт данных. Чтобы перенести данные в базу данных в другом проекте, ознакомьтесь со статьей Перенос данных между проектами.
Как перенести данные с помощью шаблона Dataflow
Чтобы перенести данные с помощью шаблона firestore-to-firestore Dataflow, следуйте инструкциям ниже.
Подготовка
Прежде чем начать перенос данных, убедитесь, что в исходной базе данных включено восстановление на определенный момент времени. Задание Dataflow использует PITR для чтения данных на временной метке PITR. Если восстановление на определенный момент времени отключено, задание завершается ошибкой, если оно выполняется дольше одного часа.
Чтобы использовать этот шаблон, необходимо включить
datastore.googleapis.comAPI.Назначьте необходимые роли, описанные в следующем разделе.
Необходимые роли
Чтобы перенести данные из одной базы данных в другую, назначьте следующие роли. Вы также можете получить необходимые разрешения с помощью специальных или других предопределенных ролей:
- Чтобы получить разрешения, необходимые для создания базы данных и доступа к данным Cloud Firestore, попросите администратора назначить вам роль владельца Cloud Datastore (
roles/datastore.owner) в Identity and Access Management (IAM) для вашего проекта. -
Чтобы предоставить заданию Dataflow доступ на чтение и запись к базам данных Cloud Firestore, назначьте рабочему сервисному аккаунту Dataflow (например,
PROJECT_NUMBER-compute@) роль IAM Пользователь Cloud Datastore (roles/datastore.user) в проекте.Дополнительную информацию о безопасности Dataflow можно найти в статье Безопасность и разрешения Dataflow.
Подробнее о том, как предоставлять роли IAM, см. в разделе Управление доступом к проектам, папкам и организациям.
1. Как создать базу данных Firestore Enterprise
Чтобы перенести данные из базы данных Standard Edition в базу данных Enterprise Edition, сначала необходимо создать целевую базу данных Enterprise Edition. Подробнее о том, как создать базу данных…
2. Как запустить шаблон Dataflow firestore-to-firestore
Настройте и запустите задание Dataflow с помощью шаблона firestore-to-firestore.
Шаблоны поддерживают перенос всей базы данных или только определенных групп коллекций.
Ограничения
Учитывайте следующие ограничения для шаблона firestore-to-firestore
Dataflow:
- Исходная база данных должна быть стандартной.
- Перенос считывает данные в определенное время. Рекомендуем включить восстановление на определенный момент времени (PITR) в исходной базе данных. Если восстановление на определенный момент времени не включено, срок действия данных истекает через час, и этого времени может быть недостаточно для завершения переноса данных. PITR продлевает срок хранения данных до семи дней.
- Индексы не переносятся.
Задание Dataflow не переносит конфигурации баз данных, например правила времени жизни (TTL), резервные копии, восстановление на определенный момент времени и ключи шифрования, управляемые клиентом (CMEK).
Эти настройки необходимо задать в новой базе данных. Чтобы ускорить перенос данных, настройте TTL, резервное копирование и восстановление на определенный момент времени в целевой базе данных после переноса.
В примерах ниже показано, как запустить шаблон с помощью Google Cloud CLI.
Перенести все данные
Чтобы перенести все данные, используйте следующую команду:
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Замените следующее:
JOB_NAME– название задания.PROJECT– идентификатор проекта Google Cloud.REGION_NAME– местоположение Google Cloud, в котором вы хотите запустить задание Dataflow. Выберите местоположение рядом с вашими базами данных.VERSION– версия шаблона, который вы хотите использовать. Вы можете использовать следующие значения:latest, чтобы использовать последнюю версию шаблона, которая доступна в родительской папке без даты в сегменте: gs://dataflow-templates-REGION_NAME/latest/.- название версии, например
2023-09-12-00_RC00, чтобы использовать определенную версию шаблона, которая находится в соответствующей родительской папке с датой в корзине – gs://dataflow-templates-REGION_NAME/.
SOURCE_PROJECT_ID– идентификатор исходного проекта Google Cloud, содержащего базу данных Firestore Standard.SOURCE_DATABASE_ID– идентификатор исходной базы данных Cloud Firestore.DESTINATION_PROJECT_ID– идентификатор целевого проекта Google Cloud для новой базы данных Cloud Firestore.DESTINATION_DATABASE_ID– идентификатор целевой базы данных Cloud Firestore.READ_TIME– временная метка для чтения данных из исходной базы данных. Укажите временную метку в формате RFC 3339 с точностью до минуты, например2026-05-15T16:31:00.00Z.Самая ранняя допустимая временная метка зависит от настроек восстановления на определенный момент времени. Подробнее о том, как получить время самой ранней версии…
Перенос указанных групп подборок
Чтобы перенести только определенные группы коллекций, используйте следующую команду:
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Замените следующее:
JOB_NAME– название задания.PROJECT– идентификатор проекта Google Cloud.REGION_NAME– местоположение Google Cloud, в котором вы хотите запустить задание Dataflow. Выберите местоположение рядом с вашими базами данных.VERSION– версия шаблона, который вы хотите использовать. Вы можете использовать следующие значения:latest, чтобы использовать последнюю версию шаблона, которая доступна в родительской папке без даты в сегменте: gs://dataflow-templates-REGION_NAME/latest/.- название версии, например
2023-09-12-00_RC00, чтобы использовать определенную версию шаблона, которая находится во вложенной папке с датой в родительской папке в сегменте – gs://dataflow-templates-REGION_NAME/.
SOURCE_PROJECT_ID– идентификатор исходного проекта Google Cloud, который содержит базу данных Firestore Standard.SOURCE_DATABASE_ID– идентификатор исходной базы данных Cloud Firestore.COLLECTION_GROUP_IDS– список идентификаторов групп коллекций, разделенный запятыми.Подколлекции не включаются рекурсивно. Например, если вы укажете группу коллекций
users, то перенос не будет включать подколлекциюmessagesв/users/userid/messages, если вы также не укажете группу коллекцийmessages.DESTINATION_PROJECT_ID– идентификатор целевого проекта Google Cloud для новой базы данных Cloud Firestore.DESTINATION_DATABASE_ID– идентификатор целевой базы данных Cloud Firestore.READ_TIME– временная метка для чтения данных из исходной базы данных. Укажите временную метку в формате RFC 3339 с точностью до минуты, например2026-05-15T16:31:00.00Z.Самая ранняя допустимая временная метка зависит от настроек восстановления на определенный момент времени. Подробнее о том, как получить время самой ранней версии…
3. Как настроить базу данных
Задание firestore-to-firestore переносит только данные.
Индексы и другие настройки базы данных не переносятся. Помимо переноса данных, в новой базе данных рекомендуется настроить следующее:
Индексы. Для выполнения запросов в базах данных Firestore Enterprise не требуются индексы, и по умолчанию автоматические индексы не создаются. Чтобы создать индексы для запросов, ознакомьтесь со следующими статьями:
- Обзор индексов Firestore Enterprise.
- Оптимизация производительности запросов с помощью индексов.
- Вы можете использовать интерфейс командной строки Firebase, чтобы экспортировать индексы и развернуть их в новой базе данных.
- Используйте Query Insights, чтобы определить, какие запросы можно оптимизировать с помощью индекса.
TTL. Создайте правила TTL.
Резервные копии. Настройте резервное копирование.
PITR: Enable PITR.
После настройки базы данных вы можете продолжить тестирование приложения с новой базой данных. Чтобы завершить перенос, обновите приложения, чтобы они использовали новую базу данных.
Устранение неполадок
Если база данных слишком большая, задание может завершиться ошибкой из-за того, что за один раз считывается слишком много данных. Чтобы исправить проблему, выполните следующие действия:
Увеличьте значение
maxNumWorkers.
Дальнейшие действия
- Подробнее о запросе данных с помощью операций конвейера…
- Подробнее о том, как оптимизировать запросы в Firestore Enterprise…
- Узнайте, как масштабируется база данных Enterprise.