Pour migrer des données d'une base de données Firestore édition Standard vers une base de données Firestore édition Enterprise, nous vous recommandons d'utiliser l'une des options suivantes :
Les fonctionnalités d'importation et d'exportation. Les fichiers de données d'une opération d'importation sont compatibles avec les éditions Enterprise et Standard.
Le modèle
firestore-to-firestoreDataflow. Le service Dataflow vous permet de créer des pipelines de données, et le modèlefirestore-to-firestorecrée un pipeline par lot entre les bases de données Cloud Firestore.
L'importation et l'exportation sont l'option la plus simple à exécuter, avec moins d'options de configuration.
Le modèle Dataflow est plus personnalisable. Vous pouvez étendre le code du modèle pour effectuer des migrations partielles ou transformer des données. Vous pouvez également contrôler le nombre et la taille des nœuds de calcul.
Les deux options sont compatibles avec les migrations entre projets et régions.
Migrer des données avec l'exportation et l'importation
Pour migrer des données à l'aide d'opérations d'exportation et d'importation, consultez Exporter et importer des données. Pour déplacer des données vers une base de données d'un autre projet, consultez Déplacer des données entre des projets.
Migrer des données avec le modèle Dataflow
Suivez les instructions ci-dessous pour migrer des données avec le modèle firestore-to-firestore Dataflow.
Avant de commencer
Avant de commencer la migration des données, assurez-vous que la récupération à un moment précis (PITR) est activée sur la base de données source. Le job Dataflow utilise la récupération à un moment précis (PITR) pour lire les données à un code temporel PITR. Si la récupération PITR est désactivée, le job échoue s'il s'exécute pendant plus d'une heure.
Vous devez activer l'API
datastore.googleapis.compour utiliser ce modèle.Attribuez les rôles requis décrits dans la section suivante.
Rôles requis
Pour migrer des données d'une base de données à une autre, attribuez les rôles suivants. Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis :
- Pour obtenir les autorisations nécessaires pour créer une base de données et accéder aux données Cloud Firestore, demandez à votre administrateur de vous accorder le rôle IAM (Identity and Access Management) Propriétaire Cloud Datastore (
roles/datastore.owner) sur votre projet. -
Pour accorder au job Dataflow un accès en lecture et en écriture à vos bases de données Cloud Firestore, attribuez au compte de service de nœud de calcul Dataflow (par exemple,
PROJECT_NUMBER-compute@) le rôle IAM Utilisateur Cloud Datastore (roles/datastore.user) sur votre projet.Pour en savoir plus sur la sécurité de Dataflow, consultez Sécurité et autorisations de Dataflow.
Pour en savoir plus sur l'attribution de rôles IAM, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
1. Créer une base de données Firestore Enterprise Edition
Pour migrer des données d'une base de données de l'édition Standard vers une base de données de l'édition Enterprise, vous devez d'abord créer la base de données de destination de l'édition Enterprise. Consultez Créer une base de données.
2. Exécuter le modèle Dataflow firestore-to-firestore
Configurez et exécutez votre job Dataflow avec le modèle firestore-to-firestore.
Les modèles permettent de migrer l'intégralité de la base de données ou uniquement des groupes de collections spécifiés.
Limites
Tenez compte des limites suivantes pour le modèle firestore-to-firestoreDataflow :
- La base de données source doit être une base de données de l'édition Standard.
- La migration lit les données à un moment de lecture spécifique. Nous vous suggérons d'activer la récupération à un moment précis (PITR) dans la base de données source. Si la récupération à un moment précis n'est pas activée, les données expirent au bout d'une heure, ce qui peut ne pas être suffisant pour que la migration des données se termine. La récupération PITR prolonge la conservation des données à sept jours.
- Les index ne sont pas migrés.
Le job Dataflow ne migre pas les configurations de base de données telles que les règles de TTL (Time To Live), les sauvegardes, la récupération à un moment précis (PITR) et les clés de chiffrement gérées par le client (CMEK).
Vous devez configurer ces paramètres sur la nouvelle base de données. Pour accélérer la migration des données, attendez la fin de la migration pour configurer la valeur TTL, les sauvegardes et la récupération à un moment précis sur la base de données de destination.
Les exemples suivants montrent comment exécuter le modèle à l'aide de Google Cloud CLI.
Migrer toutes les données
Pour migrer toutes les données, utilisez la commande suivante :
gcloud dataflow flex-template run "JOB_NAME" \ --project "PROJECT" \ --template-file-gcs-location gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Remplacez les éléments suivants :
JOB_NAME: nom du job.PROJECT: ID de votre projet Google Cloud.REGION_NAME: emplacement Google Cloud où vous souhaitez exécuter le job Dataflow. Utilisez un emplacement proche de vos bases de données.VERSION: version du modèle que vous souhaitez utiliser. Vous pouvez utiliser les valeurs suivantes :latestpour utiliser la dernière version du modèle, disponible dans le dossier parent non daté du bucket gs://dataflow-templates-REGION_NAME/latest/- Le nom de la version, par exemple
2023-09-12-00_RC00, pour utiliser une version spécifique du modèle, qui est imbriqué dans le dossier parent daté respectif dans le bucket : gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: ID du projet Google Cloud source contenant la base de données Firestore Standard.SOURCE_DATABASE_ID: ID de la base de données Cloud Firestore source.DESTINATION_PROJECT_ID: ID du projet Google Cloud de destination pour la nouvelle base de données Cloud Firestore.DESTINATION_DATABASE_ID: ID de la base de données Cloud Firestore de destination.READ_TIME: code temporel permettant de lire les données de la base de données source. Définissez un code temporel au format RFC 3339, avec une précision à la minute, par exemple2026-05-15T16:31:00.00Z.Le code temporel valide le plus ancien dépend de vos paramètres de récupération à un moment précis (PITR). Consultez Obtenir la date et l'heure de la première version.
Migrer les groupes de collections spécifiés
Pour ne migrer que certains groupes de collections, utilisez la commande suivante :
gcloud dataflow jobs run "JOB_NAME" \ --project "PROJECT" \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Firestore_to_Firestore \ --region REGION_NAME \ --parameters "sourceProjectId=SOURCE_PROJECT_ID" \ --parameters "sourceDatabaseId=SOURCE_DATABASE_ID" \ --parameters "collectionGroupIds=COLLECTION_GROUP_IDS" \ --parameters "destinationProjectId=DESTINATION_PROJECT_ID" \ --parameters "destinationDatabaseId=DESTINATION_DATABASE_ID" \ --parameters "readTime=READ_TIME"
Remplacez les éléments suivants :
JOB_NAME: nom du job.PROJECT: ID de votre projet Google Cloud.REGION_NAME: emplacement Google Cloud où vous souhaitez exécuter le job Dataflow. Utilisez un emplacement proche de vos bases de données.VERSION: version du modèle que vous souhaitez utiliser. Vous pouvez utiliser les valeurs suivantes :latestpour utiliser la dernière version du modèle, disponible dans le dossier parent non daté du bucket gs://dataflow-templates-REGION_NAME/latest/- Le nom de la version, par exemple
2023-09-12-00_RC00, pour utiliser une version spécifique du modèle, qui est imbriqué dans le dossier parent daté respectif dans le bucket : gs://dataflow-templates-REGION_NAME/
SOURCE_PROJECT_ID: ID du projet Google Cloud source contenant la base de données Firestore édition Standard.SOURCE_DATABASE_ID: ID de la base de données Cloud Firestore source.COLLECTION_GROUP_IDS: liste d'ID de groupes de collections à migrer, séparés par une virgule.Les sous-collections ne sont pas incluses de manière récursive. Par exemple, si vous spécifiez le groupe de collections
users, la migration n'inclura pas de sous-collectionmessagesdans/users/userid/messages, sauf si vous spécifiez également le groupe de collectionsmessages.DESTINATION_PROJECT_ID: ID du projet Google Cloud de destination pour la nouvelle base de données Cloud Firestore.DESTINATION_DATABASE_ID: ID de la base de données Cloud Firestore de destination.READ_TIME: code temporel pour lire les données de la base de données source. Définissez un code temporel au format RFC 3339, avec une précision à la minute, par exemple2026-05-15T16:31:00.00Z.Le code temporel valide le plus ancien dépend de vos paramètres de récupération à un moment précis (PITR). Consultez Obtenir la date et l'heure de la première version.
3. Configurer la base de données
Le job firestore-to-firestore ne migre que les données.
Les index et les autres paramètres de base de données ne sont pas migrés. En plus de migrer les données, envisagez de configurer les éléments suivants sur la nouvelle base de données :
Index : les bases de données de l'édition Firestore Enterprise ne nécessitent pas strictement d'index pour exécuter des requêtes et ne créent pas d'index automatiques par défaut. Consultez les sections suivantes pour créer des index pour vos requêtes :
- Présentation des index de l'édition Enterprise de Firestore
- Optimiser les performances des requêtes avec des index
- Vous pouvez utiliser la CLI Firebase pour exporter des index et les déployer dans la nouvelle base de données.
- Utilisez Insights sur les requêtes pour identifier les requêtes que vous pouvez optimiser avec un index.
TTL : créez des règles TTL.
Sauvegardes : configurer des sauvegardes.
PITR : Activer la récupération PITR.
Après avoir configuré votre base de données, vous pouvez continuer à tester votre application avec la nouvelle base de données. Pour une migration complète, mettez à jour vos applications afin d'utiliser la nouvelle base de données.
Dépannage
Pour les bases de données volumineuses, le job peut échouer s'il lit trop de données à la fois. Pour résoudre le problème :
Augmentez la valeur
maxNumWorkers.
Étape suivante
- Découvrez comment interroger des données avec des opérations de pipeline.
- Découvrez comment optimiser les requêtes dans l'édition Enterprise de Firestore.
- Découvrez comment une base de données de l'édition Enterprise évolue.