Questa pagina descrive come pianificare le esportazioni dei dati di Cloud Firestore. Per eseguire le esportazioni in base a una pianificazione, ti consigliamo di utilizzare Cloud Functions e Cloud Scheduler.
Prima di iniziare
Prima di pianificare le esportazioni dei dati gestiti, devi completare le seguenti attività:
- Abilita la fatturazione per il tuo progetto Google Cloud. Solo i progetti Google Cloud con fatturazione abilitata possono utilizzare la funzionalità di esportazione e importazione.
- Le operazioni di esportazione richiedono un bucket Cloud Storage di destinazione. Crea unCloud Storage secchio in una località vicinatuoCloud Firestore posizione del database. Non puoi utilizzare un bucket con pagamento a carico del richiedente per le operazioni di esportazione.
Crea una funzione Cloud Functions e un job Cloud Scheduler
Segui questi passaggi per creare una funzione Cloud Functions Node.js che avvia un'esportazione dei dati Cloud Firestore e un job Cloud Scheduler per chiamare la funzione:
Interfaccia a riga di comando di Firebase
-
Installa l'interfaccia a riga di comando di Firebase. In una nuova directory, inizializza l'interfaccia a riga di comando per Cloud Functions:
firebase init functions --project PROJECT_ID
- Seleziona JavaScript come linguaggio.
- Facoltativamente, attiva ESLint.
- Inserisci
yper installare le dipendenze.
-
Sostituisci il codice nel file
functions/index.jscon il seguente:const functions = require('firebase-functions'); const firestore = require('@google-cloud/firestore'); const client = new firestore.v1.FirestoreAdminClient(); // Replace BUCKET_NAME const bucket = 'gs://BUCKET_NAME'; exports.scheduledFirestoreExport = functions.pubsub .schedule('every 24 hours') .onRun((context) => { const projectId = process.env.GCP_PROJECT; const databaseName = client.databasePath(projectId, '(default)'); return client.exportDocuments({ name: databaseName, outputUriPrefix: bucket, // Leave collectionIds empty to export all collections // or set to a list of collection IDs to export, // collectionIds: ['users', 'posts'] collectionIds: [] }) .then(responses => { const response = responses[0]; console.log(`Operation Name: ${response['name']}`); }) .catch(err => { console.error(err); throw new Error('Export operation failed'); }); });
-
Nel codice precedente, modifica quanto segue:
- Sostituisci
BUCKET_NAMEcon il nome del tuo bucket. - Sostituisci
YOUR_PROJECT_IDcon l'ID progetto. - Modifica
every 24 hoursper impostare la pianificazione dell'esportazione. Utilizza la sintassi cron.yaml di App Engine o il formato unix-cron (* * * * *). -
Modifica
collectionIds: []per esportare solo i gruppi di raccolte specificati. Lascia invariato per esportare tutti i gruppi di raccolte.
- Sostituisci
-
Esegui il deployment della funzione pianificata:
firebase deploy --only functions
Console Google Cloud
Crea una funzione Cloud Functions
-
Vai alla pagina Cloud Functions nella console Google Cloud:
- Fai clic su Scrivi una funzione.
- Inserisci un nome per la funzione, ad esempio
firestore-export - In Trigger, seleziona Cloud Pub/Sub
- Nella sezione Argomento, seleziona Crea nuovo argomento. Inserisci un nome per l'argomento Pub/Sub, ad esempio
initiateFirestoreExport. Prendi nota del nome dell'argomento, perché ti servirà per creare il job Cloud Scheduler. - In Codice sorgente, seleziona Editor incorporato. Inserisci il seguente codice in
index.js: Nel codice precedente, modifica quanto segue:const firestore = require('@google-cloud/firestore'); const client = new firestore.v1.FirestoreAdminClient(); // Replace BUCKET_NAME const bucket = 'gs://BUCKET_NAME' exports.scheduledFirestoreExport = (event, context) => { // Access the GCLOUD_PROJECT environment variable set by the runtime. const projectId = process.env.GOOGLE_CLOUD_PROJECT || process.env.GCLOUD_PROJECT; // Use the DATABASE_ID environment variable if set, // otherwise default to '(default)' const databaseId = process.env.DATABASE_ID || '(default)'; const databaseName = client.databasePath( projectId, databaseId ); return client .exportDocuments({ name: databaseName, outputUriPrefix: bucket, // Leave collectionIds empty to export all collection groups // or define a list of collection group IDs: // collectionIds: ['users', 'posts'] collectionIds: [], }) .then(responses => { const response = responses[0]; console.log(`Operation Name: ${response['name']}`); return response; }) .catch(err => { console.error(err); }); };
- Sostituisci
BUCKET_NAMEcon il nome del tuo bucket. -
Modifica
collectionIds: []per esportare solo i gruppi di raccolte specificati. Lascia invariato per esportare tutti i gruppi di raccolte. -
(Facoltativo) Se utilizzi un database non predefinito, assicurati di impostare la variabile di ambiente
DATABASE_IDdurante la creazione della funzione Cloud Functions. Se utilizzi un runtime in cuiGOOGLE_CLOUD_PROJECTnon viene impostato automaticamente, potresti anche doverlo impostare manualmente o sostituirlo con l'ID progetto nel codice.
- Sostituisci
- In
package.json, aggiungi la seguente dipendenza:{ "dependencies": { "@google-cloud/firestore": "^1.3.0" } } - In Funzione da eseguire, inserisci
scheduledFirestoreExport, il nome della funzione inindex.js. - Fai clic su Crea per eseguire il deployment della funzione Cloud Functions.
Crea un job Cloud Scheduler
A questo punto, crea un job Cloud Scheduler che chiama la tua funzione Cloud Functions:
-
Vai alla pagina Cloud Scheduler nella console Google Cloud:
- Fai clic su Crea job.
- Inserisci un Nome per il job, ad esempio
scheduledFirestoreExport. - Inserisci una Frequenza, ad esempio
every 24 hours. - Seleziona un fuso orario.
- In Target, seleziona Pub/Sub. Nel campo Argomento, inserisci il nome dell'argomento Pub/Sub definito insieme alla funzione Cloud Functions,
initiateFirestoreExportnell'esempio precedente. - Nel campo Payload, inserisci
start export. Il job richiede la definizione di un payload, ma la funzione Cloud Functions precedente non utilizza effettivamente questo valore. - Fai clic su Crea.
Configura le autorizzazioni di accesso
Successivamente, concedi alla funzione Cloud Functions l'autorizzazione per avviare le operazioni di esportazione e scrivere nel bucket GCS.
Questa funzione Cloud Run utilizza un service account per autenticare e autorizzare le operazioni di esportazione. Il service account utilizzato dipende dalla configurazione di Cloud Functions:
- Cloud Functions (1ª gen.): utilizza il service account predefinito App Engine:
PROJECT_ID@appspot.gserviceaccount.com - Cloud Functions (2ª gen.): utilizza il service account Compute Engine predefinito:
PROJECT_NUMBER-compute@developer.gserviceaccount.com
Questo service account richiede l'autorizzazione per avviare un'operazione di esportazione e per scrivere nel tuo bucket Cloud Storage. Per concedere queste autorizzazioni, assegna i seguenti ruoli IAM al service account:
Cloud Datastore Import Export Admin- Ruolo
Storage Adminnel bucket Cloud Run Invoker(obbligatorio per Cloud Functions (2ª gen.) per consentire al servizio di attivazione di richiamare la funzione)
Puoi utilizzare gli strumenti a riga di comando gcloud e gsutil per assegnare questi ruoli.
Se non sono già installati, puoi accedere a questi strumenti da Cloud Shell nella console Google Cloud:
Avvia Cloud Shell
-
Assegna il ruolo Cloud Datastore Import Export Admin. Sostituisci PROJECT_ID e SERVICE_ACCOUNT (ad es.
PROJECT_ID@appspot.gserviceaccount.comoPROJECT_NUMBER-compute@developer.gserviceaccount.com) ed esegui il seguente comando:gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:SERVICE_ACCOUNT \ --role roles/datastore.importExportAdmin -
Assegna il ruolo Storage Admin al tuo bucket. Sostituisci SERVICE_ACCOUNT e BUCKET_NAME ed esegui questo comando:
gsutil iam ch serviceAccount:SERVICE_ACCOUNT:admin \ gs://BUCKET_NAME -
(Per Cloud Functions (2nd gen)) Assegna il ruolo Invoker Cloud Run all'account di servizio. Sostituisci PROJECT_ID e SERVICE_ACCOUNT ed esegui il seguente comando:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:SERVICE_ACCOUNT \ --role roles/run.invoker
Se disattivi o elimini il service account predefinito di App Engine, la tua app App Engine perderà l'accesso al database Cloud Firestore. Se hai disattivato il tuo service account App Engine, puoi riattivarlo, consulta Attivazione di un service account. Se hai eliminato il tuo service account App Engine negli ultimi 30 giorni, puoi ripristinarlo. Consulta Annullamento dell'eliminazione di un service account.
Testa il job Cloud Scheduler e la funzione Cloud Functions
Puoi testare il job Cloud Scheduler nella pagina Cloud Scheduler della console Google Cloud.
Vai alla pagina Cloud Scheduler nella console Google Cloud.
Vai a Cloud SchedulerNella riga del nuovo job Cloud Scheduler, fai clic su Esegui ora.
Dopo alcuni secondi, il job Cloud Scheduler dovrebbe aggiornare la colonna dei risultati in Operazione riuscita e Ultima esecuzione all'ora corrente. Potrebbe essere necessario fare clic su Aggiorna.
La pagina Cloud Scheduler conferma solo che il job ha chiamato la tua funzione Cloud Functions. Apri la pagina Cloud Functions per visualizzare i log della funzione.
Visualizza i log delle funzioni Cloud Functions
Per verificare se la funzione Cloud Functions ha avviato correttamente un'operazione di esportazione, apri i log della funzione:
Console Firebase
Nella console Firebase, vai a Hosting e serverless > Functions.
Console di GCP
Vai alla pagina Cloud Functions nella console Google Cloud.
Visualizza l'avanzamento dell'esportazione
Puoi utilizzare il comando gcloud firestore operations list per visualizzare lo stato di avanzamento delle operazioni di esportazione. Consulta Gestione delle operazioni di esportazione e importazione.
Al termine di un'operazione di esportazione, puoi visualizzare i file di output nel bucket Cloud Storage: