Questa pagina descrive come pianificare le esportazioni dei datiCloud Firestore. Per eseguire le esportazioni in base a una pianificazione, ti consigliamo di utilizzare Cloud Functions e Cloud Scheduler.
Prima di iniziare
Prima di pianificare le esportazioni dei dati gestiti, devi completare le seguenti attività:
- Attiva la fatturazione per il tuo progetto Google Cloud. Solo i progetti Google Cloud con la fatturazione abilitata possono utilizzare la funzionalità di esportazione e importazione.
- Le operazioni di esportazione richiedono un bucket Cloud Storage di destinazione. Crea un Cloud Storagebucket in una posizione vicino alla posizione del database Cloud Firestore. Non puoi utilizzare un bucket Chi paga il richiedente per le operazioni di esportazione.
Crea una funzione Cloud e un job Cloud Scheduler
Per creare una funzione Cloud Node.js che avvia un'esportazione dei dati Cloud Firestore e un job Cloud Scheduler per chiamare la funzione, segui questi passaggi:
interfaccia a riga di comando di Firebase
-
Installa l'interfaccia a riga di comando di Firebase. In una nuova directory, inizializza l'interfaccia a riga di comando per Cloud Functions:
firebase init functions --project PROJECT_ID
- Seleziona JavaScript per la lingua.
- Se vuoi, attiva ESLint.
- Inserisci
y
per installare le dipendenze.
-
Sostituisci il codice nel file
functions/index.js
con quanto segue:const functions = require('firebase-functions'); const firestore = require('@google-cloud/firestore'); const client = new firestore.v1.FirestoreAdminClient(); // Replace BUCKET_NAME const bucket = 'gs://BUCKET_NAME'; exports.scheduledFirestoreExport = functions.pubsub .schedule('every 24 hours') .onRun((context) => { const projectId = process.env.GCP_PROJECT; const databaseName = client.databasePath(projectId, '(default)'); return client.exportDocuments({ name: databaseName, outputUriPrefix: bucket, // Leave collectionIds empty to export all collections // or set to a list of collection IDs to export, // collectionIds: ['users', 'posts'] collectionIds: [] }) .then(responses => { const response = responses[0]; console.log(`Operation Name: ${response['name']}`); }) .catch(err => { console.error(err); throw new Error('Export operation failed'); }); });
-
Nel codice precedente, modifica quanto segue:
- Sostituisci
BUCKET_NAME
con il nome del bucket. - Modifica
every 24 hours
per impostare la pianificazione dell'esportazione. Utilizza la sintassi cron.yaml di App Engine o il formato unix-cron (* * * * *
). -
Modifica
collectionIds: []
per esportare solo i gruppi di raccolte specificati. Lascia invariato per esportare tutte le raccolte.
- Sostituisci
-
Esegui il deployment della funzione pianificata:
firebase deploy --only functions
Console Google Cloud
Crea una funzione Cloud
-
Vai alla pagina Cloud Functions nella console Google Cloud:
- Fai clic su Crea funzione
- Inserisci un nome funzione, ad esempio
firestoreExport
- In Trigger, seleziona Cloud Pub/Sub.
- Nella sezione Argomento, seleziona Crea nuovo argomento. Inserisci un nome per
l'argomento Pub/Sub, ad esempio
initiateFirestoreExport
. Prendi nota del nome dell'argomento, poiché ti servirà per creare il job Cloud Scheduler. - In Codice sorgente, seleziona Editor incorporato. Inserisci il
seguente codice in
index.js
:const firestore = require('@google-cloud/firestore'); const client = new firestore.v1.FirestoreAdminClient(); // Replace BUCKET_NAME const bucket = 'gs://BUCKET_NAME' exports.scheduledFirestoreExport = (event, context) => { const databaseName = client.databasePath( process.env.GCP_PROJECT, '(default)' ); return client .exportDocuments({ name: databaseName, outputUriPrefix: bucket, // Leave collectionIds empty to export all collections // or define a list of collection IDs: // collectionIds: ['users', 'posts'] collectionIds: [], }) .then(responses => { const response = responses[0]; console.log(`Operation Name: ${response['name']}`); return response; }) .catch(err => { console.error(err); }); };
Nel codice riportato sopra, modifica quanto segue:- Sostituisci
BUCKET_NAME
con il nome del bucket. -
Modifica
collectionIds: []
per esportare solo i gruppi di raccolte specificati. Lascia invariato per esportare tutte le raccolte.
- Sostituisci
- In
package.json
, aggiungi la seguente dipendenza:{ "dependencies": { "@google-cloud/firestore": "^1.3.0" } }
- In Funzione da eseguire, inserisci
scheduledFirestoreExport
, il nome della funzione inindex.js
. - Fai clic su Crea per eseguire il deployment della funzione Cloud.
Crea un job Cloud Scheduler
A questo punto, crea un job Cloud Scheduler che chiami la tua funzione Cloud:
-
Vai alla pagina Cloud Scheduler nella console Google Cloud:
- Fai clic su Crea job.
- Inserisci un Nome per il job, ad esempio
scheduledFirestoreExport
. - Inserisci una frequenza, ad esempio
every 24 hours
. - Seleziona un Fuso orario.
- In Destinazione, seleziona Pub/Sub. Nel campo Topic,
inserisci il nome dell'argomento Pub/Sub che hai definito insieme alla
funzione Cloud,
initiateFirestoreExport
nell'esempio precedente. - Nel campo Payload, inserisci
start export
. Il job richiede un payload definito, ma la funzione Cloud sopra riportata non utilizza effettivamente questo valore. - Fai clic su Crea.
Configurare le autorizzazioni di accesso
Successivamente, concedi alla funzione Cloud l'autorizzazione per avviare le operazioni di esportazione e scrivere nel bucket GCS.
Questa funzione Cloud utilizza l'account di servizio predefinito del progetto per autenticare e autorizzare le operazioni di esportazione. Quando crei un progetto, viene creato un account di servizio predefinito con il seguente nome:
PROJECT_ID@appspot.gserviceaccount.com
Questo account di servizio richiede l'autorizzazione per avviare un'operazione di esportazione e scrivere nel bucket Cloud Storage. Per concedere queste autorizzazioni, assegna i seguenti ruoli IAM all'account di servizio predefinito:
Cloud Datastore Import Export Admin
-
Ruolo
Owner
oStorage Admin
nel bucket
Puoi utilizzare gli strumenti a riga di comando gcloud
e gsutil
per assegnare questi ruoli.
Se non sono già installati, puoi accedere a questi strumenti da Cloud Shell nella console Google Cloud:
Inizia Cloud Shell
-
Assegna il ruolo Cloud Datastore Import Export Admin. Sostituisci PROJECT_ID ed esegui il seguente comando:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:PROJECT_ID@appspot.gserviceaccount.com \ --role roles/datastore.importExportAdmin
-
Assegna il ruolo Amministratore archiviazione al bucket. Sostituisci PROJECT_ID e BUCKET_NAME ed esegui il seguente comando:
gsutil iam ch serviceAccount:PROJECT_ID@appspot.gserviceaccount.com:admin \ gs://BUCKET_NAME
Se disattivi o elimini il tuo account di servizio predefinito App Engine, la tua app App Engine perderà l'accesso al database Cloud Firestore. Se hai disattivato il tuo account di servizio App Engine, puoi riattivarlo. consulta la sezione Attivare un account di servizio. Se hai eliminato il tuo account di servizio App Engine negli ultimi 30 giorni, puoi ripristinarlo. Consulta Annullare l'eliminazione di un account di servizio.
Testa il job e la funzione Cloud Cloud Scheduler
Puoi testare il job Cloud Scheduler nella pagina Cloud Scheduler della console Google Cloud.
Vai alla pagina Cloud Scheduler nella console Google Cloud.
Vai a Cloud SchedulerNella riga del nuovo job Cloud Scheduler, fai clic su Esegui ora.
Dopo alcuni secondi, il job Cloud Scheduler dovrebbe aggiornare la colonna dei risultati impostandola su Successo e Ultima esecuzione sull'ora corrente. Potrebbe essere necessario fare clic su Aggiorna.
La pagina Cloud Scheduler conferma solo che il job ha chiamato la tua funzione Cloud. Apri la pagina della funzione Cloud per visualizzare i relativi log.
Visualizza i log di Cloud Functions
Per verificare se la funzione Cloud ha avviato correttamente un'operazione di esportazione, apri i log della funzione:
Console Firebase
Vai alla pagina Cloud Functions nella Console Firebase.
Console di GCP
Vai alla pagina Cloud Functions nella console Google Cloud.
Visualizzare l'avanzamento dell'esportazione
Puoi utilizzare il comando gcloud firestore operations list
per visualizzare lo stato di avanzamento delle operazioni di esportazione. Consulta la sezione Gestire le operazioni di esportazione e importazione.
Al termine di un'operazione di esportazione, puoi visualizzare i file di output nel Cloud Storage bucket: