Únete de manera presencial y en línea a Firebase Summit el 18 de octubre de 2022. Descubre cómo Firebase puede ayudarte a acelerar el desarrollo de apps, a lanzar la tuya con confianza y a escalar con facilidad. Regístrate ahora

Importa y exporta datos

Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

Puedes usar el servicio administrado de importación y exportación de Cloud Firestore para recuperar datos que hayas borrado de manera accidental y exportar datos a fin de realizar un procesamiento sin conexión. Puedes exportar todos los documentos o solo colecciones específicas. Asimismo, puedes importar todos los datos de una exportación o solo colecciones específicas. Los datos que se exportan desde una base de datos de Cloud Firestore se pueden importar en otra base de datos de Cloud Firestore. También puedes cargar exportaciones de Cloud Firestore en BigQuery.

En esta página, se describe cómo importar y exportar documentos de Cloud Firestore con el servicio administrado de importación y exportación, y Cloud Storage. El servicio administrado de importación y exportación de Cloud Firestore está disponible a través de la herramienta de línea de comandos de gcloud y las API (de REST y RPC) de Cloud Firestore.

Antes de comenzar

Antes de usar el servicio administrado de importación y exportación, debes completar las siguientes tareas:

  1. Habilita la facturación para tu proyecto de Google Cloud. Solo los proyectos de Google Cloud que tengan la facturación habilitada pueden usar la función de importación y exportación.
  2. Crea un bucket de Cloud Storage en tu proyecto en una ubicación cercana a la base de datos de Cloud Firestore. No puedes usar un depósito de pagos del solicitante para las operaciones de importación y exportación.
  3. Asegúrate de que tu cuenta tenga los permisos necesarios para Cloud Firestore y Cloud Storage. Si eres el propietario del proyecto, tu cuenta ya tiene los permisos necesarios. De lo contrario, las siguientes funciones otorgan los permisos necesarios para realizar las operaciones de importación y exportación, y acceder a Cloud Storage:

Permisos de la cuenta de servicio predeterminada

Cada proyecto de Google Cloud crea de forma automática una cuenta de servicio predeterminada llamada PROJECT_ID@appspot.gserviceaccount.com. Las operaciones de importación y exportación usan esta cuenta de servicio para autorizar las operaciones de Cloud Storage.

La cuenta de servicio predeterminada de tu proyecto requiere acceso al bucket de Cloud Storage que se usa en una operación de importación o exportación. Si tu bucket de Cloud Storage está en el mismo proyecto que tu base de datos de Cloud Firestore, la cuenta de servicio predeterminada tiene acceso al bucket de forma predeterminada.

Si el bucket de Cloud Storage está en otro proyecto, debes darle a la cuenta de servicio predeterminada acceso al bucket de Cloud Storage.

La cuenta de servicio necesita la función Storage Admin para que el bucket de Cloud Storage se use en la operación de importación o exportación.

Si inhabilitas o borras tu cuenta de servicio predeterminada de App Engine, tu aplicación de App Engine perderá el acceso a tu base de datos de Cloud Firestore. Si inhabilitaste tu cuenta de servicio de App Engine, puedes volver a habilitarla. Para ello, consulta la documentación sobre cómo habilitar una cuenta de servicio. Si borraste tu cuenta de servicio de App Engine en los últimos 30 días, puedes restablecerla. Para ello, consulta cómo recuperar una cuenta de servicio.

Configura gcloud para tu proyecto

Puedes iniciar operaciones de importación y exportación mediante Google Cloud Platform Console o la herramienta de línea de comandos de gcloud. Para usar gcloud, configura la herramienta de línea de comandos y conecta tu proyecto de una de las siguientes maneras:

Exportar datos

En una operación de exportación se copian documentos de tu base de datos a un conjunto de archivos en un depósito de Cloud Storage. Ten presente que no es una instantánea exacta de la base de datos en el momento de inicio de la operación. Es posible que incluya los cambios efectuados mientras se ejecuta la exportación.

Exporta todos los documentos

Google Cloud Console

  1. Ve a la página Importaciones/Exportaciones de Cloud Firestore en la consola de Google Cloud Platform.

    Ir a la página Importaciones/Exportaciones

  2. Haz clic en Exportar.

  3. Haz clic en la opción Exportar la base de datos completa.

  4. Debajo de Selecciona el destino, ingresa el nombre de un bucket de Cloud Storage o usa el botón Explorar para seleccionar un bucket.

  5. Haz clic en Exportar.

La consola regresa a la página Importaciones/Exportaciones. Si la operación se inicia correctamente, la página agrega una entrada a la página de importaciones y exportaciones recientes. Si se produce un error, la página muestra un mensaje de error.

gcloud

Use el comando firestore export para exportar todos los documentos de tu base de datos (reemplaza [BUCKET_NAME] con el nombre de tu bucket de Cloud Storage). Agrega la marca --async para evitar que la herramienta de gcloud espere a que se complete la operación.

gcloud firestore export gs://[BUCKET_NAME]

Puedes organizar las exportaciones si agregas un prefijo de archivo después del nombre del depósito, por ejemplo, BUCKET_NAME/my-exports-folder/export-name. Si no lo agregas, el servicio administrado de exportación crea uno en función de la marca de tiempo actual.

Una vez que inicies la operación de exportación, esta no se cancela si cierras la terminal. Consulta cómo cancelar una operación.

Exporta colecciones específicas

Google Cloud Console

  1. Ve a la página Importaciones/Exportaciones de Cloud Firestore en la consola de Google Cloud Platform.

    Ir a la página Importaciones/Exportaciones

  2. Haz clic en Exportar.

  3. Haz clic en la opción Exportar uno o más grupos de colecciones. Usa el menú desplegable para seleccionar uno o más grupos de colecciones.

  4. Debajo de Selecciona el destino, ingresa el nombre de un bucket de Cloud Storage o usa el botón Explorar para seleccionar un bucket.

  5. Haz clic en Exportar.

La consola regresa a la página Importaciones/Exportaciones. Si la operación se inicia correctamente, la página agrega una entrada a la página de importaciones y exportaciones recientes. Si se produce un error, la página muestra un mensaje de error.

gcloud

Para exportar grupos de colecciones específicos, usa la marca --collection-ids. Con esta operación, se exportan solo los grupos de colecciones que tienen los ID de colección especificados. El grupo de colecciones incluye todas las colecciones y subcolecciones (ubicadas en cualquier ruta) que tienen ese ID de colección.

gcloud firestore export gs://[BUCKET_NAME] --collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2],[SUBCOLLECTION_ID_1]

Importa datos

Tras exportar los archivos de Cloud Storage, puedes volver a importar documentos de esos archivos a tu proyecto o a otro. Ten presente los siguientes puntos sobre las operaciones de importación:

  • Cuando importas datos, se actualizan los índices necesarios con las definiciones de índices actuales de tu base de datos. Una exportación no contiene definiciones de índices.

  • Las importaciones no asignan nuevos ID a los documentos, sino que usan los ID capturados en el momento en que se realizó la exportación. Cuando se importa un documento, se conserva su ID para evitar conflictos entre estos. Si ya existe un documento con el mismo ID, se reemplaza el documento existente durante la importación.

  • Si la importación no afecta a un documento de la base de datos, este se conservará cuando la operación finalice.

  • Las operaciones de importación no activan Cloud Functions. Los objetos de escucha de instantáneas reciben actualizaciones relacionadas con las operaciones de importación.

  • El nombre del archivo .overall_export_metadata debe coincidir con el nombre de su carpeta superior:

    gs://BUCKET_NAME/OPTIONAL_NAMESPACE_PATH/PARENT_FOLDER_NAME/PARENT_FOLDER_NAME.overall_export_metadata

    Si mueves o copias los archivos de salida de una exportación, mantén los nombres de archivo PARENT_FOLDER_NAME y .overall_export_metadata iguales.

Importa todos los documentos desde una exportación

Google Cloud Console

  1. Ve a la página Importaciones/Exportaciones de Cloud Firestore en la consola de Google Cloud Platform.

    Ir a la página Importaciones/Exportaciones

  2. Haz clic en Importar.

  3. En el campo Nombre de archivo, ingresa el nombre de archivo de un archivo .overall_export_metadata de una operación de exportación completada. Puedes usar el botón Explorar para seleccionar el archivo.

  4. Haz clic en Importar.

La consola regresa a la página Importaciones/Exportaciones. Si la operación se inicia correctamente, la página agrega una entrada a la página de importaciones y exportaciones recientes. Si se produce un error, la página muestra un mensaje de error.

gcloud

Usa el comando firestore import para importar documentos de una operación de exportación anterior.

gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/

donde [BUCKET_NAME] y [EXPORT_PREFIX] apuntan a la ubicación de los archivos de exportación. Por ejemplo:

gcloud firestore import gs://exports-bucket/2017-05-25T23:54:39_76544/

Puedes confirmar la ubicación de los archivos de exportación en el navegador de Cloud Storage de Google Cloud Platform Console:

Abre el navegador de Cloud Storage

Una vez que inicies la operación de importación, esta no se cancelará si cierras la terminal. Consulta cómo cancelar una operación.

Importa colecciones específicas

Google Cloud Console

No puedes seleccionar colecciones específicas en la consola. Utiliza gcloud en lugar de esta función.

gcloud

Para importar grupos de colecciones específicos de un conjunto de archivos de exportación, usa la marca --collection-ids. Con esta operación, se importan solo los grupos de colecciones que tienen los ID de colección especificados. El grupo de colecciones incluye todas las colecciones y subcolecciones (ubicadas en cualquier ruta) que tienen ese ID de colección.

Solo una exportación de grupos de colecciones específicos admite una importación de este tipo. No puedes importar colecciones específicas a partir de una exportación de todos los documentos.

gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ --collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2],[SUBCOLLECTION_ID_1]

Administra las operaciones de importación y exportación

Cloud Firestore le asigna un nombre único a la operación de importación o exportación cuando la inicias. Puedes usar este nombre para borrar, cancelar o verificar el estado de la operación.

Los nombres de las operaciones incluyen el prefijo projects/[PROJECT_ID]/databases/(default)/operations/. Por ejemplo:

projects/my-project/databases/(default)/operations/ASA1MTAwNDQxNAgadGx1YWZlZAcSeWx0aGdpbi1zYm9qLW5pbWRhEgopEg

Sin embargo, puedes omitir el prefijo cuando especifiques el nombre de una operación para los comandos describe, cancel, y delete.

Genera una lista de todas las operaciones de importación y exportación

Google Cloud Console

Puedes ver una lista de las operaciones de importación y exportación recientes en la página Importaciones/Exportaciones de Cloud Firestore de Google Cloud Platform Console.

Ir a la página Importaciones/Exportaciones

gcloud

Para ver todas las operaciones de importación y exportación activas o que se completaron recientemente, usa el comando operations list:

gcloud firestore operations list

Verifica el estado de la operación

Google Cloud Console

Puedes ver el estado de una operación de importación o exportación reciente en la página Importaciones/Exportaciones de Cloud Firestore de Google Cloud Platform Console.

Ir a la página Importaciones/Exportaciones

gcloud

Usa el comando operations describe para que aparezca el estado de una operación de importación o exportación.

gcloud firestore operations describe [OPERATION_NAME]

Calcula el tiempo de finalización

Una solicitud del estado de una operación de larga duración muestra las métricas workEstimated y workCompleted. Cada una de estas métricas se muestra en cantidad de bytes y de entidades:

  • workEstimated muestra la cantidad total estimada de bytes y documentos que se procesarán en una operación. Es posible que Cloud Firestore omita esta métrica si no puede hacer una estimación.

  • workCompleted muestra la cantidad de bytes y documentos que se procesaron hasta el momento. Cuando la operación se completa, el valor muestra la cantidad total real de bytes y documentos que se procesaron. Es posible que sea mayor que la del valor de workEstimated.

Divide workCompleted entre workEstimated para obtener una estimación aproximada del progreso. Es posible que esta estimación sea inexacta, ya que depende de la demora en la recopilación de estadísticas.

Cancela una operación

Google Cloud Console

Puedes cancelar una operación de importación o exportación en ejecución en la página Importaciones/Exportaciones de Cloud Firestore de Google Cloud Platform Console.

Ir a la página Importaciones/Exportaciones

En la tabla Importaciones y exportaciones recientes, las operaciones que se ejecutan actualmente incluyen un botón Cancelar en la columna Finalizada. Haz clic en el botón Cancelar para detener la operación. El botón cambia al mensaje Cancelando y, luego, a Cancelada cuando se detiene por completo la operación.

gcloud

Para detener una operación en curso, usa el comando operations cancel:

gcloud firestore operations cancel [OPERATION_NAME]

Cancelar una operación en curso no deshace su progreso. Cuando se cancela una operación de exportación, los documentos que ya se exportaron se conservan en Cloud Storage y, cuando se cancela una operación de importación, se conservan las actualizaciones que ya se le efectuaron a la base de datos. No se pueden importar documentos desde una exportación que se completó en forma parcial.

Borra una operación

Usa el comando gcloud firestore operations delete para quitar una operación de la lista de operaciones recientes. Con este comando, no se borrarán los archivos de exportación de Cloud Storage.

gcloud firestore operations delete [OPERATION_NAME]

Facturación y precio de las operaciones de importación y exportación

Es obligatorio que habilites la facturación en el proyecto de Google Cloud antes de usar el servicio administrado de importación y exportación. Las operaciones de importación y exportación se cobran por lectura y escritura de documentos según las tarifas que se muestran en Precios de Cloud Firestore.

El límite de gasto no considera los costos de las operaciones de importación y exportación. Las operaciones de importación y exportación no activarán las alertas de presupuesto en Google Cloud hasta que se completen. Asimismo, las lecturas y escrituras que se realicen durante una operación de importación o exportación se aplican a la cuota diaria cuando esta se completa. Las operaciones de importación y exportación no afectarán el uso que se muestra en la sección de uso de la consola.

Visualiza los costos de importación y exportación

En las operaciones de importación y exportación, se aplica la etiqueta goog-firestoremanaged:exportimport a las operaciones facturadas. En la página de informes de Facturación de Cloud, puedes usar esta etiqueta para ver los costos relacionados con las operaciones de importación y exportación:

Accede a la etiqueta goog-firestoremanaged desde el menú de filtros.

Exporta a BigQuery

Puedes cargar datos desde una exportación de Cloud Firestore a BigQuery, pero solo si especificaste un filtro collection-ids. Consulta las sección sobre cómo cargar datos de exportaciones de Cloud Firestore.

Límite de columnas de BigQuery

BigQuery impone un límite de 10,000 columnas por tabla. Las operaciones de exportación de Cloud Firestore generan un esquema de tabla de BigQuery para cada grupo de colecciones. En este esquema, cada nombre de campo único dentro de un grupo de colecciones se convierte en una columna del esquema.

Si el esquema de BigQuery de un grupo de colecciones supera las 10,000 columnas, la operación de exportación de Cloud Firestore intenta mantenerse por debajo del límite de columnas. Para ello, trata los campos del mapa como bytes. Si esta conversión lleva la cantidad de columnas a menos de 10,000, puedes cargar los datos en BigQuery, pero no puedes consultar los subcampos dentro de los campos del mapa. Si la cantidad de columnas aún supera las 10,000, la operación de exportación no genera un esquema de BigQuery para el grupo de colecciones, por lo que no se pueden cargar tus datos en BigQuery.

Exporta archivos de formato y de metadatos

El resultado de una exportación administrada usa el formato de registro LevelDB.

Archivos de metadatos

Una operación de exportación crea un archivo de metadatos para cada grupo de colecciones que especifiques. Por lo general, los archivos de metadatos se denominan ALL_NAMESPACES_KIND_[COLLECTION_GROUP_ID].export_metadata.

Los archivos de metadatos son búferes de protocolo, y puedes decodificarlos con el compilador de protocolo protoc. Por ejemplo, puedes decodificar un archivo de metadatos para determinar los grupos de colecciones que contienen los archivos de exportación:

protoc --decode_raw < export0.export_metadata

Migración con agentes de servicio

Ahora puedes usar un agente de servicio de Cloud Firestore para autorizar operaciones de importación y exportación en lugar de la cuenta de servicio de App Engine. El agente de servicio y la cuenta de servicio usan las siguientes convenciones de nombres:

Agente de servicio de Cloud Firestore
service-project_number@gcp-sa-firestore.iam.gserviceaccount.com
Cuenta de servicio de App Engine
project_id@appspot.gserviceaccount.com

Se prefiere el agente de servicio de Cloud Firestore porque es específico de Cloud Firestore. Más de un servicio comparte la cuenta de servicio de App Engine.

Visualiza la cuenta de autorización

Puedes ver qué cuenta usan tus operaciones de importación y exportación para autorizar solicitudes desde la página Importaciones/Exportaciones en la consola de Google Cloud Platform. También puedes ver si tu base de datos ya usa el agente de servicio de Cloud Firestore.

  1. Ve a la página Importaciones/Exportaciones de Cloud Firestore en la consola de Google Cloud Platform.

    Ir a Importaciones/Exportaciones

  2. Consulta la cuenta de autorización junto a la etiqueta Los trabajos de importación o exportación se ejecutan como.

Si tu proyecto no usa el agente de servicio de Cloud Firestore, puedes migrar al agente de servicio de Cloud Firestore mediante cualquiera de estas técnicas:

La primera de estas técnicas es preferible porque localiza el alcance del efecto a un solo proyecto de Cloud Firestore. No se prefiere la segunda técnica, ya que no migra los permisos del bucket de Cloud Storage existentes. Sin embargo, sí ofrece el cumplimiento de seguridad a nivel de la organización.

Revisa y actualiza los permisos del bucket de Cloud Storage para migrar un proyecto

El proceso de migración consta de dos pasos:

  1. Actualizar los permisos del bucket de Cloud Storage (consulta la siguiente sección para obtener más detalles).
  2. Confirmar la migración al agente de servicio de Cloud Firestore.

Permisos del agente de servicio sobre el bucket

Para cualquier operación de importación o exportación que use un bucket de Cloud Storage de otro proyecto, debes otorgar permisos al agente de servicio de Cloud Firestore para ese bucket. Por ejemplo, las operaciones que mueven datos a otro proyecto deben acceder a un bucket de ese otro proyecto. De lo contrario, estas operaciones fallarán después de migrar al agente de servicio de Cloud Firestore.

Los flujos de trabajo de importación y exportación que se encuentran dentro del mismo proyecto no requieren cambios en los permisos. El agente de servicio de Cloud Firestore puede acceder a los buckets del mismo proyecto de forma predeterminada.

Actualiza los permisos de los buckets de Cloud Storage de otros proyectos para otorgar acceso al agente de servicio service-project_number@gcp-sa-firestore.iam.gserviceaccount.com. Otorga al agente de servicio el rol Firestore Service Agent.

El rol Firestore Service Agent otorga permisos de lectura y escritura a un bucket de Cloud Storage. Si necesitas otorgar solo permisos de lectura o escritura, usa un rol personalizado.

El proceso de migración que se describe en la siguiente sección te ayuda a identificar los buckets de Cloud Storage que pueden requerir actualizaciones de permisos.

Migra un proyecto al agente de servicio de Firestore

Completa los siguientes pasos para migrar de la cuenta de servicio de App Engine al agente de servicio de Cloud Firestore. Una vez completada, la migración no se puede deshacer.

  1. Ve a la página Importaciones/Exportaciones de Cloud Firestore en la consola de Google Cloud Platform.

    Ir a Importaciones/Exportaciones

  2. Si tu proyecto aún no se ha migrado al agente de servicio de Cloud Firestore, verás un banner que describe la migración y un botón Verificar estado del bucket. En el siguiente paso, podrás identificar y corregir posibles errores de permisos.

    Haz clic en Verificar estado del bucket.

    Aparecerá un menú con la opción de completar tu migración y una lista de buckets de Cloud Storage. Es posible que la lista tarde unos minutos en terminar de cargarse.

    En esta lista, se incluyen los buckets que se usaron recientemente en operaciones de importación y exportación, pero que en la actualidad no otorgan permisos de lectura y escritura al agente de servicio de Cloud Firestore.

  3. Anota el nombre principal del agente de servicio de Cloud Firestore de tu proyecto. El nombre del agente de servicio aparece bajo la etiqueta Service agent to give access to.
  4. Para cualquier bucket de la lista que usarás en las operaciones futuras de importación o exportación, completa los siguientes pasos:

    1. En la fila de la tabla del bucket, haz clic en Corregir. Se abrirá la página de permisos del bucket en una pestaña nueva.

    2. Haz clic en Agregar.
    3. En el campo Principales nuevas, ingresa el nombre de tu agente de servicio de Cloud Firestore.
    4. En el campo Selecciona un rol, selecciona Agentes de servicio > Agente de servicio de Firestore.
    5. Haz clic en Guardar.
    6. Regresa a la pestaña que tiene la página de importación y exportación de Cloud Firestore.
    7. Repite estos pasos para otros buckets de la lista. Asegúrate de ver todas las páginas de la lista.
  5. Haz clic en Migrar al agente de servicio de Firestore. Si aún tienes buckets con verificaciones de permisos con errores, debes confirmar la migración haciendo clic en Migrar.

    Una alerta te informa cuando se completa la migración. No se puede deshacer la migración.

Consulta el estado de la migración

  1. Para verificar el estado de migración de tu proyecto, ve a la página Importaciones/Exportaciones en la consola de Google Cloud Platform:

    Ir a Importaciones/Exportaciones

  2. Busca la principal junto a la etiqueta Los trabajos de importación o exportación se ejecutan como.

    Si la principal es service-project_number@gcp-sa-firestore.iam.gserviceaccount.com, significa que tu proyecto ya migró al agente de servicio de Cloud Firestore. No se puede deshacer la migración.

    Si el proyecto no se migró, aparecerá un banner en la parte superior de la página con un botón Verificar estado del bucket. Para completar la migración, consulta Migra al agente de servicio de Firestore.

Agrega una restricción de política para toda la organización

  • Establece la siguiente restricción en la política de tu organización:

    Requiere el agente de servicio de Firestore para importar y exportar (firestore.requireP4SAforImportExport).

    Esta restricción requiere que las operaciones de importación y exportación usen el agente de servicio de Cloud Firestore a fin de autorizar solicitudes. Para establecer esta restricción, consulta Crea y administra políticas de la organización .

Aplicar esta restricción de política de la organización no otorga de forma automática los permisos adecuados sobre los buckets de Cloud Storage al agente de servicio de Cloud Firestore.

Si la restricción crea errores de permisos en algún flujo de trabajo de importación o exportación, puedes inhabilitarla para volver a usar la cuenta de servicio predeterminada. Después de verificar y actualizar los permisos del bucket de Cloud Storage, puedes volver a habilitar la restricción.