Google is committed to advancing racial equity for Black communities. See how.
Эта страница была переведа с помощью Cloud Translation API.
Switch to English

Экспорт коллекций в BigQuery

Firebase
Сделано Firebase

Отправляет в реальном времени инкрементные обновления из указанной коллекции Cloud Firestore в BigQuery.

Как работает это расширение

Используйте это расширение для экспорта документов из коллекции Cloud Firestore в BigQuery. Экспорт осуществляется в реальном времени и осуществляется инкрементально, поэтому данные в BigQuery являются зеркалом вашего контента в Cloud Firestore.

Расширение создает и обновляет набор данных, содержащий следующие два ресурса BigQuery:

  • Таблица необработанных данных, в которой хранится полная история изменений документов в вашей коллекции. Эта таблица включает ряд полей метаданных, чтобы BigQuery мог отображать текущее состояние ваших данных. Основные поля метаданных - это timestamp , document_name и operation изменения документа.
  • Вид , который представляет текущее состояние данных в пределах вашей коллекции. Он также показывает журнал последней operation для каждого документа ( CREATE , UPDATE или IMPORT ).

Если вы создаете, обновляете, удаляете или импортируете документ в указанной коллекции, это расширение отправляет это обновление в BigQuery. Затем вы можете запускать запросы к этому зеркальному набору данных.

Обратите внимание, что это расширение отслеживает только изменения документов в коллекции, но не изменения в какой-либо вложенной коллекции . Однако вы можете установить дополнительные экземпляры этого расширения, чтобы специально прослушивать вложенную коллекцию или другие коллекции в вашей базе данных. Или, если у вас есть одна и та же вложенная коллекция для всех документов в данной коллекции, вы можете использовать нотацию {wildcard} для прослушивания всех этих вложенных коллекций (например: chats/{chatid}/posts ).

Дополнительная настройка

Перед установкой этого расширения вам необходимо:

Заполните свой набор данных BigQuery

Это расширение отправляет только содержимое измененных документов - оно не экспортирует полный набор данных существующих документов в BigQuery. Итак, чтобы заполнить набор данных BigQuery всеми документами из вашей коллекции, вы можете запустить сценарий импорта, предоставляемый этим расширением.

Важно: запустите сценарий импорта для всей коллекции после установки этого расширения, иначе все записи в вашу базу данных во время импорта могут быть потеряны.

Создать представления схемы

После того, как ваши данные помещены в BigQuery, вы можете запустить сценарий представления схемы (предоставляемый этим расширением), чтобы создать представления, которые упростят запрос соответствующих данных. Вам нужно только предоставить файл схемы JSON, который описывает вашу структуру данных, и сценарий представления схемы создаст представления.

Биллинг

Чтобы установить расширение, ваш проект должен быть включен в план Blaze (оплата по мере использования).

  • С вас будет взиматься небольшая сумма (обычно около 0,01 доллара США в месяц) за ресурсы Firebase, необходимые для этого расширения (даже если оно не используется).
  • Это расширение использует другие службы Firebase и Google Cloud Platform, за которые взимается дополнительная плата, если вы превышаете уровень бесплатного использования службы:
  • BigQuery (это расширение записывает в BigQuery потоковые вставки )
  • Cloud Firestore
  • Облачные функции (среда выполнения Node.js 10+. См. Часто задаваемые вопросы )

Как установить это расширение

Использование консоли Firebase

Для установки расширений и управления ими вы можете использовать консоль Firebase.

Установить с помощью консоли

Использование интерфейса командной строки Firebase

Для установки расширений и управления ими вы также можете использовать интерфейс командной строки Firebase:

Шаг 1. Выполните следующую команду npm, чтобы установить интерфейс командной строки или обновить его до последней версии.

npm install -g firebase-tools
Не работает? Взгляните на справочник по интерфейсу командной строки Firebase или измените разрешения npm .

Шаг 2. Установите это расширение, выполнив следующую команду

firebase ext:install firestore-bigquery-export --project=projectId_or_alias
Автор
Лицензия
Apache-2.0
Версия
0.1.9