С помощью Knowledge Catalog, платформы для хранения, управления и доступа к метаданным, вы можете искать и управлять своими ресурсами Cloud Firestore . Knowledge Catalog позволяет анализировать метаданные Cloud Firestore и решать такие задачи, как:
- Анализ, включая зависимости и пригодность для конкретного сценария использования.
- Управление изменениями
- Эволюция схемы
Функция «Каталог знаний» включена по умолчанию в новых и существующих базах данных Cloud Firestore и автоматически извлекает следующие метаданные:
| Ресурс | Тип | Поля |
|---|---|---|
| База данных | Плоскость управления |
|
| Схема базы данных | плоскость данных |
|
Прежде чем начать
Для использования аналитических данных из каталога знаний с Cloud Firestore необходимо предварительно создать базу данных Cloud Firestore . Дополнительную информацию см. в разделе «Создание и управление базами данных» .
Необходимые роли для доступа к результатам поиска
Для поиска и просмотра метаданных Cloud Firestore в Knowledge Catalog субъекты должны иметь разрешения на просмотр ресурсов Cloud Firestore , включая разрешение dataplex.projects.search .
Чтобы предоставить субъектам — таким как пользователи, группы или учетные записи служб — эти разрешения, назначьте им роль IAM « Просмотрщик Cloud Datastore» ( roles/datastore.viewer ) в проекте, содержащем ресурсы Cloud Firestore .
| Работа каталога знаний | Ресурс Cloud Firestore | Требуемые роли или разрешения |
|---|---|---|
| Поиск ресурсов Cloud Firestore | База данных | datastore.databases.getMetadata |
| Схема базы данных | datastore.schemas.get |
Для получения дополнительной информации о предоставлении ролей см. раздел «Управление доступом» . Для получения дополнительной информации о ролях Cloud Firestore IAM см. раздел «Роли и разрешения Cloud Firestore .
Необходимые роли для поиска записей
Для поиска записей вам потребуется как минимум одна из следующих ролей IAM в проекте, используемом для поиска:
- Администратор каталога Dataplex (
roles/dataplex.catalogAdmin) - Редактор каталога Dataplex (
roles/dataplex.catalogEditor) - Программа просмотра каталога Dataplex (
roles/dataplex.catalogViewer)
Проверка прав доступа к результатам поиска выполняется независимо от выбранного проекта. Дополнительную информацию см. в разделе «Поиск информационных ресурсов с помощью каталога знаний» .
Типы обнаружения метаданных
Обнаружение метаданных в каталоге знаний — это автоматизированный процесс, который сканирует подключенные источники данных, такие как Cloud Firestore , для идентификации информационных ресурсов (например, коллекций и баз данных) и извлечения их технических метаданных, таких как схемы, описания и местоположения, в каталог знаний. Этот процесс запускается периодически для синхронизации каталога с исходными системами.
Поиск по ключевым словам и поиск на естественном языке
Каталог знаний поддерживает поиск по ключевым словам и на естественном языке.
- Поиск по ключевым словам позволяет находить ресурсы, используя определенные ключевые слова, фильтры и заданный синтаксис. Например, вы можете ввести
system=Firestore AND type=Databaseчтобы просмотреть все базы данных Cloud Firestore . - Поиск на естественном языке (предварительная версия) использует ИИ для понимания семантических запросов. Он позволяет находить ресурсы, используя повседневный язык, устраняя необходимость в сложном синтаксисе. Например, вы можете ввести запрос типа
List all Firestore databases related to sales.
Для получения дополнительной информации см. раздел «Синтаксис поиска в каталоге знаний» .
Пример: Обнаружение схемы группы коллекций Cloud Firestore
Чтобы понять процесс обнаружения метаданных, рассмотрим базу данных Cloud Firestore с именем user-firestore-database . В этой базе данных есть схема группы коллекций с именем user-schema .
После завершения поиска вы можете найти эти ресурсы — user-firestore-database и user-schema — на странице Каталога знаний в консоли Google Cloud или с помощью API Каталога знаний. Затем вы можете просмотреть подробную информацию об ресурсах и дополнить ее дополнительными бизнес- или операционными метаданными.
Обогащение метаданных с помощью аспектов
Типы аспектов — это многократно используемые ресурсы, которые можно использовать в качестве шаблонов для аспектов. Типы аспектов помогают избежать дублирования работы и незавершенных аспектов. Вы можете использовать Каталог знаний для создания необходимых вам типов аспектов.
После создания пользовательских типов аспектов вы можете прикрепить аспекты к своим ресурсам Cloud Firestore . Прикрепление аспектов к ресурсам позволяет выполнять следующие действия:
- Добавьте бизнес-метаданные к активам.
- Поиск активов по бизнес-метаданным и другим пользовательским метаданным.
Чтобы узнать больше о создании типов аспектов и прикреплении аспектов к Cloud Firestore , см. раздел «Управление аспектами и обогащение метаданных» .
Поиск ресурсов Cloud Firestore
Для поиска ресурсов Cloud Firestore используйте страницу поиска в каталоге знаний в консоли Google Cloud.
Перейдите на страницу поиска по каталогу знаний.
В панели «Фильтры» щелкните «Системы» , а затем выберите Firestore .
Необязательно. В разделе «Псевдонимы типов» вы можете отфильтровать результаты поиска по определенному типу ресурса Cloud Firestore , выбрав один или несколько из следующих псевдонимов типов:
- База данных
- Схема базы данных
- Другой
Используйте запросы для выполнения поиска по ключевым словам.
В каталоге знаний вы можете использовать поле поиска для выполнения поисковых запросов по ключевым словам. Например, вы можете ввести system=Firestore AND type=Database чтобы просмотреть все базы данных Cloud Firestore .
Для получения дополнительной информации см. раздел «Синтаксис поиска в каталоге знаний» .
Чтобы просмотреть все ресурсы Cloud Firestore , введите system=Firestore . Вы можете ввести конкретные ключевые слова. Например, чтобы просмотреть все базы данных Cloud Firestore :
system=Firestore AND type=Database
Для сложных выражений также можно использовать скобки и логические операторы AND и OR . Более подробную информацию о выражениях, которые можно использовать в поле поиска, см. в разделе «Синтаксис поиска в каталоге знаний» .
В поле поиска можно напрямую вводить поисковые запросы для конкретных ресурсов Cloud Firestore . Формат строки запроса следующий:
type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"
Замените следующее:
QUERY_STRING: используйте следующий список для определения строки запроса в зависимости от типа ресурса Cloud Firestore , к которому вы хотите обратиться:-
firestore-database -
firestore-schema
-
Пример запроса может выглядеть следующим образом:
type="projects/1234567890/locations/global/entryTypes/firestore-schema"
Поиск по типу аспекта
Каталог знаний включает в себя несколько встроенных типов аспектов, которые можно использовать для выполнения поиска.
Для поиска по типу аспекта выполните следующие действия:
- На панели «Аспекты» щелкните меню «Добавить другие типы аспектов» .
- Войдите в
Firestore, затем выберите один или несколько из следующих типов аспектов, чтобы ограничить результаты поиска этим типом.- База данных Cloud Firestore
- Схема Cloud Firestore
- Нажмите ОК .
- В таблице результатов щелкните название актива, чтобы просмотреть метаданные для этого актива.
- Дополнительно: Улучшите или просмотрите свои активы. Вы можете сделать любое из следующих действий:
- Чтобы добавить расширенное текстовое описание актива, в разделе «Обзор» нажмите «Добавить» .
- Чтобы добавить аспект к ресурсу, в разделе «Аспекты» нажмите «Добавить» .
- Чтобы просмотреть базы данных участников для конкретного экземпляра, перейдите на вкладку «Список записей» , а затем нажмите « Показать все дочерние записи в результатах поиска» .
- В разделе «Подробности записи» вы можете просмотреть полную информацию об активе. Щелкните название записи, чтобы перейти к другим записям.
Поиск на естественном языке в Cloud Firestore
Поиск на естественном языке (предварительная версия) использует ИИ для понимания семантических запросов. Он позволяет находить ресурсы, используя повседневный язык, устраняя необходимость в сложном синтаксисе. Например, вы можете ввести запрос типа List all Firestore collections related to sales .
Для получения дополнительной информации см. раздел «Синтаксис поиска в каталоге знаний» .
Поиск по синтаксису в Cloud Firestore
Поиск по ключевым словам позволяет находить ресурсы, используя определенные ключевые слова, фильтры и заданный синтаксис. Например, вы можете ввести system=Firestore AND type=Database чтобы просмотреть все базы данных Cloud Firestore .
Для получения дополнительной информации см. раздел «Синтаксис поиска в каталоге знаний» .
Пример рабочего процесса: детализация данных из базы данных в схему.
Для детализации данных из базы данных до схемы выполните следующие шаги:
Перейдите на страницу поиска по каталогу знаний.
В панели «Фильтры» выберите «Системы» , а затем «Firestore» . В качестве альтернативы, введите
system=Firestoreв поле поиска.Выберите базу данных.
На странице с подробной информацией о Firestore перейдите на вкладку «Список записей» , а затем нажмите « Показать все дочерние записи в поиске» .
На странице сведений о базе данных Firestore перейдите на вкладку «Список записей» , а затем нажмите «Показать все дочерние записи в поиске ». Каталог знаний отобразит группы коллекций в базе данных.
Выберите имя группы коллекций, а затем на странице сведений о группе коллекций нажмите «Схема» , чтобы просмотреть схему.
(Необязательно) Чтобы добавить тип аспекта в базу данных, нажмите кнопку «Добавить аспект» .
Цены
Хранение технических метаданных Cloud Firestore в Knowledge Catalog бесплатно. Стандартные цены Knowledge Catalog применяются к вызовам API и дополнительному обогащению бизнес-метаданных. Для получения дополнительной информации см. страницу с ценами Knowledge Catalog .
Ограничения
- Результаты запроса обрезаются после обработки 10 000 групп данных.
- В процессе пакетной обработки данных может потребоваться до 48 часов, чтобы обновления вашей базы данных отобразились в Knowledge Catalog.
- В процессе загрузки данных в режиме реального времени для отображения обновлений в базе данных в Knowledge Catalog может потребоваться до 5 минут.
- Группы коллекций не обновляются во время загрузки данных в режиме реального времени.
- Схемы групп коллекций обновляются во время загрузки данных в режиме реального времени, однако это обновление затрагивает только первые 100 примитивных полей верхнего уровня в алфавитном порядке. Остальная информация о схеме обновляется через 24–48 часов после загрузки данных в режиме реального времени.
- Процесс экстракции может занять несколько минут.
Что дальше?
- О системе управления каталогом данных в Knowledge Catalog
- Роли управления идентификацией и доступом в каталоге знаний