Как посмотреть статистику Каталога знаний

Вы можете искать ресурсы Cloud Firestore и управлять ими с помощью Knowledge Catalog – платформы для хранения метаданных, управления ими и доступа к ним. Вы можете использовать Knowledge Catalog для анализа метаданных Cloud Firestore и выполнения таких задач, как:

• Анализ, включая зависимости и пригодность для конкретного случая использования
• Управление изменениями
• Эволюция схемы

Каталог знаний по умолчанию включен в новых и существующих базах данных Cloud Firestore и автоматически извлекает следующие метаданные:

Подготовка

• Чтобы включить API, вам нужна роль IAM "Администратор Service Usage" (roles/serviceusage.serviceUsageAdmin), которая содержит разрешение serviceusage.services.enable. Подробнее о том, как назначать роли…
• Подробнее о том, как включить API…

Чтобы использовать статистику из Каталога знаний в Cloud Firestore, сначала нужно создать базу данных Cloud Firestore. Подробнее о том, как создавать базы данных и управлять ими…

Роли, необходимые для доступа к результатам поиска

Чтобы искать и просматривать метаданные Cloud Firestore в каталоге знаний, у пользователей должны быть разрешения на просмотр ресурсов Cloud Firestore, включая разрешение dataplex.projects.search.

Чтобы предоставить субъектам, например пользователям, группам или сервисным аккаунтам, эти разрешения, назначьте им роль IAM Cloud Datastore Viewer (roles/datastore.viewer) в проекте, который содержит ресурсы Cloud Firestore.

Подробнее о том, как управлять доступом… Дополнительную информацию о ролях IAM в Cloud Firestore можно найти в статье Роли и разрешения в Cloud Firestore.

Роли, необходимые для поиска записей

Чтобы искать записи, вам нужна хотя бы одна из следующих ролей IAM в проекте, который используется для поиска:

• Администратор каталога Dataplex (roles/dataplex.catalogAdmin)
• Редактор каталога Dataplex (roles/dataplex.catalogEditor)
• Dataplex Catalog Viewer (roles/dataplex.catalogViewer)

Разрешения для результатов поиска проверяются независимо от выбранного проекта. Подробнее о том, как искать объекты данных с помощью каталога знаний…

Типы обнаружения метаданных

Обнаружение метаданных Knowledge Catalog – это автоматизированный процесс, который сканирует подключенные источники данных, например Cloud Firestore, чтобы идентифицировать объекты данных (такие как коллекции и базы данных) и извлечь их технические метаданные (например, схемы, описания и местоположения) в каталог Knowledge Catalog. Этот процесс выполняется периодически, чтобы синхронизировать каталог с исходными системами.

Поиск по ключевым словам и на естественном языке

В каталоге знаний поддерживается поиск по ключевым словам и на естественном языке.

• Поиск по ключевым словам позволяет находить ресурсы с помощью определенных ключевых слов, фильтров и заданного синтаксиса. Например, вы можете ввести system=Firestore AND type=Database, чтобы посмотреть все базы данных Cloud Firestore.
• Поиск на естественном языке (предварительная версия) использует ИИ для понимания семантических запросов. Она позволяет находить ресурсы, используя обычный язык, без необходимости в сложном синтаксисе. Например, вы можете ввести запрос List all Firestore databases related to sales.

Подробнее о синтаксисе поиска в каталоге знаний…

Пример: схема группы коллекций Cloud Firestore в рекомендациях

Чтобы понять, как работает обнаружение метаданных, рассмотрим Cloud Firestore базу данных user-firestore-database. В этой базе данных у вас есть схема группы коллекций с названием user-schema.

После завершения обнаружения вы можете найти эти объекты (user-firestore-database и user-schema) на странице каталога знаний в консоли Google Cloud или с помощью Knowledge Catalog API. Затем вы можете просматривать сведения об объектах и добавлять к ним дополнительные бизнес- или операционные метаданные.

Как обогатить метаданные с помощью аспектов

Типы аспектов – это многократно используемые ресурсы, которые можно использовать в качестве шаблонов для аспектов. Типы аспектов помогают избежать дублирования работы и неполных аспектов. Вы можете использовать Knowledge Catalog, чтобы создать нужные типы аспектов.

После создания пользовательских типов аспектов вы можете прикрепить аспекты к ресурсам Cloud Firestore. Прикрепление аспектов к ресурсам позволяет делать следующее:

• Добавьте к объектам метаданные о компании
• Поиск объектов по коммерческим и другим специальным метаданным.

Подробнее о том, как создавать типы аспектов и прикреплять аспекты к Cloud Firestore, рассказывается в статье Как управлять аспектами и обогащать метаданные.

Поиск объектов типа "Cloud Firestore"

Используйте страницу поиска Knowledge Catalog в консоли Google Cloud, чтобы найти ресурсы Cloud Firestore.

1. Перейдите на страницу Поиск в Каталоге знаний.

   Перейти к поиску

2. На панели Фильтры нажмите Системы и выберите Firestore.

3. Необязательное поле. В разделе Псевдонимы типов можно отфильтровать результаты поиска по определенному типу объекта Cloud Firestore, выбрав один или несколько псевдонимов типов:

   • База данных
   • Схема базы данных
   • Другое

Используйте запросы для поиска по ключевым словам

Вы можете использовать строку поиска в каталоге знаний, чтобы выполнять поисковые запросы по ключевым словам. Например, вы можете ввести system=Firestore AND type=Database, чтобы посмотреть все базы данных Cloud Firestore.

Подробнее о синтаксисе поиска в каталоге знаний…

Чтобы посмотреть все объекты типа "Cloud Firestore", введите system=Firestore. Вы можете ввести определенные ключевые слова. Например, чтобы посмотреть все базы данных Cloud Firestore, выполните следующую команду:

system=Firestore AND type=Database

В сложных выражениях можно использовать скобки и логические операторы AND и OR. Подробнее о синтаксисе поиска в каталоге знаний…

Вы можете вводить поисковые запросы для определенных объектов Cloud Firestore прямо в строку поиска. Строка запроса имеет следующий формат:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Замените следующее:

• QUERY_STRING. Чтобы определить строку запроса на основе типа объекта Cloud Firestore, который вы хотите запросить, используйте следующий список:

  • firestore-database
  • firestore-schema

Пример запроса:

type="projects/1234567890/locations/global/entryTypes/firestore-schema"

Поиск по типу аспекта

В Knowledge Catalog есть несколько встроенных типов аспектов, которые можно использовать для поиска.

Чтобы выполнить поиск по типу аспекта, выполните следующие действия:

1. На панели Аспекты нажмите на меню Добавить другие типы аспектов.
2. Введите Firestore, а затем выберите один или несколько типов аспектов, чтобы ограничить результаты поиска.
   • База данных Cloud Firestore
   • Схема Cloud Firestore
3. Нажмите ОК.
4. В таблице результатов нажмите на название объекта, чтобы посмотреть его метаданные.
5. При необходимости улучшите или посмотрите объекты. Вы можете выполнять любые из следующих действий:
   • Чтобы добавить форматированное описание объекта, в разделе Обзор нажмите Добавить .
   • Чтобы прикрепить аспект к объекту, в разделе Аспекты нажмите Добавить .
   • Чтобы посмотреть базы данных, входящие в экземпляр, откройте вкладку Список записей и нажмите Показать все дочерние записи в поиске.
   • В разделе Сведения о записи можно посмотреть полную информацию об объекте. Чтобы посмотреть дополнительные записи, нажмите на название записи.

Поиск на естественном языке в Cloud Firestore

Поиск на естественном языке (предварительная версия) использует ИИ для понимания семантических запросов. Она позволяет находить ресурсы, используя обычный язык, без необходимости в сложном синтаксисе. Например, вы можете ввести запрос List all Firestore collections related to sales.

Подробнее о синтаксисе поиска в каталоге знаний…

Поиск по синтаксису в Cloud Firestore

Поиск по ключевым словам позволяет находить ресурсы с помощью определенных ключевых слов, фильтров и заданного синтаксиса. Например, вы можете ввести system=Firestore AND type=Database, чтобы посмотреть все базы данных Cloud Firestore.

Подробнее о синтаксисе поиска в каталоге знаний…

Пример рабочего процесса: детализация от базы данных до схемы

Чтобы перейти от базы данных к схеме, выполните следующие действия:

1. Перейдите на страницу Поиск в Каталоге знаний.

   Перейти к поиску

2. На панели фильтров выберите Системы, а затем Firestore. Вы также можете ввести system=Firestore в строке поиска.

3. Выберите базу данных.

4. На странице Сведения о Firestore откройте вкладку Список записей и нажмите Показывать все дочерние записи в поиске.

5. На странице Сведения о базе данных Firestore откройте вкладку Список записей и нажмите Показать все дочерние записи в поиске. Knowledge Catalog показывает группы коллекций в базе данных.

6. Выберите название группы коллекций, а затем на странице Сведения о группе коллекций нажмите Схема, чтобы посмотреть схему.

7. Чтобы добавить тип аспекта в базу данных, нажмите кнопку Добавить аспект.

Цены

Хранение технических метаданных Cloud Firestore в Каталоге знаний бесплатное. Для вызовов API и дополнительного обогащения бизнес-метаданных действуют стандартные цены Knowledge Catalog. Дополнительную информацию можно найти на странице с ценами на Knowledge Catalog.

Ограничения

• Результаты запроса усекаются после обработки 10 000 групп коллекций.
• При пакетной загрузке изменения в базе данных могут отражаться в каталоге знаний с задержкой до 48 часов.
• При динамической загрузке может пройти до пяти минут, прежде чем изменения в базе данных отразятся в каталоге знаний.
• Группы коллекций не обновляются во время загрузки в реальном времени.
• Схемы групп коллекций обновляются во время передачи данных, однако это обновление охватывает только первые 100 примитивных полей верхнего уровня в алфавитном порядке. Остальная информация в схеме обновляется в течение 24–48 часов после загрузки данных.
• Извлечение может занять несколько минут.

Дальнейшие действия

• Об управлении каталогом данных в Knowledge Catalog
• Роли Knowledge Catalog в Identity and Access Management