Vous pouvez rechercher et gérer vos ressources Cloud Firestore à l'aide de Knowledge Catalog, une plate-forme permettant de stocker, gérer et accéder à vos métadonnées. Vous pouvez utiliser Knowledge Catalog pour analyser vos Cloud Firestore métadonnées et vous aider à effectuer des tâches telles que :
- Analyse, y compris les dépendances et l'adéquation à un cas d'utilisation
- Gestion du changement
- Évolution du schéma
Knowledge Catalog est activé par défaut sur les bases de données Cloud Firestore nouvelles et existantes, et récupère automatiquement les métadonnées suivantes :
| Ressource | Type | Champs |
|---|---|---|
| Base de données | Plan de contrôle |
|
| Schéma de base de données | Plan de données |
|
Avant de commencer
Pour utiliser les insights Knowledge Catalog avec Cloud Firestore, vous devez d'abord disposer d'une Cloud Firestore base de données. Pour en savoir plus, consultez Créer et gérer des bases de données.
Rôles requis pour accéder aux résultats de recherche
Pour rechercher et afficher des métadonnées Cloud Firestore dans
Knowledge Catalog, les principaux doivent disposer des autorisations nécessaires pour afficher les ressources Cloud Firestore, y compris l'dataplex.projects.search permission.
Pour accorder ces autorisations à des principaux (utilisateurs,
groupes ou comptes de service, par exemple), attribuez-leur le
rôle IAM Lecteur Cloud Datastore (roles/datastore.viewer)
sur le projet contenant les ressources Cloud Firestore.
| Opération Knowledge Catalog | Cloud Firestore ressource | Rôles ou autorisations requis |
|---|---|---|
| Rechercher des ressources Cloud Firestore | Base de données | datastore.databases.getMetadata |
| Schéma de base de données | datastore.schemas.get |
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès. Pour en savoir plus sur les rôles IAM Cloud Firestore, consultez les rôles et autorisations Cloud Firestore.
Rôles requis pour rechercher des entrées
Pour rechercher des entrées, vous devez disposer d'au moins l'un des rôles IAM suivants au niveau du projet utilisé pour la recherche :
- Administrateur de catalogue Dataplex (
roles/dataplex.catalogAdmin) - Éditeur de catalogue Dataplex (
roles/dataplex.catalogEditor) - Lecteur de catalogue Dataplex (
roles/dataplex.catalogViewer)
Les autorisations applicables aux résultats de recherche sont vérifiées indépendamment du projet sélectionné. Pour en savoir plus, consultez Rechercher des éléments de données avec Knowledge Catalog.
Types de découverte de métadonnées
La découverte de métadonnées Knowledge Catalog est un processus automatisé qui analyse les sources de données connectées (comme Cloud Firestore) pour identifier les éléments de données (tels que les collections et les bases de données) et extraire leurs métadonnées techniques (schémas, descriptions et emplacements, par exemple) dans le catalogue Knowledge Catalog. Ce processus s'exécute régulièrement pour que le catalogue reste synchronisé avec les systèmes sources.
Recherche par mots clés et en langage naturel
Knowledge Catalog prend en charge les recherches par mots clés et en langage naturel.
- La recherche par mots clés vous permet de trouver des ressources à l'aide de mots clés et de filtres spécifiques, ainsi que d'une syntaxe définie. Par exemple, vous pouvez saisir
system=Firestore AND type=Databasepour afficher toutes les bases de données Cloud Firestore. - La recherche en langage naturel (aperçu) utilise l'IA pour comprendre les requêtes sémantiques. Elle vous permet de trouver des ressources en utilisant un langage courant, sans avoir besoin d'une syntaxe complexe. Par exemple, vous pouvez saisir des requêtes telles que
List all Firestore databases related to sales.
Pour en savoir plus, consultez Syntaxe de recherche pour Knowledge Catalog.
Exemple : Découvrir un schéma de groupe de collections Cloud Firestore
Pour comprendre le processus de découverte des métadonnées, prenons l'exemple d'une Cloud Firestore
base de données nommée user-firestore-database. Dans cette base de données, vous disposez d'un schéma de groupe de collections nommé user-schema.
Une fois la découverte terminée, vous pouvez rechercher ces éléments (user-firestore-database
et user-schema) sur la page Knowledge Catalog de la
console Google Cloud ou à l'aide de l'API Knowledge Catalog.
Vous pouvez ensuite afficher des informations sur les éléments et les enrichir avec des métadonnées métier ou opérationnelles supplémentaires.
Enrichir les métadonnées à l'aide d'aspects
Les types d'aspects sont des ressources réutilisables pouvant servir de modèles pour les aspects. Les types d'aspects vous aident à éviter la duplication de tâches et les aspects incomplets. Vous pouvez utiliser Knowledge Catalog pour créer les types d'aspects dont vous avez besoin.
Une fois que vous avez créé des types d'aspects personnalisés, vous pouvez associer des aspects à vos Cloud Firestore ressources. L'association d'aspects à vos ressources vous permet d'effectuer les opérations suivantes :
- Ajouter des métadonnées métier aux éléments
- Rechercher des éléments par métadonnées métier et autres métadonnées personnalisées
Pour en savoir plus sur la création de types d'aspects et l'association d'aspects à Cloud Firestore, consultez Gérer les aspects et enrichir les métadonnées.
Rechercher des éléments Cloud Firestore
Utilisez la page de recherche Knowledge Catalog dans la console Google Cloud pour rechercher des éléments Cloud Firestore.
Accédez à la page Rechercher de Knowledge Catalog.
Dans le panneau Filtres, cliquez sur Systèmes, puis sélectionnez Firestore.
Facultatif. Dans Alias de type, vous pouvez filtrer les résultats de recherche sur un type spécifique d'élément Cloud Firestore en sélectionnant un ou plusieurs des alias de type suivants :
- Base de données
- Schéma de base de données
- Autre
Utiliser des requêtes pour effectuer une recherche par mots clés
Vous pouvez utiliser le champ de recherche de Knowledge Catalog pour effectuer des requêtes de recherche par mots clés. Par exemple, vous pouvez saisir
system=Firestore AND type=Database pour afficher toutes les bases de données Cloud Firestore.
Pour en savoir plus, consultez Syntaxe de recherche pour Knowledge Catalog.
Pour afficher tous les éléments Cloud Firestore, saisissez system=Firestore. Vous pouvez saisir des mots clés spécifiques. Par exemple, pour afficher toutes les bases de données Cloud Firestore, procédez comme suit :
system=Firestore AND type=Database
Vous pouvez également utiliser des parenthèses et les opérateurs logiques AND et OR pour les expressions complexes. Pour en savoir plus sur les expressions que vous pouvez utiliser dans
le champ de recherche, consultez Syntaxe de recherche pour Knowledge Catalog.
Vous pouvez saisir directement des requêtes de recherche pour des éléments Cloud Firestore spécifiques dans le champ de recherche. Le format de la chaîne de requête est le suivant :
type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"
Remplacez les éléments suivants :
QUERY_STRING: utilisez la liste suivante pour identifier une chaîne de requête en fonction du type d'élément Cloud Firestore que vous souhaitez interroger :firestore-databasefirestore-schema
Voici un exemple de requête :
type="projects/1234567890/locations/global/entryTypes/firestore-schema"
Recherche par type d'aspect
Knowledge Catalog inclut quelques types d'aspects intégrés que vous pouvez utiliser pour effectuer des recherches.
Pour effectuer une recherche par type d'aspect, procédez comme suit :
- Dans le panneau Aspects, cliquez sur le menu Ajouter d'autres types d'aspects.
- Saisissez
Firestore, puis sélectionnez un ou plusieurs des types d'aspects suivants pour limiter les résultats de recherche à ce type.- Base de données Cloud Firestore
- Cloud Firestore Schéma
- Cliquez sur OK.
- Dans la table des résultats, cliquez sur le nom d'un élément pour en afficher les métadonnées.
- Facultatif : Améliorez ou affichez vos éléments. Vous pouvez effectuer l'une des opérations suivantes :
- Pour ajouter une description en texte enrichi de l'élément, cliquez sur Ajouter dans Présentation .
- Pour associer un aspect à l'élément, cliquez sur Ajouter dans Aspects .
- Pour afficher les bases de données membres d'une instance, cliquez sur l'onglet Liste d'entrées , puis sur Afficher toutes les entrées enfants dans la recherche.
- Dans Détails de l'entrée, affichez tous les détails de l'élément. Cliquez sur le nom de l'entrée pour afficher d'autres entrées.
Recherche en langage naturel dans Cloud Firestore
La recherche en langage naturel (aperçu) utilise l'IA pour comprendre les requêtes sémantiques. Elle vous permet de trouver des ressources en utilisant un langage courant, sans avoir besoin d'une syntaxe complexe. Par exemple, vous pouvez saisir des requêtes telles que List all Firestore collections related to sales.
Pour en savoir plus, consultez Syntaxe de recherche pour Knowledge Catalog.
Recherche par syntaxe dans Cloud Firestore
La recherche par mots clés vous permet de trouver des ressources à l'aide de mots clés et de filtres spécifiques, ainsi que d'une syntaxe définie. Par exemple, vous pouvez saisir system=Firestore AND type=Database
pour afficher toutes les bases de données Cloud Firestore.
Pour en savoir plus, consultez Syntaxe de recherche pour Knowledge Catalog.
Exemple de workflow : Afficher le détail d'une base de données dans le schéma
Pour afficher le détail d'une base de données dans un schéma, procédez comme suit :
Accédez à la page Rechercher de Knowledge Catalog.
Dans le panneau Filtres, sélectionnez Systèmes, puis Firestore. Vous pouvez également saisir
system=Firestoredans le champ de recherche.Sélectionnez une base de données.
Sur la page Informations sur Firestore, cliquez sur l'onglet Liste d'entrées, puis sur Afficher toutes les entrées enfants dans la recherche.
Sur la page Informations sur la base de données Firestore, cliquez sur l'onglet Liste d'entrées , puis sur Afficher toutes les entrées enfants dans la recherche. Knowledge Catalog affiche les groupes de collections dans la base de données.
Sélectionnez un nom de groupe de collections, puis cliquez sur Schéma sur la page Informations sur le groupe de collections pour afficher le schéma.
Facultatif : Pour ajouter un type d'aspect à une base de données, cliquez sur le bouton Ajouter un aspect.
Tarifs
Le stockage des métadonnées techniques Cloud Firestore dans Knowledge Catalog est sans frais. La tarification standard de Knowledge Catalog s'applique aux appels d'API et à l'enrichissement supplémentaire des métadonnées métier. Pour en savoir plus, consultez la page des tarifs de Knowledge Catalog.
Limites
- Les résultats de la requête sont tronqués après l'ingestion de 10 000 groupes de collections.
- Lors de l'ingestion par lot, un délai de 48 heures peut être nécessaire pour que les modifications apportées à votre base de données soient reflétées dans Knowledge Catalog.
- Lors de l'ingestion en direct, un délai de cinq minutes peut être nécessaire pour que les modifications apportées à votre base de données soient reflétées dans Knowledge Catalog.
- Les groupes de collections ne sont pas mis à jour lors de l'ingestion en direct.
- Les schémas de groupes de collections sont mis à jour lors de l'ingestion en direct. Toutefois, cette mise à jour ne couvre que les 100 premiers champs primitifs de premier niveau par ordre alphabétique. Les informations de schéma restantes sont mises à jour 24 à 48 heures après l'ingestion en direct.
- Le processus d'extraction peut prendre plusieurs minutes.
Étape suivante
- À propos de la gestion de Data Catalog dans Knowledge Catalog
- Rôles Identity and Access Management de Knowledge Catalog