Surveiller les coûts, l'utilisation et d'autres métriques

La surveillance des coûts, de l'utilisation et d'autres métriques de vos fonctionnalités d'IA est un aspect important de l'exécution d'une application de production. Vous devez connaître les modèles d'utilisation normaux de votre application et vous assurer de respecter les seuils qui vous importent.

Cette page décrit certaines options recommandées pour surveiller vos coûts, votre utilisation et d'autres métriques dans la console Firebase et la console Google Cloud.

Surveiller les coûts

Dans le tableau de bord Utilisation et facturation de la console Firebase, vous pouvez consulter les coûts de votre projet pour l'appel de Agent Platform Gemini API (formerly Vertex AI) et de Gemini Developer API (lorsque vous utilisez le forfait Blaze).

Les coûts affichés sur le tableau de bord ne sont pas nécessairement spécifiques aux appels utilisant les SDK clients Firebase AI Logic. Les coûts affichés sont associés à tous les appels à ces "API Gemini", qu'ils utilisent les SDK clients Firebase AI Logic, les SDK du serveur Google GenAI, Genkit, Firebase Extensions pour Gemini API, les appels REST, l'un des AI Studios ou d'autres clients API.

En savoir plus sur les tarifs des produits associés à votre utilisation de Firebase AI Logic.

Configurer des alertes de budget et des plafonds de dépenses

Si vous utilisez le forfait Blaze, évitez les mauvaises surprises sur votre facture en configurant des alertes budgétaires et des plafonds de dépenses.

Notez que les alertes de budget ne sont pas des plafonds budgétaires. Une alerte vous enverra des e-mails d'avertissement lorsque vos dépenses atteindront certains seuils de votre budget, afin que vous puissiez prendre des mesures dans votre application ou votre projet. Vous devez définir un budget avec plafond de dépenses si vous souhaitez que le service soit mis en pause lorsque votre budget est atteint.

Observer l'utilisation de vos fonctionnalités d'IA dans la console Firebase

Vous pouvez activer AI Monitoring sur la page Firebase AI Logic de la console Firebase afin d'observer différentes métriques et l'utilisation au niveau de l'application pour obtenir une visibilité complète sur vos requêtes à partir des SDK client Firebase AI Logic. Ces tableaux de bord sont plus détaillés que les nombres de jetons de base que vous obtenez en appelant l'API Count Tokens.

Voici les principales fonctionnalités d'AI Monitoring dans la console Firebase :

  • Afficher des métriques quantitatives telles que le volume de requêtes, la latence, les erreurs et l'utilisation des jetons par modalité pour chacune de vos applications.

  • Inspecter les traces pour voir les attributs, les entrées et les sorties de vos requêtes, ce qui peut vous aider à déboguer et à améliorer la qualité.

  • Découper les données par dimensions telles que l'état de la requête, la latence minimale, le nom du modèle, etc.

Toutes ces fonctionnalités sont créées à l'aide de Google Cloud Observability Suite (voir les informations détaillées sur le produit ci-dessous).

Activer AI Monitoring

Voici comment activer AI Monitoring dans la console Firebase :

  • Lorsque vous suivez le workflow de configuration guidée initiale depuis la page Services d'IA > Firebase AI Logic

  • À tout moment dans l'onglet Services d'IA > Logique d'IA > Paramètres

Conditions requises pour activer et utiliser AI Monitoring :

  • Vous devez être propriétaire ou éditeur du projet, ou administrateur Firebase Vertex AI.

  • Votre application doit utiliser au minimum les versions suivantes de la bibliothèque Firebase :
    iOS+ : v11.13.0 ou version ultérieure | Android : v16.0.0 ou version ultérieure (BoM : v33.14.0 ou version ultérieure) | Web : v11.8.0 ou version ultérieure | Flutter : v2.0.0 ou version ultérieure (BoM : v3.11.0 ou version ultérieure) | Unity : v12.9.0 ou version ultérieure

  • La collecte de données avec activation doit être activée dans votre application (elle l'est par défaut).

Une fois que votre application répond à ces exigences et que vous avez activé AI Monitoring dans la console, vous n'avez rien d'autre à faire dans votre application ou dans la console pour commencer à voir les données s'afficher dans les tableaux de bord de l'onglet Services d'IA > Logique d'IA > AI Monitoring. Il peut y avoir un léger délai (parfois jusqu'à cinq minutes) avant que la télémétrie d'une requête ne soit disponible dans la console Firebase.

Utilisation avancée

Cette section décrit la configuration du taux d'échantillonnage, ainsi que les différentes options d'affichage et d'utilisation de vos données.

Taux d'échantillonnage

Si vous effectuez un grand nombre de requêtes, nous vous recommandons d'utiliser la configuration du taux d'échantillonnage. Le taux d'échantillonnage indique la proportion de requêtes pour lesquelles les infos sur les traces sont réellement collectées.

Dans l'onglet Services d'IA > Logique d'IA > Paramètres de la console Firebase, vous pouvez configurer le taux d'échantillonnage de votre projet sur une valeur comprise entre 1 et 100 %, 100 % signifiant qu'AI Monitoring collectera les traces de l'ensemble de votre trafic. La valeur par défaut est 100 %. La collecte d'un nombre réduit de traces réduit vos coûts, mais également le nombre de traces que vous pouvez surveiller. Notez que, quel que soit votre taux d'échantillonnage, les graphiques affichés dans le tableau de bord de surveillance reflètent toujours le volume réel du trafic.

Autres options en dehors de la console Firebase

En plus de la surveillance de l'IA disponible dans la console Firebase, tenez compte des options suivantes :

  • Explorez Vertex AI Model Garden.
    Ces tableaux de bord fournissent des insights supplémentaires sur les tendances de latence et de débit pour les modèles gérés, en complément de vos insights issus de la surveillance de l'IA dans la console Firebase.

  • Explorer et utiliser vos données avec Google Cloud Observability Suite
    Étant donné que les données de télémétrie pour AI Monitoring sont stockées dans Google Cloud Observability Suite associé à votre projet, vous pouvez explorer vos données dans ses tableaux de bord, y compris Trace Explorer et Logs Explorer, qui sont associés lorsque vous inspectez vos traces individuelles dans la console Firebase. Vous pouvez également utiliser vos données pour créer des tableaux de bord personnalisés, configurer des alertes, etc.

Informations détaillées sur les produits utilisés pour la surveillance de l'IA

AI Monitoring stocke vos données de télémétrie dans différents produits disponibles dans Google Cloud Observability Suite, y compris Cloud Monitoring, Cloud Trace et Cloud Logging.

  • Cloud Monitoring : stocke les métriques, y compris le nombre de requêtes, le taux de réussite et la latence des requêtes.

  • Cloud Trace : stocke les traces de chacune de vos requêtes afin que vous puissiez afficher les détails individuellement, plutôt que de manière agrégée. Une trace est généralement associée à des journaux afin que vous puissiez examiner le contenu et le moment de chaque interaction.

  • Cloud Logging : capture les métadonnées d'entrée, de sortie et de configuration pour fournir des détails complets sur chaque partie de votre requête d'IA.

Étant donné que vos données de télémétrie sont stockées dans ces produits, vous pouvez spécifier vos paramètres de conservation et d'accès directement dans chaque produit (pour en savoir plus, consultez la documentation de Cloud Monitoring, Cloud Trace et Cloud Logging).

Notez que l'AI Monitoring stocke les prompts et les résultats générés à partir de chaque requête échantillonnée dans Cloud Logging afin que ces données soient accessibles dans la console Firebase. Vous pouvez éventuellement désactiver le stockage des requêtes et des réponses.

Tarifs

  • Projets utilisant le forfait Spark sans frais (disponible uniquement avec Gemini Developer API) : L'utilisation des services sous-jacents pour AI Monitoring est sans frais.

  • Projets avec le forfait Blaze (paiement à l'usage) : L'utilisation des produits Google Cloud Observability Suite sous-jacents utilisés par AI Monitoring vous sera facturée (quel que soit le fournisseur Gemini API choisi). Cependant, chaque produit Google Cloud Observability Suite propose des niveaux sans frais généreux. Pour en savoir plus, consultez la documentation sur les tarifs de Google Cloud Observability Suite.

(Facultatif) Désactiver le stockage des prompts et des réponses

Par défaut, AI Monitoring capture les prompts réels envoyés au modèle et les réponses générées par le modèle, y compris les informations sensibles (comme les informations permettant d'identifier personnellement l'utilisateur) dans ces prompts et réponses. Toutes ces données sont stockées dans Cloud Logging afin d'être accessibles dans la console Firebase.

Pour désactiver le stockage des requêtes et des réponses, ajoutez le filtre d'exclusion suivant à votre récepteur Cloud Logging (généralement le récepteur _Default) : resource.type="firebasevertexai.googleapis.com/Model".

Afficher les métriques d'API au niveau du projet dans la console Google Cloud

Pour chaque API, vous pouvez afficher les métriques au niveau du projet, telles que l'utilisation, dans la console Google Cloud.

Notez que les pages de la console Google Cloud décrites dans cette section n'incluent pas d'informations telles que le contenu de la requête et de la réponse, ni le nombre de jetons. Pour surveiller ce type d'informations, envisagez d'utiliser AI Monitoring dans la console Firebase (voir la section précédente).

  1. Dans la console Google Cloud, accédez à la page Métriques de l'API que vous souhaitez afficher :

    • API Agent Platform : affichez l'utilisation associée à toute requête adressée à Agent Platform Gemini API (formerly Vertex AI).

      • Inclut les requêtes utilisant les SDK clients Firebase AI Logic, les SDK de serveur Google GenAI, Genkit, Firebase Extensions pour Gemini API, l'API REST, Agent  Studio, etc.
    • Gemini Developer API : affichez l'utilisation associée à toute requête adressée à Gemini Developer API.

      • Inclut les requêtes utilisant les SDK clients Firebase AI Logic, les SDK de serveur Google GenAI, Genkit, Firebase Extensions pour Gemini API, l'API REST, Google AI Studio, etc.
      • Le nom à afficher de cette API dans la console Google Cloud est "API Generative Language".

    Si vous vous trouvez sur la page de présentation de l'API, cliquez sur Gérer, puis sur l'onglet Métriques.

  2. Utilisez les menus déroulants pour afficher les métriques qui vous intéressent, comme le trafic par code de réponse, les erreurs par méthode d'API, la latence globale et la latence par méthode d'API.