Das Monitoring der Kosten, der Nutzung und anderer Messwerte Ihrer KI-Funktionen ist ein wichtiger Bestandteil des Betriebs einer Produktions-App. Sie müssen wissen, wie die normalen Nutzungsmuster Ihrer App aussehen, und dafür sorgen, dass Sie innerhalb der für Sie relevanten Grenzwerte bleiben.
Auf dieser Seite werden einige empfohlene Optionen zum Überwachen Ihrer Kosten, Nutzung und anderer Messwerte in der Firebase-Konsole und der Google Cloud-Konsole beschrieben.
Kosten überwachen
Im Dashboard Nutzung und Abrechnung der Firebase-Konsole können Sie die Kosten Ihres Projekts für den Aufruf der Agent Platform Gemini API (formerly Vertex AI) und der Gemini Developer API einsehen (wenn Sie das Blaze-Preismodell nutzen).
Die im Dashboard angezeigten Kosten beziehen sich nicht unbedingt auf Aufrufe mit den Client-SDKs von Firebase AI Logic. Die angezeigten Kosten beziehen sich auf alle Aufrufe dieser „Gemini APIs“, unabhängig davon, ob sie die Firebase AI Logic-Client-SDKs, die Google GenAI-Server-SDKs, Genkit, die Firebase Extensions für die Gemini API, REST-Aufrufe, eines der AI Studios oder andere API-Clients verwenden.
Weitere Informationen zu den Preisen für die Produkte, die mit Ihrer Nutzung von Firebase AI Logic verbunden sind.
Budgetbenachrichtigungen und Ausgabenobergrenzen einrichten
Wenn Sie das Blaze-Preismodell nutzen, können Sie unerwartete Rechnungen vermeiden, indem Sie Budgetbenachrichtigungen und Ausgabenobergrenzen einrichten.
Budgetbenachrichtigungen sind keine Budgetobergrenzen. Sie erhalten dann Warn-E-Mails, wenn Ihre Ausgaben bestimmte Schwellenwerte Ihres Budgets erreichen, damit Sie in Ihrer App oder Ihrem Projekt Maßnahmen ergreifen können. Sie müssen ein Budget mit Ausgabenobergrenze festlegen, wenn der Dienst pausiert werden soll, sobald Ihr Budget erreicht ist.
Nutzung Ihrer KI-Funktionen in der Firebase Console beobachten
Sie können das KI-Monitoring auf der Seite Firebase AI Logic der Firebase-Konsole aktivieren, um verschiedene Messwerte und die Nutzung auf App-Ebene zu beobachten und so einen umfassenden Einblick in Ihre Anfragen von den Firebase AI Logic-Client-SDKs zu erhalten. Diese Dashboards sind detaillierter als die grundlegenden Tokenzahlen, die Sie über einen Aufruf der Count Tokens API erhalten.
Zu den wichtigsten Funktionen des KI-Monitorings in der Firebase-Konsole gehören:
Quantitative Messwerte wie Anfragevolumen, Latenz, Fehler und Tokennutzung pro Modalität für jede Ihrer Anwendungen ansehen.
Traces prüfen, um die Attribute, Eingaben und Ausgaben Ihrer Anfragen zu sehen, was beim Debugging und bei der Qualitätsverbesserung helfen kann.
Daten nach Dimensionen wie Anfragestatus, Mindestlatenz, Modellname und mehr aufteilen.
Alle diese Funktionen basieren auf Google Cloud Observability Suite (siehe detaillierte Produktinformationen unten).
KI-Monitoring aktivieren
So können Sie das KI-Monitoring in der Firebase-Konsole aktivieren:
Wenn Sie den ersten geführten Einrichtungsworkflow auf der Seite KI-Dienste > Firebase AI Logic durchlaufen,
Jederzeit auf dem Tab AI Services > AI Logic > Settings
Voraussetzungen für das Aktivieren und Verwenden des KI-Monitorings:
Sie müssen Project Owner, Project Editor oder Firebase Vertex AI Admin sein.
Ihre App muss mindestens die folgenden Firebase-Bibliotheksversionen verwenden:
iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+In Ihrer App muss die Datenerhebung per Opt-in aktiviert sein. Dies ist standardmäßig der Fall.
Sobald Ihre App diese Anforderungen erfüllt und Sie das KI-Monitoring in der Console aktiviert haben, müssen Sie nichts weiter in Ihrer App oder der Console tun, damit die Dashboards auf dem Tab AI Services > AI Logic > AI monitoring mit Daten gefüllt werden. Es kann zu einer leichten Verzögerung (manchmal bis zu 5 Minuten) kommen, bis die Telemetriedaten einer Anfrage in der Firebase-Konsole verfügbar sind.
Fortgeschrittene Nutzung
In diesem Abschnitt werden die Konfiguration der Abtastrate sowie verschiedene Optionen zum Aufrufen und Bearbeiten Ihrer Daten beschrieben.
Abtastrate
Wenn Sie eine große Anzahl von Anfragen stellen, empfehlen wir, die Konfiguration der Abtastrate zu nutzen. Die Abtastrate gibt den Anteil der Anfragen an, für die tatsächlich Trace-Details erhoben werden.
In der Firebase-Konsole können Sie auf dem Tab AI Services > AI Logic > Settings die Abtastrate für Ihr Projekt auf einen Wert zwischen 1 % und 100 % festlegen. Bei 100 % werden beim KI-Monitoring Traces aus dem gesamten Traffic erfasst. Der Standardwert ist 100 %. Wenn Sie weniger Traces erfassen, sinken Ihre Kosten, aber Sie können auch weniger Traces überwachen. Unabhängig von der Abtastrate spiegeln die im Monitoring-Dashboard angezeigten Diagramme immer das tatsächliche Trafficvolumen wider.
Zusätzliche Optionen außerhalb der Firebase-Konsole
Zusätzlich zum KI-Monitoring in der Firebase-Konsole können Sie die folgenden Optionen nutzen:
Erfahren Sie mehr über den Vertex AI Model Garden.
Diese Dashboards bieten weitere Trendinformationen zu Latenz und Durchsatz für die verwalteten Modelle und ergänzen Ihre Informationen aus dem KI-Monitoring in der Firebase-Konsole.Daten mit Google Cloud Observability Suite
untersuchen und verwenden Da Telemetriedaten für das KI-Monitoring in Google Cloud Observability Suite gespeichert werden, das mit Ihrem Projekt verknüpft ist, können Sie Ihre Daten in den Dashboards untersuchen, einschließlich Trace Explorer und Logs Explorer, die verknüpft werden, wenn Sie Ihre einzelnen Traces in der Firebase-Konsole prüfen. Sie können Ihre Daten auch verwenden, um benutzerdefinierte Dashboards zu erstellen, Benachrichtigungen einzurichten und vieles mehr.
Detaillierte Informationen zu Produkten, die für das KI-Monitoring verwendet werden
Beim KI-Monitoring werden Ihre Telemetriedaten in verschiedenen Produkten gespeichert, die in Google Cloud Observability Suite verfügbar sind, darunter Cloud Monitoring, Cloud Trace und Cloud Logging.
Cloud Monitoring: Speichert Messwerte, einschließlich der Anzahl der Anfragen, der Erfolgsquote und der Anfragelatenz.
Cloud Trace: Speichert Traces für jede Ihrer Anfragen, sodass Sie Details einzeln und nicht zusammengefasst ansehen können. Ein Trace ist in der Regel mit Logs verknüpft, sodass Sie den Inhalt und das Timing jeder Interaktion prüfen können.
Cloud Logging: Erfasst Eingabe-, Ausgabe- und Konfigurationsmetadaten, um detaillierte Informationen zu jedem Teil Ihrer KI-Anfrage bereitzustellen.
Da Ihre Telemetriedaten in diesen Produkten gespeichert werden, können Sie Ihre Aufbewahrungs- und Zugriffseinstellungen direkt in jedem Produkt festlegen. Weitere Informationen finden Sie in der Dokumentation zu Cloud Monitoring, Cloud Trace und Cloud Logging.
Beachten Sie, dass beim KI-Monitoring die tatsächlichen Prompts und die generierte Ausgabe jeder Stichprobenanfrage in Cloud Logging gespeichert werden, damit diese Daten in der Firebase-Konsole zugänglich sind. Optional können Sie das Speichern von Prompts und Antworten deaktivieren.
Preise
Projekte im kostenlosen Spark-Preismodell (nur verfügbar, wenn Sie die Gemini Developer API verwenden): Die Nutzung der zugrunde liegenden Dienste für das KI-Monitoring ist kostenlos.
Projekte im Blaze-Preismodell mit nutzungsbasierter Bezahlung: Ihnen wird die Nutzung der zugrunde liegenden Google Cloud Observability Suite-Produkte in Rechnung gestellt, die für das KI-Monitoring verwendet werden (unabhängig vom ausgewählten Gemini API-Anbieter). Für jedes Google Cloud Observability Suite-Produkt gibt es jedoch großzügige kostenlose Stufen. Weitere Informationen finden Sie in der Dokumentation zu den Preisen für Google Cloud Observability Suite.
(Optional) Speichern von Prompts und Antworten deaktivieren
Standardmäßig erfasst das KI-Monitoring die tatsächlichen Prompts, die an das Modell gesendet werden, und die vom Modell generierten Antworten, einschließlich aller sensiblen Informationen (z. B. personenidentifizierbare Informationen) in diesen Prompts und Antworten. Alle diese Daten werden in Cloud Logging gespeichert, damit sie in der Firebase Console zugänglich sind.
Wenn Sie das Speichern von Prompts und Antworten deaktivieren möchten, fügen Sie Ihrer Cloud Logging-Senke (normalerweise die _Default-Senke) den folgenden Ausschlussfilter hinzu: resource.type="firebasevertexai.googleapis.com/Model"
API-Messwerte auf Projektebene in der Google Cloud Console ansehen
Für jede API können Sie in der Google Cloud-Konsole Messwerte auf Projektebene wie die Nutzung aufrufen.
Die in diesem Abschnitt beschriebenen Google Cloud-Konsolenseiten enthalten keine Informationen wie Anfrage- und Antwortinhalte und Tokenanzahl. Wenn Sie diese Art von Informationen im Blick behalten möchten, sollten Sie das KI-Monitoring in der Firebase-Konsole verwenden (siehe vorheriger Abschnitt).
Rufen Sie in der Google Cloud Console die Seite Messwerte der API auf, die Sie sich ansehen möchten:
Agent Platform API: Hier sehen Sie die Nutzung im Zusammenhang mit jeder Anfrage an die Agent Platform Gemini API (formerly Vertex AI).
- Umfasst Anfragen mit Firebase AI Logic-Client-SDKs, den Google GenAI-Server-SDKs, Genkit, dem Firebase Extensions für die Gemini API, der REST API, Agent Studio usw.
Gemini Developer API: Hier sehen Sie die Nutzung, die mit jeder Anfrage an die Gemini Developer API verknüpft ist.
- Dazu gehören Anfragen mit den Client-SDKs von Firebase AI Logic, den Google GenAI-Server-SDKs, Genkit, dem Firebase Extensions für die Gemini API, der REST API, Google AI Studio usw.
- Der Anzeigename dieser API in der Google Cloud-Konsole lautet „Generative Language API“.
Wenn Sie sich auf einer Übersichtsseite für die API befinden, klicken Sie auf Verwalten und dann auf den Tab Messwerte.
Verwenden Sie die Drop-down-Menüs, um die gewünschten Messwerte aufzurufen, z. B. Traffic nach Antwortcode, Fehler nach API-Methode, Gesamtlatenz und Latenz nach API-Methode.