Supervisa los costos, el uso y otras métricas

Supervisar los costos, el uso y otras métricas de tus funciones potenciadas por IA es una parte importante de la ejecución de una app de producción. Debes saber cómo se ven los patrones de uso normales para la app y asegurarte de cumplir con los umbrales importantes.

En esta página, se describen algunas opciones recomendadas para supervisar tus costos, el uso, y otras métricas en la consola Firebase y en la consola Google Cloud.

Supervisa los costos

En el Uso y facturación panel de la Firebase consola, puedes ver los costos de tu proyecto por llamar a la Vertex AI Gemini API y la Gemini Developer API (cuando estás en el plan de precios Blaze).

Los costos que se muestran en el panel no son necesariamente específicos de las llamadas que usan los SDKs de cliente Firebase AI Logic. Los costos que se muestran están asociados con cualquier llamada a esas "APIs de Gemini", ya sea que usen los Firebase AI Logic de cliente, los SDKs de servidor de Google GenAI, Genkit, las Firebase Extensions para la Gemini API, las llamadas a la API de REST, uno de los AI Studios o cualquier otro cliente de la API.

Obtén más información sobre los precios de los productos asociados con tu uso de Firebase AI Logic.

Configurar las alertas

Para evitar facturas inesperadas, asegúrate de que configures alertas de presupuesto cuando estés en el plan de precios Blaze.

Ten en cuenta que las alertas de presupuesto no son límites de presupuesto. Una alerta te enviará comunicaciones cuando te acerques o superes el umbral configurado para que puedas tomar medidas en tu app o proyecto.

Observa el uso de tus funciones potenciadas por IA en la Firebase console

Puedes habilitar AI Monitoring en la Firebase AI Logic página de la Firebase consola para observar varias métricas y el uso a nivel de la app y obtener una visibilidad integral de tus solicitudes desde los Firebase AI Logic SDKs de cliente. Estos paneles son más detallados que los recuentos de tokens básicos que obtienes de una llamada a la API de Count Tokens.

Entre las capacidades clave de AI Monitoring en la consola Firebase, se incluyen las siguientes:

  • Visualización de métricas cuantitativas, como el volumen de solicitudes, la latencia, los errores y el uso de tokens por modalidad para cada una de tus apps

  • Inspección de seguimientos para ver los atributos, las entradas y las salidas de tus solicitudes, lo que puede ayudar con la depuración y la mejora de la calidad

  • Segmentación de datos por dimensiones, como el estado de la solicitud, la latencia mínima, el nombre del modelo y mucho más

Todas estas funciones se compilan con Google Cloud Observability Suite (consulta la información detallada del producto a continuación).

Habilitar AI Monitoring

Estas son las formas en que puedes habilitar AI Monitoring en la Firebase consola:

Requisitos para habilitar y usar AI Monitoring:

  • Debes ser propietario, editor o administrador de Firebase Vertex AI del proyecto.

  • Tu app debe usar como mínimo estas versiones de la biblioteca de Firebase:
    iOS+: v11.13.0 y versiones posteriores | Android: v16.0.0 y versiones posteriores (BoM: v33.14.0 y versiones posteriores) | Web: v11.8.0 y versiones posteriores | Flutter: v2.0.0 y versiones posteriores (BoM: v3.11.0 y versiones posteriores) | Unity: v12.9.0 y versiones posteriores

  • Tu app debe tener habilitada la recopilación de datos de participación (está habilitada de forma predeterminada).

Después de que tu app cumpla con estos requisitos y habilites AI Monitoring en la consola, no necesitas hacer nada más en tu app ni en la consola para comenzar a ver los datos que completan los paneles en la Firebase AI Logic pestaña AI Monitoring. Es posible que haya un pequeño retraso (a veces hasta 5 minutos) antes de que la telemetría de una solicitud esté disponible en la Firebase consola.

Uso avanzado

En esta sección, se describe la configuración de la tasa de muestreo, así como diferentes opciones para ver y trabajar con tus datos.

Tasa de muestreo

Si realizas una gran cantidad de solicitudes, te recomendamos que aproveches la configuración de la tasa de muestreo. La tasa de muestreo indica la proporción de solicitudes para las que realmente se recopilan los detalles de seguimiento.

En la pestaña Firebase AI Logic Configuración de la Firebase consola, puedes configurar la tasa de muestreo de tu proyecto con un valor de 1 a 100%, en el que 100% significa que AI Monitoring recopilará seguimientos de todo tu tráfico. El valor predeterminado es 100%. Recopilar menos seguimientos reducirá tus costos, pero también reducirá la cantidad de seguimientos que puedes supervisar. Ten en cuenta que, independientemente de la tasa de muestreo, los gráficos que se muestran en el panel de supervisión siempre reflejarán el volumen real de tráfico.

Opciones adicionales fuera de la Firebase console

Además de AI Monitoring disponible en la Firebase consola, considera estas opciones:

  • Explora Vertex AI Model Garden.
    Estos paneles proporcionan más estadísticas de tendencias sobre la latencia y la capacidad de procesamiento de los modelos administrados, lo que complementa tus estadísticas de AI Monitoring en la Firebase consola.

  • Explora y usa tus datos con Google Cloud Observability Suite
    Como los datos de telemetría de AI Monitoring se almacenan en Google Cloud Observability Suite asociado con tu proyecto, puedes explorar tus datos en sus paneles, incluidos Trace Explorer y Logs Explorer, que están vinculados cuando inspeccionas tus seguimientos individuales en la consola de Firebase. También puedes usar tus datos para compilar paneles personalizados, configurar alertas y mucho más.

Información detallada sobre los productos que se usan para AI Monitoring

AI Monitoring almacena tus datos de telemetría en varios productos disponibles en Google Cloud Observability Suite, incluidos Cloud Monitoring, Cloud Trace, y Cloud Logging.

  • Cloud Monitoring: Almacena métricas, incluida la cantidad de solicitudes, la tasa de éxito y la latencia de las solicitudes.

  • Cloud Trace: Almacena seguimientos para cada una de tus solicitudes, de modo que puedas ver los detalles de forma individual, en lugar de agregada. Por lo general, un seguimiento se asocia con registros para que puedas examinar el contenido y el tiempo de cada interacción.

  • Cloud Logging: Captura metadatos de entrada, salida y configuración para proporcionar detalles enriquecidos sobre cada parte de tu solicitud de IA.

Como tus datos de telemetría se almacenan en estos productos, puedes especificar la configuración de retención y acceso directamente en cada producto (obtén más información en la documentación de Cloud MonitoringCloud Monitoring, Cloud TraceCloud Trace , y Cloud LoggingCloud Logging).

Ten en cuenta que AI Monitoring almacena las instrucciones reales y el resultado generado de cada solicitud muestreada en Cloud Logging para que se pueda acceder a estos datos en la Firebase consola. De manera opcional, puedes inhabilitar el almacenamiento de instrucciones y respuestas.

Precios

  • Proyectos en el plan de precios Spark sin costo (disponible solo cuando se usa la Gemini Developer API): El uso de los servicios subyacentes para AI Monitoring es gratuito.

  • Proyectos en el plan de precios Blaze de pago por uso: Se te cobrará por el uso de los productos subyacentes que AI Monitoring usa (independientemente del proveedor Gemini API que elijas).Google Cloud Observability Suite Sin embargo, cada Google Cloud Observability Suite producto tiene niveles generosos sin costo. Obtén más información en la Google Cloud Observability Suite documentación de precios.

(Opcional) Inhabilita el almacenamiento de instrucciones y respuestas

De forma predeterminada, AI Monitoring captura las instrucciones reales que se envían al modelo y las respuestas que genera el modelo, incluida cualquier información sensible (como la información de identificación personal [IIP]) en esas instrucciones y respuestas. Todos estos datos se almacenan en Cloud Logging para que se pueda acceder a ellos en la Firebase consola.

Para inhabilitar el almacenamiento de instrucciones y respuestas, agrega el siguiente filtro de exclusión a tu Cloud Logging receptor (por lo general, el receptor _Default): resource.type="firebasevertexai.googleapis.com/Model".

Visualiza las métricas de la API a nivel del proyecto en la Google Cloud consola

Para cada API, puedes ver métricas a nivel del proyecto, como el uso, en la Google Cloud consola.

Ten en cuenta que las páginas de la consola Google Cloud que se describen en esta sección no incluyen información como el contenido de la solicitud y la respuesta, y el recuento de tokens. Para supervisar ese tipo de información, considera usar AI Monitoring en la Firebase consola (consulta la sección anterior).

  1. En la consola de Google Cloud, ve a la página de Métricas de la API que deseas ver:

    • Vertex AI API: Visualiza el uso asociado con cualquier solicitud a la Vertex AI Gemini API.

      • Incluye solicitudes que usan Firebase AI Logic SDKs de cliente, los SDKs de servidor de Google GenAI, Genkit, las Firebase Extensions para la Gemini API, la API de REST, Vertex AI Studio, etcétera.

    • Gemini Developer API: Visualiza el uso asociado con cualquier solicitud a la Gemini Developer API.

      • Incluye solicitudes que usan los Firebase AI Logic SDKs de cliente, los SDKs de servidor de Google GenAI, Genkit, las Firebase Extensions para la Gemini API, la API de REST, Google AI Studio, etcétera.
      • El nombre visible de esta API en la consola Google Cloud es "API de Generative Language".

    Si te encuentras en una "página de descripción general" de la API, haz clic en Administrar y, luego, en la pestaña Métricas.

  2. Usa los menús desplegables para ver las métricas de interés, como el tráfico por código de respuesta, los errores por método de API, la latencia general y la latencia por método de API.