Supervisar los costos, el uso y otras métricas de tus funciones potenciadas por IA es una parte importante de la ejecución de una app de producción. Debes conocer los patrones de uso normales de tu app y asegurarte de mantenerte dentro de los umbrales que te interesan.
En esta página, se describen algunas opciones recomendadas para supervisar los costos, el uso y otras métricas en las consolas de Firebase y Google Cloud.
Supervisa los costos
En el panel Uso y facturación de Firebase console, puedes ver los costos de tu proyecto por llamar a la Agent Platform Gemini API (formerly Vertex AI) y a la Gemini Developer API (cuando tienes el plan de precios Blaze).
Los costos que se muestran en el panel no son necesariamente específicos de las llamadas que usan los SDKs de cliente de Firebase AI Logic. Los costos que se muestran están asociados con cualquier llamada a esas "APIs de Gemini", ya sea que usen los SDKs de cliente de Firebase AI Logic, los SDKs de servidor de Google GenAI, Genkit, Firebase Extensions para Gemini API, llamadas de REST, uno de los AI Studios o cualquier otro cliente de API.
Obtén más información sobre los precios de los productos asociados con tu uso de Firebase AI Logic.
Configura alertas de presupuesto y límites de inversión
Cuando uses el plan de precios Blaze, evita facturas inesperadas configurando alertas de presupuesto y límites de inversión.
Ten en cuenta que las alertas de presupuesto no son límites de presupuesto. Una alerta te enviará correos electrónicos de advertencia cuando tu inversión alcance ciertos umbrales de tu presupuesto para que puedas tomar medidas en tu app o proyecto. Debes establecer un presupuesto con límite de inversión si quieres que el servicio se pause cuando se alcance el presupuesto.
Observa el uso de tus funciones potenciadas por IA en Firebase console
Puedes habilitar la Supervisión de la IA en la página Firebase AI Logic de la consola de Firebase para observar varias métricas y el uso a nivel de la app, y obtener visibilidad integral de tus solicitudes desde los SDK de cliente de Firebase AI Logic. Estos paneles son más detallados que los recuentos de tokens básicos que obtienes de una llamada a la API de Count Tokens.
Entre las funciones clave de la supervisión de la IA en la consola de Firebase, se incluyen las siguientes:
Visualizar métricas cuantitativas, como el volumen de solicitudes, la latencia, los errores y el uso de tokens por modalidad para cada una de tus apps
Inspeccionar seguimientos para ver los atributos, las entradas y las salidas de tus solicitudes, lo que puede ayudar con la depuración y la mejora de la calidad.
Dividir los datos por dimensiones, como el estado de la solicitud, la latencia mínima, el nombre del modelo y mucho más.
Todas estas funciones se compilan con Google Cloud Observability Suite (consulta la información detallada del producto que aparece más abajo).
Habilita la supervisión de la IA
Estas son las formas en que puedes habilitar la supervisión de la IA en la consola de Firebase:
Cuando realizas el flujo de trabajo de configuración guiada inicial desde la página Servicios de IA > Firebase AI Logic
En cualquier momento, en la pestaña Servicios de IA > AI Logic > Configuración
Requisitos para habilitar y usar la supervisión de la IA:
Debes ser propietario, editor o administrador de Vertex AI de Firebase del proyecto.
Tu app debe usar como mínimo estas versiones de la biblioteca de Firebase:
iOS+: v11.13.0 y versiones posteriores | Android: v16.0.0 y versiones posteriores (BoM: v33.14.0 y versiones posteriores) | Web: v11.8.0 y versiones posteriores | Flutter: v2.0.0 y versiones posteriores (BoM: v3.11.0 y versiones posteriores) | Unity: v12.9.0 y versiones posterioresTu app debe tener habilitada la recopilación de datos de aceptación (esta opción está habilitada de forma predeterminada).
Una vez que tu app cumpla con estos requisitos y habilites la supervisión de la IA en la consola, no necesitarás hacer nada más en la app ni en la consola para comenzar a ver los datos que completan los paneles en la pestaña Servicios de IA > Lógica de IA > Supervisión de la IA. Puede haber una leve demora (a veces, de hasta 5 minutos) antes de que la telemetría de una solicitud esté disponible en la consola de Firebase.
Uso avanzado
En esta sección, se describe la configuración de la tasa de muestreo, así como las diferentes opciones para ver tus datos y trabajar con ellos.
Tasa de muestreo
Si realizas una gran cantidad de solicitudes, te recomendamos que aproveches la configuración de la tasa de muestreo. La tasa de muestreo indica la proporción de solicitudes para las que realmente se recopilan detalles de seguimiento.
En la pestaña Configuración de Servicios de IA > AI Logic de la consola de Firebase, puedes configurar la tasa de muestreo de tu proyecto en un valor del 1% al 100%, donde el 100% significa que la Supervisión de la IA recopilará seguimientos de todo tu tráfico. El valor predeterminado es 100%. Recopilar menos seguimientos reducirá tus costos, pero también reducirá la cantidad de seguimientos que puedes supervisar. Ten en cuenta que, independientemente de tu tasa de muestreo, los gráficos que se muestran en el panel de supervisión siempre reflejarán el volumen real de tráfico.
Opciones adicionales fuera de la consola de Firebase
Además de la supervisión de la IA disponible en Firebase console, considera estas opciones:
Explora Vertex AI Model Garden.
Estos paneles proporcionan más estadísticas de tendencias sobre la latencia y la capacidad de procesamiento de los modelos administrados, lo que complementa tus estadísticas de la supervisión de la IA en la consola de Firebase.Explora y usa tus datos con Google Cloud Observability Suite
Como los datos de telemetría para la supervisión de la IA se almacenan en Google Cloud Observability Suite asociado con tu proyecto, puedes explorar tus datos en sus paneles, incluidos Trace Explorer y Logs Explorer, que se vinculan cuando inspeccionas tus seguimientos individuales en la consola de Firebase. También puedes usar tus datos para crear paneles personalizados, configurar alertas y mucho más.
Información detallada sobre los productos que se usan para la supervisión de la IA
La supervisión de la IA almacena tus datos de telemetría en varios productos disponibles en Google Cloud Observability Suite, incluidos Cloud Monitoring, Cloud Trace y Cloud Logging.
Cloud Monitoring: Almacena métricas, incluida la cantidad de solicitudes, la tasa de éxito y la latencia de las solicitudes.
Cloud Trace: Almacena seguimientos para cada una de tus solicitudes, de modo que puedas ver los detalles de forma individual, en lugar de agregados. Por lo general, un seguimiento se asocia con los registros para que puedas examinar el contenido y el tiempo de cada interacción.
Cloud Logging: Captura metadatos de entrada, salida y configuración para proporcionar detalles enriquecidos sobre cada parte de tu solicitud de IA.
Dado que tus datos de telemetría se almacenan en estos productos, puedes especificar la configuración de retención y acceso directamente en cada producto (obtén más información en la documentación de Cloud Monitoring, Cloud Trace y Cloud Logging).
Ten en cuenta que la Supervisión de la IA almacena las instrucciones reales y el resultado generado de cada solicitud muestreada en Cloud Logging para que se pueda acceder a estos datos en la consola de Firebase. De manera opcional, puedes inhabilitar el almacenamiento de instrucciones y respuestas.
Precios
Proyectos con el plan de precios Spark sin costo (disponible solo cuando se usa Gemini Developer API): El uso de los servicios subyacentes para la Supervisión de la IA no tiene costo.
Proyectos con el plan de precios Blaze de pago por uso: Se te cobrará por el uso de los productos de Google Cloud Observability Suite subyacentes que usa la Supervisión de la IA (independientemente del proveedor de Gemini API que elijas). Sin embargo, cada producto de Google Cloud Observability Suite tiene niveles sin costo generosos. Obtén más información en la documentación de precios de Google Cloud Observability Suite.
(Opcional) Inhabilita el almacenamiento de instrucciones y respuestas
De forma predeterminada, la Supervisión de la IA captura las instrucciones reales que se envían al modelo y las respuestas que genera, incluida cualquier información sensible (como información de identificación personal [IIP]) en esas instrucciones y respuestas. Todos estos datos se almacenan en Cloud Logging para que se pueda acceder a ellos en la consola de Firebase.
Para inhabilitar el almacenamiento de instrucciones y respuestas, agrega el siguiente
filtro de exclusión a tu
receptor Cloud Logging
(por lo general, el receptor _Default):
resource.type="firebasevertexai.googleapis.com/Model"
Consulta las métricas de la API a nivel del proyecto en la consola de Google Cloud
Para cada API, puedes ver las métricas a nivel de proyecto, como el uso, en la consola de Google Cloud.
Ten en cuenta que las páginas de la consola de Google Cloud que se describen en esta sección no incluyen información como el contenido de la solicitud y la respuesta, ni el recuento de tokens. Para supervisar ese tipo de información, considera usar la supervisión de la IA en la consola de Firebase (consulta la sección anterior).
En la consola de Google Cloud, ve a la página Métricas de la API que deseas ver:
API de Agent Platform: Consulta el uso asociado con cualquier solicitud a la Agent Platform Gemini API (formerly Vertex AI).
- Incluye solicitudes con SDK de cliente de Firebase AI Logic, los SDK de servidor de IA generativa de Google, Genkit, Firebase Extensions para Gemini API, la API de REST, Agent Studio, etcétera.
Gemini Developer API: Consulta el uso asociado con cualquier solicitud a Gemini Developer API.
- Incluye solicitudes con los SDK de cliente de Firebase AI Logic, los SDK de servidor de Google GenAI, Genkit, Firebase Extensions para Gemini API, la API de REST, Google AI Studio, etcétera.
- El nombre visible de esta API en la consola de Google Cloud es "API de Generative Language".
Si te encuentras en una "página de resumen" de la API, haz clic en Administrar y, luego, en la pestaña Métricas.
Usa los menús desplegables para ver las métricas de interés, como el tráfico por código de respuesta, los errores por método de API, la latencia general y la latencia por método de API.