Complemento de telemetría y registro de Google Cloud

El complemento de Google Cloud exporta la telemetría y los datos de registro de Firebase Genkit a Google Cloud's operations suite

Requisitos previos

Si quieres ejecutar localmente flujos que usan este complemento, necesitas la Tener instalada la herramienta Google Cloud CLI

Configura una cuenta de Google Cloud

Este complemento requiere una cuenta de Google Cloud (regístrate si aún no tienes una) y un proyecto de Google Cloud.

Antes de agregar el complemento, asegúrate de que las siguientes APIs estén habilitadas para tu proyecto:

Estas APIs deberían estar enumeradas en el panel de la API del proyecto.

Haz clic aquí para obtener más información sobre cómo habilitar o inhabilitar APIs.

Configuración

Para habilitar la exportación a Google Cloud Tracing, Logging y Monitoring, googlecloud y ejecuta Init(). Después de llamar a Init(), tu telemetría se exportan automáticamente.

import "github.com/firebase/genkit/go/plugins/googlecloud"

if err := googlecloud.Init(
    ctx,
    googlecloud.Config{ProjectID: "your-google-cloud-project"},
); err != nil {
    return err
}

Debes especificar el proyecto de Google Cloud al que quieres exportar la telemetría de datos no estructurados. También hay algunos parámetros opcionales:

  • ForceExport: Exporta datos de telemetría incluso cuando se ejecuta en un entorno de desarrollo (por ejemplo, cuando usas genkit start o genkit flow:run). Esta es una forma rápida para probar la integración y enviar tus primeros eventos para supervisarlos en Google Google Cloud.

    Si usas esta opción, también debes hacer que tus credenciales de Cloud estén disponibles localmente:

    gcloud auth application-default login

  • MetricInterval: El intervalo, en nanosegundos, en el que se exportará la telemetría información. De forma predeterminada, es de 60 segundos (60e9 nanosegundos).

  • LogLevel: Es el nivel de gravedad mínimo de las entradas de registro que se exportarán. De forma predeterminada, slog.LevelInfo.

El complemento requiere las credenciales de tu proyecto de Google Cloud. Si publicas tus flujos desde un entorno de Google Cloud (Cloud Run, etc.), las credenciales se automáticamente. La ejecución en otros entornos requiere configuración Credenciales predeterminadas de la aplicación.

Supervisión de la producción mediante Google Cloud's operations suite

Una vez que se implemente un flujo, navega a Google Cloud's operations suite y selecciona tu proyecto.

Registros y seguimientos

En el menú lateral, busca “Logging” y haz clic en “Explorador de registros”.

Verás todos los registros asociados con el flujo implementado, incluido console.log(). Cualquier registro que tenga el prefijo [genkit] es un registro interno de Genkit que contiene información que puede ser interesante para fines de depuración. Por ejemplo, los registros de Genkit en el formato Config[...] contienen metadatos, como la temperatura y los valores topK para inferencias específicas de LLM. Los registros en el formato Output[...] contienen respuestas de LLM, mientras que los registros Input[...] contienen las instrucciones. Cloud Logging tiene LCA sólidas que permiten un control detallado sobre los registros sensibles.

Para líneas de registro específicas, es posible navegar a sus respectivos seguimientos haciendo clic en el ícono del menú ampliado y seleccionando “View in trace details”.

Se abrirá un panel de vista previa del seguimiento en el que se mostrarán rápidamente los detalles del seguimiento. Para ver los detalles completos, haz clic en el botón “Ver en Trace” en la parte superior derecha del panel.

El elemento de navegación más destacado en Cloud Trace es el diagrama de dispersión de seguimiento. Contiene todos los seguimientos recopilados en un período determinado.

Si haces clic en cada punto de datos, se mostrarán sus detalles debajo del diagrama de dispersión.

La vista detallada contiene la forma del flujo, incluidos todos los pasos, además de información importante sobre el tiempo. Cloud Trace tiene la capacidad de intercalar todos los registros asociados con un seguimiento determinado dentro de esta vista. Seleccione la casilla de verificación "Mostrar elementos expandidos" en la sección "Registros y eventos" del menú desplegable.

La vista resultante permite un examen detallado de los registros en el contexto del seguimiento, incluidas las instrucciones y las respuestas del LLM.

Métricas

Para ver todas las métricas que se pueden exportar de Genkit, selecciona "Logging" en el menú lateral y haz clic en “Administración de métricas”.

La consola de administración de métricas contiene una vista tabular de todas las métricas recopiladas, incluidas las que pertenecen a Cloud Run y su entorno. Haciendo clic en “Carga de trabajo” mostrará una lista que incluye las métricas recopiladas por Genkit. Cualquier métrica con el prefijo genkit constituye una métrica interna de Genkit.

Genkit recopila varias categorías de métricas, incluidas las métricas a nivel de flujo, de acción y de generación. Cada métrica tiene varias dimensiones útiles que facilitan un filtrado y un agrupamiento sólidos.

Entre las dimensiones comunes, se incluyen las siguientes:

  • flow_name: Es el nombre de nivel superior del flujo.
  • flow_path: El intervalo y su cadena superior hasta el intervalo raíz.
  • error_code: En caso de un error, el código de error correspondiente.
  • error_message: En caso de un error, el mensaje de error correspondiente.
  • model: Es el nombre del modelo.
  • temperature: Es el valor de la temperatura de inferencia.
  • topK: El valor superior de la inferencia.
  • topP: Es el valor de P superior de la inferencia.

Métricas a nivel de flujo

Nombre Dimensiones
genkit/flujo/solicitudes flow_name, error_code, error_message
genkit/flujo/latencia nombre_flujo

Métricas a nivel de la acción

Nombre Dimensiones
genkit/acción/solicitudes flow_name, error_code, error_message
kit de generación/acción/latencia nombre_flujo

Métricas a nivel de generación

Nombre Dimensiones
genkit/ai/generate Flow_path, modelo, temperatura, topK, topP, error_code, error_message
genkit/ai/generate/input_tokens. flujo_ruta, modelo, temperatura, topK, topP
genkit/ai/generate/output_tokens flujo_ruta, modelo, temperatura, topK, topP
genkit/ai/generate/input_characters. flujo_ruta, modelo, temperatura, topK, topP
genkit/ai/generate/output_characters flujo_ruta, modelo, temperatura, topK, topP
genkit/ai/generate/input_images. flujo_ruta, modelo, temperatura, topK, topP
genkit/ai/generate/output_images flujo_ruta, modelo, temperatura, topK, topP
genkit/ai/generate/latencia Flow_path, modelo, temperatura, topK, topP, error_code, error_message

Puedes visualizar métricas a través del Explorador de métricas. En el menú lateral, selecciona “Logging” y haz clic en "Explorador de métricas"

Haz clic en "Seleccionar una métrica" del menú desplegable, selecciona “Nodo genérico”, “Genkit” y una métrica.

La visualización de la métrica dependerá de su tipo (contador, histograma, etc.). El Explorador de métricas proporciona servicios sólidos de agregación y consulta para ayudar a graficar las métricas según sus distintas dimensiones.

Retraso de telemetría

Puede haber una leve demora antes de que la telemetría de una ejecución particular de un flujo se muestre en Cloud's operations suite. En la mayoría de los casos, esta demora es menor a 1 minuto.

Cuotas y límites

Es importante tener en cuenta varias cuotas:

Costo

Cloud Logging, Cloud Trace y Cloud Monitoring tienen niveles gratuitos generosos. Puedes encontrar los precios específicos en los siguientes vínculos: