Google Cloud 플러그인

Google Cloud 플러그인은 Firebase Genkit의 원격 분석 및 로깅 데이터를 Google Cloud 운영 제품군으로 내보냅니다.

설치

npm i --save @genkit-ai/google-cloud

이 플러그인을 사용하는 흐름을 로컬에서 실행하려면 Google Cloud CLI 도구도 설치해야 합니다.

Google Cloud 계정 설정

이 플러그인에는 Google Cloud 계정 (아직 계정이 없는 경우 가입)과 Google Cloud 프로젝트가 필요합니다.

플러그인을 추가하기 전에 프로젝트에 다음 API가 사용 설정되어 있는지 확인하세요.

이러한 API는 프로젝트의 API 대시보드에 나열됩니다.

API 사용 설정 및 사용 중지에 대해 자세히 알아보려면 여기를 클릭하세요.

Genkit 구성

Google Cloud Tracing, Logging, Monitoring으로 내보내기를 사용 설정하려면 googleCloud 플러그인을 Genkit 구성에 추가하세요.

import { googleCloud } from '@genkit-ai/google-cloud';

export default configureGenkit({
  plugins: [googleCloud()],
  enableTracingAndMetrics: true,
  telemetry: {
    instrumentation: 'googleCloud',
    logger: 'googleCloud',
  },
});

프로덕션에서 실행하면 원격 분석이 자동으로 내보내집니다.

플러그인에는 Google Cloud 프로젝트 ID와 Google Cloud 프로젝트 사용자 인증 정보가 필요합니다. Google Cloud 환경 (Cloud Functions, Cloud Run 등)에서 흐름을 실행하는 경우 프로젝트 ID와 사용자 인증 정보가 자동으로 설정됩니다. 다른 환경에서 실행하려면 GCLOUD_PROJECT 환경 변수를 Google Cloud 프로젝트에 설정하고 gcloud 도구를 사용하여 인증해야 합니다.

gcloud auth application-default login

자세한 내용은 애플리케이션 기본 사용자 인증 정보 문서를 참고하세요.

플러그인 구성

googleCloud() 플러그인은 선택적 구성 객체를 사용합니다.

{
    projectId?: string,
    telemetryConfig?: TelemetryConfig
}

projectId

이 옵션을 사용하면 Google Cloud 프로젝트 ID를 명시적으로 지정할 수 있습니다. 대부분의 경우에는 필요하지 않습니다.

원격 분석 구성

이 옵션은 OpenTelemetry NodeSDK 인스턴스를 구성합니다.

import { AlwaysOnSampler } from '@opentelemetry/sdk-trace-base';

googleCloud({
  telemetryConfig: {
    forceDevExport: false, // Set this to true to export telemetry for local runs
    sampler: new AlwaysOnSampler(),
    autoInstrumentation: true,
    autoInstrumentationConfig: {
      '@opentelemetry/instrumentation-fs': { enabled: false },
      '@opentelemetry/instrumentation-dns': { enabled: false },
      '@opentelemetry/instrumentation-net': { enabled: false },
    },
    metricExportIntervalMillis: 5_000,
  },
});

forceDevExport

이 옵션을 사용하면 Genkit가 dev 환경 (예: 로컬)에서 실행될 때 원격 분석 및 로그 데이터를 내보내게 됩니다.

샘플러

모든 trace를 내보내는 것이 실용적이지 않은 경우 OpenTelemetry는 trace 샘플링을 허용합니다.

사전 구성된 샘플러에는 4가지가 있습니다.

autoInstrumentation 및 autoInstrumentationConfig

자동 계측을 사용 설정하면 OpenTelemetry에서 코드를 수정하지 않고도 서드 파티 라이브러리에서 원격 분석 데이터를 캡처할 수 있습니다.

측정항목 내보내기 간격

이 필드는 측정항목 내보내기 간격을 밀리초 단위로 지정합니다.

Google Cloud 운영 제품군을 통한 프로덕션 모니터링

흐름이 배포되면 Google Cloud 운영 제품군으로 이동하여 프로젝트를 선택합니다.

로그 및 trace

사이드 메뉴에서 'Logging'을 찾아 '로그 탐색기'를 클릭합니다.

console.log()를 포함하여 배포된 흐름과 연결된 모든 로그가 표시됩니다. 접두사가 [genkit]인 모든 로그는 디버깅 목적으로 관심을 가질 수 있는 정보가 포함된 Genkit 내부 로그입니다. 예를 들어 Config[...] 형식의 Genkit 로그에는 특정 LLM 추론을 위한 강도 및 topK 값과 같은 메타데이터가 포함됩니다. Output[...] 형식의 로그에는 LLM 응답이 포함되고 Input[...] 로그에는 프롬프트가 포함됩니다. Cloud Logging에는 민감한 로그를 세밀하게 제어할 수 있는 강력한 ACL이 있습니다.

특정 로그 줄의 경우 확장 메뉴 아이콘을 클릭하고 '추적 세부정보에서 보기'를 선택하여 각 trace로 이동할 수 있습니다.

그러면 trace의 세부정보를 한눈에 볼 수 있는 trace 미리보기 창이 표시됩니다. 전체 세부정보를 보려면 창 오른쪽 상단에 있는 'Trace에서 보기' 링크를 클릭하세요.

Cloud Trace에서 가장 눈에 띄는 탐색 요소는 trace 분산형 차트입니다. 특정 기간에 수집된 모든 trace를 포함합니다.

각 데이터 포인트를 클릭하면 분산형 차트 아래에 세부정보가 표시됩니다.

상세 뷰에는 모든 단계와 중요한 타이밍 정보를 포함하여 흐름 도형이 포함됩니다. Cloud Trace는 이 뷰 내에서 특정 trace와 연결된 모든 로그를 인터리브할 수 있습니다. '로그 및 이벤트' 드롭다운에서 '펼침 표시' 옵션을 선택합니다.

결과 뷰를 사용하면 프롬프트 및 LLM 응답을 포함하여 trace 컨텍스트에서 로그를 자세히 검사할 수 있습니다.

측정항목

사이드 메뉴에서 'Logging'을 선택하고 '측정항목 관리'를 클릭하면 Genkit에서 내보내는 모든 측정항목을 확인할 수 있습니다.

측정항목 관리 콘솔에는 Cloud Run 및 주변 환경과 관련된 측정항목을 포함하여 수집된 모든 측정항목이 표 형식으로 표시됩니다. '워크로드' 옵션을 클릭하면 Genkit에서 수집한 측정항목이 포함된 목록이 표시됩니다. genkit 프리픽스가 있는 측정항목은 내부 Genkit 측정항목을 구성합니다.

Genkit는 흐름 수준, 작업 수준, 생성 수준 측정항목을 포함한 여러 범주의 측정항목을 수집합니다. 각 측정항목에는 강력한 필터링 및 그룹화를 용이하게 하는 몇 가지 유용한 측정기준이 있습니다.

일반적인 측정기준은 다음과 같습니다.

  • flow_name - 흐름의 최상위 이름입니다.
  • flow_path - 스팬과 루트 스팬까지의 상위 스팬 체인
  • error_code - 오류 발생 시 해당하는 오류 코드
  • error_message - 오류 발생 시 상응하는 오류 메시지
  • model - 모델의 이름입니다.
  • temperature - 추론 온도 값입니다.
  • topK - 추론 TopK 값입니다.
  • topP - 추론 topP 값입니다.

흐름 수준 측정항목

이름 측정기준
Genkit/흐름/요청 흐름 이름, 오류 코드, 오류 메시지
genkit/flow/latency Flow_name(흐름_이름)

작업 수준 측정항목

이름 측정기준
Genkit/작업/요청 흐름 이름, 오류 코드, 오류 메시지
Genkit/작업/지연 시간 Flow_name(흐름_이름)

생성 수준 측정항목

이름 측정기준
Genkit/AI/생성 Flow_path, 모델, 온도, topK, topP, error_code, error_message
genkit/ai/generate/input_tokens Flow_path, 모델, 온도, topK, topP
genkit/ai/generate/output_tokens Flow_path, 모델, 온도, topK, topP
genkit/ai/generate/input_characters Flow_path, 모델, 온도, topK, topP
genkit/ai/generate/output_characters Flow_path, 모델, 온도, topK, topP
genkit/ai/generate/input_images Flow_path, 모델, 온도, topK, topP
genkit/ai/generate/output_images Flow_path, 모델, 온도, topK, topP
Genkit/AI/생성/지연 시간 Flow_path, 모델, 온도, topK, topP, error_code, error_message

측정항목 탐색기를 통해 측정항목을 시각화할 수 있습니다. 사이드 메뉴를 사용하여 '로깅'을 선택하고 '측정항목 탐색기'를 클릭합니다.

'측정항목 선택' 드롭다운을 클릭하고 '일반 노드', 'Genkit', 측정항목을 선택하여 측정항목을 선택합니다.

측정항목의 시각화는 유형 (카운터, 히스토그램 등)에 따라 다릅니다. 측정항목 탐색기는 강력한 집계 및 쿼리 기능을 제공하여 다양한 측정기준별로 측정항목을 그래프로 나타내는 데 도움이 됩니다.

원격 분석 지연

흐름의 특정 실행에 대한 원격 분석이 Cloud 운영 제품군에 표시되기까지 약간의 지연이 있을 수 있습니다. 대부분의 경우 이 지연 시간은 1분 미만입니다.

할당량 및 한도

유의해야 할 몇 가지 할당량이 있습니다.

비용

Cloud Logging, Cloud Trace, Cloud Monitoring은 넉넉한 무료 등급을 제공합니다. 구체적인 가격은 다음 링크에서 확인할 수 있습니다.