AI 기능의 비용, 사용량, 기타 측정항목을 모니터링하는 것은 프로덕션 앱을 실행하는 데 중요한 부분입니다. 앱의 일반적인 사용 패턴을 알아야 하며 중요한 기준 금액을 초과해서는 안 됩니다.
이 페이지에서는 Firebase 콘솔과 Google Cloud 콘솔 모두에서 비용, 사용량, 기타 측정항목을 모니터링하는 데 권장되는 몇 가지 옵션을 설명합니다.
비용 모니터링
Firebase Console의 사용량 및 결제 대시보드에서 Agent Platform Gemini API (formerly Vertex AI) 및 Gemini Developer API 호출에 대한 프로젝트 비용을 확인할 수 있습니다(Blaze 요금제를 사용하는 경우).
대시보드에 표시되는 비용이 반드시 Firebase AI Logic 클라이언트 SDK를 사용하는 호출에만 해당하는 것은 아닙니다. 표시되는 비용은 Firebase AI Logic 클라이언트 SDK, Google GenAI 서버 SDK, Genkit, Gemini API용 Firebase Extensions, REST 호출, AI Studio 중 하나 또는 기타 API 클라이언트를 사용하는지 여부와 관계없이 해당 'Gemini API'에 대한 모든 호출과 관련이 있습니다.
Firebase AI Logic 사용과 관련된 제품의 가격 책정에 대해 자세히 알아보세요.
예산 알림 및 지출 한도 설정
Blaze 요금제를 사용하는 경우 예산 알림 및 지출 한도를 설정하여 예상치 못한 청구를 방지하세요.
예산 알림은 예산 한도가 아닙니다. 지출이 예산의 특정 기준점에 도달하면 알림이 경고 이메일을 전송하므로 앱 또는 프로젝트에서 조치를 취할 수 있습니다. 예산에 도달하면 서비스를 일시중지하려면 지출 한도 예산을 설정해야 합니다.
Firebase Console에서 AI 기능 사용량 관찰
Firebase Console의 Firebase AI Logic 페이지에서 AI 모니터링을 사용 설정하면 다양한 앱 수준 측정항목과 사용량을 관찰하여 Firebase AI Logic 클라이언트 SDK의 요청을 포괄적으로 파악할 수 있습니다. 이러한 대시보드는 Count Tokens API를 호출하여 얻는 기본 토큰 수보다 더 심층적입니다.
Firebase 콘솔에서 AI 모니터링의 주요 기능은 다음과 같습니다.
각 앱의 요청 수, 지연 시간, 오류, 형식별 토큰 사용량과 같은 정량적 측정항목을 확인합니다.
트레이스를 검사하여 요청의 속성, 입력, 출력을 확인합니다. 이는 디버깅 및 품질 개선에 도움이 될 수 있습니다.
요청 상태, 최소 지연 시간, 모델 이름 등의 측정기준으로 데이터를 슬라이스합니다.
이러한 모든 기능은 Google Cloud Observability Suite를 사용하여 빌드됩니다(아래의 자세한 제품 정보 참고).
AI 모니터링 사용 설정
Firebase 콘솔에서 AI 모니터링을 사용 설정하는 방법은 다음과 같습니다.
AI 서비스 > Firebase AI Logic 페이지에서 초기 가이드 설정 워크플로를 진행하는 경우
언제든지 AI 서비스 > AI 로직 > 설정 탭에서
AI 모니터링 사용 설정 및 사용 요구사항:
프로젝트 소유자, 편집자 또는 Firebase Vertex AI 관리자여야 합니다.
앱에서 최소한 다음 Firebase 라이브러리 버전을 사용해야 합니다.
iOS+: v11.13.0 이상 | Android: v16.0.0 이상 (BoM: v33.14.0 이상) | 웹: v11.8.0 이상 | Flutter: v2.0.0 이상 (BoM: v3.11.0 이상) | Unity: v12.9.0 이상앱에서 선택적 데이터 수집을 사용 설정해야 합니다(기본적으로 사용 설정됨).
앱이 이러한 요구사항을 충족하고 콘솔에서 AI 모니터링을 사용 설정한 후에는 앱이나 콘솔에서 다른 작업을 수행하지 않아도 AI 서비스 > AI 로직 > AI 모니터링 탭의 대시보드에 데이터가 채워지기 시작합니다. 요청의 원격 분석을 Firebase 콘솔에서 사용할 수 있을 때까지 약간의 지연 (최대 5분)이 있을 수 있습니다.
고급 사용
이 섹션에서는 샘플링 레이트 구성과 데이터를 보고 작업하는 다양한 옵션을 설명합니다.
샘플링 레이트
요청이 많은 경우 샘플링 레이트 구성을 활용하는 것이 좋습니다. 샘플링 레이트는 trace 세부정보가 실제로 수집된 요청의 비율을 나타냅니다.
Firebase 콘솔의 AI 서비스 > AI 로직 > 설정 탭에서 프로젝트의 샘플링 레이트를 1~100% 값으로 구성할 수 있습니다. 여기서 100% 는 AI 모니터링이 모든 트래픽에서 trace를 수집함을 의미합니다. 기본값은 100%입니다. 수집하는 trace가 적으면 비용이 절감되지만 모니터링할 수 있는 trace 수도 줄어듭니다. 샘플링 레이트에 관계없이 모니터링 대시보드에 표시되는 그래프는 항상 실제 트래픽 양을 반영합니다.
Firebase 콘솔 외부의 추가 옵션
Firebase 콘솔에서 사용할 수 있는 AI 모니터링 외에도 다음 옵션을 고려하세요.
Vertex AI Model Garden 살펴보기
이러한 대시보드는 관리형 모델의 지연 시간과 처리량에 대한 추가적인 추세 인사이트를 제공하여 Firebase 콘솔의 AI 모니터링에서 얻은 인사이트를 보완합니다.Google Cloud Observability Suite
를 사용하여 데이터 탐색 및 사용 AI 모니터링의 원격 분석 데이터는 프로젝트와 연결된 Google Cloud Observability Suite에 저장되므로 Firebase 콘솔에서 개별 trace를 검사할 때 연결되는 Trace Explorer 및 Logs Explorer를 포함한 대시보드에서 데이터를 탐색할 수 있습니다. 또한 데이터를 사용하여 커스텀 대시보드를 빌드하고 알림을 설정하는 등의 작업을 수행할 수 있습니다.
AI 모니터링에 사용되는 제품에 관한 자세한 정보
AI 모니터링은 Cloud Monitoring, Cloud Trace, Cloud Logging를 비롯하여 Google Cloud Observability Suite에서 사용할 수 있는 다양한 제품에 원격 분석 데이터를 저장합니다.
Cloud Monitoring: 요청 수, 성공률, 요청 지연 시간 등의 측정항목을 저장합니다.
Cloud Trace: 각 요청의 trace를 저장하므로 집계가 아닌 개별적으로 세부정보를 볼 수 있습니다. trace는 일반적으로 로그와 연결되므로 각 상호작용의 콘텐츠와 타이밍을 검사할 수 있습니다.
Cloud Logging: 입력, 출력, 구성 메타데이터를 캡처하여 AI 요청의 각 부분에 대한 풍부한 세부정보를 제공합니다.
원격 분석 데이터는 이러한 제품에 저장되므로 각 제품 내에서 직접 보관 및 액세스 설정을 지정할 수 있습니다(Cloud Monitoring, Cloud Trace, Cloud Logging 문서에서 자세히 알아보기).
AI 모니터링은 Firebase 콘솔에서 이 데이터에 액세스할 수 있도록 각 샘플링된 요청의 실제 프롬프트와 생성된 출력을 Cloud Logging에 저장합니다. 원하는 경우 프롬프트 및 응답 저장을 사용 중지할 수 있습니다.
가격 책정
무료 Spark 요금제를 사용하는 프로젝트(Gemini Developer API를 사용하는 경우에만 사용 가능): AI 모니터링의 기본 서비스 사용은 무료입니다.
사용한 만큼만 지불하는 Blaze 요금제를 사용하는 프로젝트: 선택한 Gemini API 제공업체와 관계없이 AI 모니터링에서 사용하는 기본 Google Cloud Observability Suite 제품의 사용량에 대한 요금이 청구됩니다. 하지만 각 Google Cloud Observability Suite 제품에는 넉넉한 무료 등급이 있습니다. Google Cloud Observability Suite 가격 책정 문서에서 자세히 알아보세요.
(선택사항) 프롬프트 및 응답 저장 사용 중지
기본적으로 AI 모니터링은 모델에 전송된 실제 프롬프트와 모델에서 생성된 대답을 캡처하며, 여기에는 해당 프롬프트와 대답에 포함된 민감한 정보 (예: 개인 식별 정보 (PII))가 포함됩니다. 이 모든 데이터는 Firebase 콘솔에서 액세스할 수 있도록 Cloud Logging에 저장됩니다.
프롬프트 및 대답 저장을 사용 중지하려면 다음 제외 필터를 Cloud Logging 싱크(일반적으로 _Default 싱크)에 추가합니다.
resource.type="firebasevertexai.googleapis.com/Model"
Google Cloud 콘솔에서 프로젝트 수준 API 측정항목 보기
각 API에 대해 Google Cloud 콘솔에서 사용량과 같은 프로젝트 수준 측정항목을 볼 수 있습니다.
이 섹션에 설명된 Google Cloud 콘솔 페이지에는 요청 및 응답 콘텐츠, 토큰 수와 같은 정보가 포함되지 않습니다. 이러한 유형의 정보를 모니터링하려면 Firebase 콘솔의 AI 모니터링을 사용하는 것이 좋습니다(이전 섹션 참고).
Google Cloud 콘솔에서 보려는 API의 측정항목 페이지로 이동합니다.
Agent Platform API: Agent Platform Gemini API (formerly Vertex AI)에 대한 모든 요청과 관련된 사용량을 확인합니다.
- Firebase AI Logic 클라이언트 SDK, Google GenAI 서버 SDK, Genkit, Gemini API용 Firebase Extensions, REST API, Agent Studio 등을 사용하는 요청이 포함됩니다.
Gemini Developer API: Gemini Developer API에 대한 모든 요청과 관련된 사용량을 확인합니다.
- Firebase AI Logic 클라이언트 SDK, Google GenAI 서버 SDK, Genkit, Gemini API용 Firebase Extensions, REST API, Google AI Studio 등을 사용하는 요청이 포함됩니다.
- Google Cloud 콘솔에서 이 API의 표시 이름은 'Generative Language API'입니다.
API의 '개요 페이지'가 표시되면 관리를 클릭한 후 측정항목 탭을 클릭합니다.
드롭다운 메뉴를 사용하여 응답 코드별 트래픽, API 메서드별 오류, 전체 지연 시간, API 메서드별 지연 시간과 같은 관심 측정항목을 확인합니다.