Memantau biaya, penggunaan, dan metrik lain dari fitur AI Anda adalah bagian penting dalam menjalankan aplikasi produksi. Anda perlu mengetahui seperti apa pola penggunaan normal untuk aplikasi Anda dan memastikannya tetap berada dalam batas yang penting bagi Anda.
Halaman ini menjelaskan beberapa opsi yang direkomendasikan untuk memantau biaya, penggunaan, dan metrik lainnya di konsol Firebase dan konsol Google Cloud.
Memantau biaya
Di dasbor Usage and Billing di Firebase console, Anda dapat melihat biaya project untuk memanggil Agent Platform Gemini API (formerly Vertex AI) dan Gemini Developer API (jika Anda menggunakan paket harga Blaze).
Biaya yang ditampilkan di dasbor tidak selalu spesifik untuk panggilan yang menggunakan SDK klien Firebase AI Logic. Biaya yang ditampilkan terkait dengan setiap panggilan ke "Gemini API" tersebut, baik menggunakan SDK klien Firebase AI Logic, SDK server Google GenAI, Genkit, Firebase Extensions untuk Gemini API, panggilan REST, salah satu AI Studio, atau klien API lainnya.
Pelajari lebih lanjut harga untuk produk yang terkait dengan penggunaan Firebase AI Logic oleh Anda.
Menyiapkan pemberitahuan anggaran dan batas pengeluaran
Jika Anda menggunakan paket harga Blaze, hindari tagihan tak terduga dengan menyiapkan pemberitahuan anggaran dan batas pengeluaran.
Perhatikan bahwa pemberitahuan anggaran bukan merupakan batas anggaran. Notifikasi akan mengirimkan email peringatan saat pengeluaran Anda mencapai nilai minimum tertentu dari anggaran sehingga Anda dapat mengambil tindakan di aplikasi atau project. Anda harus menetapkan anggaran batas pembelanjaan jika ingin layanan dijeda saat anggaran Anda tercapai.
Mengamati penggunaan fitur AI Anda di Firebase console
Anda dapat mengaktifkan pemantauan AI di halaman Firebase AI Logic di Firebase console sehingga Anda dapat mengamati berbagai metrik dan penggunaan tingkat aplikasi untuk mendapatkan visibilitas yang komprehensif ke dalam permintaan Anda dari SDK klien Firebase AI Logic. Dasbor ini lebih mendalam daripada jumlah token dasar yang Anda dapatkan dari panggilan ke Count Tokens API.
Kemampuan utama pemantauan AI di Firebase console meliputi:
Melihat metrik kuantitatif seperti volume permintaan, latensi, error, dan penggunaan token per modalitas untuk setiap aplikasi Anda.
Memeriksa trace untuk melihat atribut, input, dan output permintaan Anda, yang dapat membantu proses debug dan peningkatan kualitas.
Mengelompokkan data berdasarkan dimensi seperti status permintaan, latensi minimum, nama model, dan lainnya.
Semua fitur ini dibuat menggunakan Google Cloud Observability Suite (lihat informasi produk mendetail di bawah).
Mengaktifkan pemantauan AI
Berikut cara mengaktifkan pemantauan AI di Firebase console:
Saat Anda menjalani alur kerja penyiapan terpandu awal dari halaman AI Services > Firebase AI Logic
Kapan saja di tab AI Services > AI Logic > Settings
Persyaratan untuk mengaktifkan dan menggunakan pemantauan AI:
Anda harus menjadi Pemilik project, Editor, atau Firebase Vertex AI Admin.
Aplikasi Anda harus menggunakan setidaknya versi library Firebase berikut:
iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+Aplikasi Anda harus mengaktifkan pengumpulan data keikutsertaan (ini diaktifkan secara default).
Setelah aplikasi Anda memenuhi persyaratan ini dan Anda mengaktifkan pemantauan AI di konsol, Anda tidak perlu melakukan tindakan lain di aplikasi atau konsol untuk mulai melihat data mengisi dasbor di tab AI Services > AI Logic > AI monitoring. Mungkin ada sedikit keterlambatan (terkadang hingga 5 menit) sebelum telemetri dari permintaan tersedia di Firebase console.
Penggunaan lanjutan
Bagian ini menjelaskan konfigurasi frekuensi sampling, serta berbagai opsi untuk melihat dan menggunakan data Anda.
Frekuensi sampling
Jika Anda membuat permintaan dalam jumlah besar, sebaiknya manfaatkan konfigurasi frekuensi sampling. Frekuensi sampling menunjukkan proporsi permintaan yang detail trace-nya benar-benar dikumpulkan.
Di tab AI Services > AI Logic > Settings di Firebase console, Anda dapat mengonfigurasi frekuensi sampling untuk project Anda ke nilai dari 1 hingga 100%, dengan 100% berarti pemantauan AI akan mengumpulkan trace dari semua traffic Anda. Nilai defaultnya adalah 100%. Mengumpulkan lebih sedikit trace akan mengurangi biaya, tetapi juga akan mengurangi jumlah trace yang dapat Anda pantau. Perhatikan bahwa terlepas dari frekuensi sampling Anda, grafik yang ditampilkan di dasbor pemantauan akan selalu mencerminkan volume traffic yang sebenarnya.
Opsi tambahan di luar Firebase console
Selain pemantauan AI yang tersedia di Firebase console, pertimbangkan opsi berikut:
Pelajari Vertex AI Model Garden.
Dasbor ini memberikan insight tren lebih lanjut tentang latensi dan throughput untuk model terkelola, yang melengkapi insight Anda dari pemantauan AI di Firebase console.Pelajari dan gunakan data Anda dengan Google Cloud Observability Suite
Karena data telemetri untuk pemantauan AI disimpan di Google Cloud Observability Suite yang terkait dengan project Anda, Anda dapat mempelajari data Anda di dasbornya, termasuk Trace Explorer dan Logs Explorer, yang ditautkan saat Anda memeriksa setiap trace di Firebase console. Anda juga dapat menggunakan data untuk membuat dasbor kustom, menyiapkan pemberitahuan, dan lainnya.
Informasi mendetail tentang produk yang digunakan untuk pemantauan AI
Pemantauan AI menyimpan data telemetri Anda di berbagai produk yang tersedia di Google Cloud Observability Suite, termasuk Cloud Monitoring, Cloud Trace, dan Cloud Logging.
Cloud Monitoring: Menyimpan metrik, termasuk jumlah permintaan, rasio keberhasilan, dan latensi permintaan.
Cloud Trace: Menyimpan trace untuk setiap permintaan Anda sehingga Anda dapat melihat detailnya satu per satu, bukan secara gabungan. Trace biasanya dikaitkan dengan log sehingga Anda dapat memeriksa konten dan waktu setiap interaksi.
Cloud Logging: Menangkap metadata input, output, dan konfigurasi untuk memberikan detail lengkap tentang setiap bagian permintaan AI Anda.
Karena data telemetri Anda disimpan dalam produk ini, Anda dapat menentukan setelan retensi dan akses langsung dalam setiap produk (pelajari lebih lanjut dalam dokumentasi untuk Cloud Monitoring, Cloud Trace, dan Cloud Logging).
Perlu diperhatikan bahwa pemantauan AI menyimpan perintah aktual dan output yang dihasilkan dari setiap permintaan sampel di Cloud Logging sehingga data ini dapat diakses di Firebase console. Anda juga dapat menonaktifkan penyimpanan perintah dan respons.
Harga
Project dengan paket harga Spark tanpa biaya (hanya tersedia saat menggunakan Gemini Developer API): Penggunaan layanan yang mendasari untuk pemantauan AI tidak dikenai biaya.
Project dengan paket harga Blaze bayar sesuai penggunaan: Anda akan dikenai biaya untuk penggunaan produk Google Cloud Observability Suite pokok yang digunakan pemantauan AI (terlepas dari penyedia Gemini API yang Anda pilih). Namun, setiap produk Google Cloud Observability Suite memiliki paket tanpa biaya yang melimpah. Pelajari lebih lanjut dalam dokumentasi harga Google Cloud Observability Suite.
(Opsional) Menonaktifkan penyimpanan perintah dan respons
Secara default, pemantauan AI menangkap perintah sebenarnya yang dikirim ke model dan respons yang dihasilkan oleh model, termasuk informasi sensitif (seperti Informasi Identitas Pribadi (PII)) dalam perintah dan respons tersebut. Semua data ini disimpan di Cloud Logging sehingga dapat diakses di Firebase console.
Untuk menonaktifkan penyimpanan perintah dan respons, tambahkan filter pengecualian berikut ke sink Cloud Logging Anda (biasanya sink _Default): resource.type="firebasevertexai.googleapis.com/Model"
Melihat metrik API level project di Google Cloud console
Untuk setiap API, Anda dapat melihat metrik level project, seperti penggunaan, di konsol Google Cloud.
Perhatikan bahwa halaman konsol Google Cloud yang dijelaskan di bagian ini tidak menyertakan informasi seperti konten permintaan dan respons serta jumlah token. Untuk memantau jenis informasi tersebut, pertimbangkan untuk menggunakan pemantauan AI di Firebase console (lihat bagian sebelumnya).
Di Google Cloud console, buka halaman Metrics dari API yang ingin Anda lihat:
Agent Platform API: Melihat penggunaan yang terkait dengan setiap permintaan ke Agent Platform Gemini API (formerly Vertex AI).
- Mencakup permintaan yang menggunakan Firebase AI Logic SDK klien, SDK server Google GenAI, Genkit, Firebase Extensions untuk Gemini API, REST API, Agent Studio, dll.
: Gemini Developer API: Melihat penggunaan yang terkait dengan setiap permintaan ke Gemini Developer API.
- Mencakup permintaan yang menggunakan SDK klien Firebase AI Logic, SDK server Google GenAI, Genkit, Firebase Extensions untuk Gemini API, REST API, Google AI Studio, dll.
- Nama tampilan API ini di Google Cloud console adalah "Generative Language API".
Jika Anda berada di "halaman ringkasan" untuk API, klik Manage, lalu klik tab Metrics.
Gunakan menu drop-down untuk melihat metrik yang diinginkan, seperti traffic menurut kode respons, error menurut metode API, latensi keseluruhan, dan latensi menurut metode API.