Plugin logging dan telemetri Google Cloud

Plugin Google Cloud mengekspor data telemetri dan telemetri Firebase Genkit ke Google Cloud Operations Suite.

Prasyarat

Jika ingin menjalankan flow yang menggunakan plugin ini secara lokal, Anda perlu menginstal alat Google Cloud CLI.

Menyiapkan akun Google Cloud

Plugin ini memerlukan akun Google Cloud (daftar jika Anda belum memilikinya) dan project Google Cloud.

Sebelum menambahkan plugin, pastikan API berikut diaktifkan untuk project Anda:

API tersebut harus tercantum di dasbor API untuk project Anda.

Klik di sini untuk mempelajari lebih lanjut cara mengaktifkan dan menonaktifkan API.

Konfigurasi

Untuk mengaktifkan ekspor ke Google Cloud Tracing, Logging, dan Monitoring, impor paket googlecloud dan jalankan Init(). Setelah memanggil Init(), telemetri Anda akan diekspor secara otomatis.

import "github.com/firebase/genkit/go/plugins/googlecloud"

if err := googlecloud.Init(
	ctx,
	googlecloud.Config{ProjectID: "your-google-cloud-project"},
); err != nil {
	return err
}

Anda harus menentukan project Google Cloud yang ingin Anda ekspor data telemetrinya. Ada juga beberapa parameter opsional:

  • ForceExport: Mengekspor data telemetri bahkan saat dijalankan di lingkungan pengembangan (misalnya saat menggunakan genkit start atau genkit flow:run). Ini merupakan cara cepat untuk menguji integrasi dan mengirimkan peristiwa pertama Anda untuk dipantau di Google Cloud.

    Jika menggunakan opsi ini, Anda juga perlu menyediakan kredensial Cloud Anda secara lokal:

    gcloud auth application-default login

  • MetricInterval: Interval, dalam nanodetik, untuk mengekspor informasi telemetri. Secara default, intervalnya adalah 60 detik (60e9 nanodetik).

  • LogLevel: Tingkat keparahan minimum entri log yang akan diekspor. Secara default, slog.LevelInfo.

Plugin ini memerlukan kredensial project Google Cloud Anda. Jika Anda menjalankan flow dari lingkungan Google Cloud (Cloud Run, dll.), kredensial tersebut ditetapkan secara otomatis. Untuk berjalan di lingkungan lain, Anda harus menyiapkan Kredensial Default Aplikasi.

Pemantauan produksi melalui Google Cloud Operations Suite

Setelah alur di-deploy, buka Google Cloud Operations Suite lalu pilih project Anda.

Log dan trace

Dari menu samping, cari 'Logging' dan klik 'Logs explorer'.

Anda akan melihat semua log yang terkait dengan flow yang di-deploy, termasuk console.log(). Setiap log yang memiliki awalan [genkit] adalah log internal Genkit yang berisi informasi yang mungkin menarik untuk tujuan proses debug. Misalnya, log Genkit dalam format Config[...] berisi metadata seperti nilai temperatur dan topK untuk inferensi LLM tertentu. Log dalam format Output[...] berisi respons LLM, sedangkan log Input[...] berisi prompt. Cloud Logging memiliki ACL yang andal dan memungkinkan kontrol terperinci atas log sensitif.

Untuk baris log tertentu, Anda dapat membuka trace masing-masing dengan mengklik ikon menu yang diperluas dan memilih "Lihat dalam rincian trace".

Tindakan ini akan menampilkan panel pratinjau trace yang memberikan sekilas gambaran detail terkait trace. Untuk mendapatkan detail yang lengkap, klik "Lihat di Trace" di kanan atas panel.

Elemen navigasi yang paling menarik di Cloud Trace adalah diagram sebar trace. Properti ini berisi semua trace yang dikumpulkan dalam rentang waktu tertentu.

Mengklik setiap titik data akan menampilkan detailnya di bawah diagram sebar.

Tampilan mendetail berisi bentuk flow, termasuk semua langkah, dan informasi pengaturan waktu yang penting. Cloud Trace memiliki kemampuan untuk menyisipkan semua log yang terkait dengan trace tertentu dalam tampilan ini. Pilih opsi "Tampilkan yang diperluas" dari menu drop-down "Logs & peristiwa".

Tampilan yang dihasilkan memungkinkan pemeriksaan log secara mendetail dalam konteks trace, termasuk prompt dan respons LLM.

Metrik

Melihat semua metrik yang diekspor Genkit dapat dilakukan dengan memilih "Logging" dari menu samping dan mengklik "Pengelolaan metrik".

Konsol pengelolaan metrik berisi tampilan tabel semua metrik yang dikumpulkan, termasuk metrik yang berkaitan dengan Cloud Run dan lingkungan di sekitarnya. Mengklik 'Workload' akan menampilkan daftar yang menyertakan metrik yang dikumpulkan Genkit. Setiap metrik dengan awalan genkit merupakan metrik Genkit internal.

Genkit mengumpulkan beberapa kategori metrik, termasuk metrik tingkat flow, tingkat tindakan, dan tingkat pembuatan. Setiap metrik memiliki beberapa dimensi yang berguna untuk memfasilitasi pemfilteran dan pengelompokan yang andal.

Dimensi umum mencakup:

  • flow_name - nama tingkat teratas alur.
  • flow_path - span dan span induknya hingga span root.
  • error_code - jika terjadi error, kode error yang sesuai.
  • error_message - jika terjadi error, pesan error yang sesuai.
  • model: nama model.
  • temperature - nilai temperatur inferensi.
  • topK - nilai topK inferensi.
  • topP - value topP inferensi.

Metrik tingkat flow

Nama Dimensi
genkit/flow/requests flow_name, error_code, error_message
genkit/flow/latency flow_name

Metrik tingkat tindakan

Nama Dimensi
genkit/action/requests flow_name, error_code, error_message
genkit/action/latency flow_name

Metrik tingkat pembuatan

Nama Dimensi
genkit/ai/generate flow_path, model, temperature, topK, topP, error_code, error_message
genkit/ai/generate/input_tokens flow_path, model, temperature, topK, topP
genkit/ai/generate/output_tokens flow_path, model, temperature, topK, topP
genkit/ai/generate/input_characters flow_path, model, temperature, topK, topP
genkit/ai/generate/output_characters flow_path, model, temperature, topK, topP
genkit/ai/generate/input_images flow_path, model, temperature, topK, topP
genkit/ai/generate/output_images flow_path, model, temperature, topK, topP
genkit/ai/generate/latency flow_path, model, temperature, topK, topP, error_code, error_message

Memvisualisasikan metrik dapat dilakukan melalui Metrics Explorer. Dengan menggunakan menu samping, pilih 'Logging' lalu klik 'Metrics Explorer'

Pilih metrik dengan mengklik "Pilih metrik", kemudian pilih 'Generic Node', 'Genkit', dan metrik.

Visualisasi metrik akan bergantung pada jenisnya (penghitung, histogram, dll). Metrics Explorer menyediakan fasilitas pembuatan kueri dan penggabungan yang andal untuk membantu membuat grafik metrik berdasarkan berbagai dimensinya.

Penundaan Telemetri

Mungkin ada sedikit keterlambatan sebelum telemetri untuk eksekusi flow tertentu ditampilkan di Cloud Operations Suite. Biasanya, keterlambatan ini kurang dari 1 menit.

Kuota dan batas

Ada beberapa kuota yang penting untuk diingat:

Biaya

Cloud Logging, Cloud Trace, dan Cloud Monitoring memiliki paket gratis yang melimpah. Harga khusus dapat ditemukan di link berikut: