|
Klik penyedia Gemini API untuk melihat konten dan kode khusus penyedia di halaman ini. |
Batas frekuensi (biasanya disebut kuota) mengatur jumlah permintaan yang dapat Anda buat ke Gemini API dalam jangka waktu tertentu. Batas ini membantu memastikan penggunaan yang wajar, melindungi dari penyalahgunaan, dan membantu mempertahankan performa sistem untuk semua pengguna.
Saat menggunakan Firebase AI Logic untuk mengakses model Gemini, batas kecepatan project Anda bergantung pada penyedia Gemini API yang Anda pilih. Firebase AI Logic juga menyediakan cara untuk menetapkan batas kecepatan "per pengguna".
Lihat batas kecepatan untuk Gemini Developer API
Jika Anda melebihi kuota atau jika kapasitas untuk model yang Anda akses habis, Anda akan mendapatkan pesan error 429.
Cara kerja batas laju (kuota)
Batas laju (kuota) diukur di empat dimensi:
- Permintaan per menit (RPM)
- Permintaan per hari (RPD)
- Token per menit (TPM)
- Token per hari (TPD)
Penggunaan Anda dievaluasi terhadap setiap batas, dan jika salah satu batas terlampaui, akan memicu error 429 karena kuota terlampaui. Misalnya, jika batas RPM Anda adalah 20, maka membuat 21 permintaan dalam satu menit akan menghasilkan error, meskipun Anda belum melampaui TPM atau batas lainnya.
Batas kecepatan diterapkan di tingkat project dan berlaku untuk semua aplikasi dan alamat IP yang menggunakan project Firebase tersebut.
Batas bervariasi bergantung pada model spesifik yang digunakan, dan beberapa batas hanya berlaku untuk model tertentu.
Batas penggunaan lebih ketat untuk model eksperimental dan pratinjau.
Meminta peningkatan batas frekuensi
Jika menggunakan "paket berbayar" untuk Gemini Developer API, Anda dapat meminta peningkatan batas frekuensi panggilan.
Menetapkan batas kapasitas "per pengguna"
Untuk menggunakan Firebase AI Logic, project Anda harus mengaktifkan penyedia Gemini API yang Anda pilih, tetapi Anda juga harus mengaktifkan Firebase AI Logic API, yang berfungsi sebagai gateway antara SDK klien kami dan penyedia Gemini API Anda. API ini diaktifkan untuk Anda saat pertama kali menyiapkan Firebase AI Logic di project Firebase Anda.
Anda dapat menggunakan pembatasan kapasitas API (kuota) Firebase AI Logic sebagai pembatasan kapasitas "per pengguna" untuk aplikasi Anda, khususnya untuk fitur AI yang mengandalkan Firebase AI Logic. Anda harus menetapkan batas ini untuk mengakomodasi satu pengguna yang mengakses fitur AI Anda secara wajar, sekaligus memastikan bahwa tidak ada satu pengguna pun yang melampaui batas penyedia Gemini API Anda (yang dimaksudkan untuk digunakan bersama oleh semua pengguna Anda).
Detail tentang batas frekuensi "per pengguna"
Berikut beberapa detail penting tentang pembatasan kapasitas Firebase AI Logic API (kuota) -- khususnya, permintaan per menit (RPM):
Batas ini didasarkan pada "Permintaan pembuatan konten" per pengguna per region per menit, dan tidak didasarkan pada model.
Batas ini adalah batas frekuensi yang diterapkan pada semua pengguna Anda. Saat ini, tidak ada cara untuk menetapkan batas kecepatan untuk pengguna tertentu atau grup pengguna tertentu*.
Hal ini berlaku di level project dan berlaku untuk semua aplikasi dan alamat IP yang menggunakan project Firebase tersebut.
Hal ini berlaku untuk setiap panggilan yang secara khusus berasal dari SDK Firebase AI Logic.
Batas frekuensi default adalah 100 RPM per pengguna.
Perhatikan bahwa Anda tetap perlu mempertimbangkan batas untuk penyedia Gemini API Anda (lihat di atas), yang lebih diutamakan daripada Firebase AI Logic API.
* Jika Anda menggunakan Agent Platform Gemini API (formerly Vertex AI) dan aplikasi Anda mengarahkan pengguna ke wilayah yang berbeda (misalnya, menggunakan Firebase Remote Config), Anda dapat menetapkan batas frekuensi tertentu untuk pengguna di wilayah tertentu.
Menyesuaikan batas frekuensi "per pengguna"
Untuk menyesuaikan pembatasan kapasitas (kuota), Anda harus memiliki izin serviceusage.quotas.update, yang disertakan secara default dalam peran Pemilik dan Editor.
Berikut cara mengedit batas frekuensi (kuota) atau meminta penambahan:
Di konsol Google Cloud, buka halaman untuk Firebase AI Logic API.
Klik Manage.
Di bagian bawah halaman, klik tab Quotas & System Limits.
Filter tabel untuk menampilkan kuota yang diinginkan, seperti kemampuan (permintaan untuk membuat konten) dan region.
Misalnya, untuk melihat kuota per pengguna untuk membuat permintaan pembuatan konten di salah satu wilayah Asia yang didukung, filter Anda akan terlihat mirip dengan ini:
Generate content requests+Dimension:region:asiaPilih kotak centang di sebelah kiri setiap kuota yang diinginkan.
Di akhir baris kuota, klik , lalu pilih Edit kuota.
Di formulir Perubahan kuota, lakukan tindakan berikut:
Masukkan penambahan kuota di kolom Nilai baru.
Kuota ini berlaku di tingkat project dan digunakan bersama oleh semua aplikasi dan alamat IP yang menggunakan project Firebase tersebut.
Lengkapi kolom tambahan apa pun di formulir, lalu klik Selesai.
Klik Kirim permintaan.