Saat memanggil Gemini API dari aplikasi Anda menggunakan Vertex AI in Firebase SDK, Anda dapat memerintahkan model Gemini untuk menghasilkan teks berdasarkan input multimodal. Perintah multimodal dapat mencakup beberapa modalitas (atau jenis input), seperti teks beserta gambar, PDF, video, dan audio.
Untuk pengujian dan iterasi pada perintah multimodal, sebaiknya gunakan Vertex AI Studio
Sebelum memulai
Jika Anda belum melakukannya, selesaikan panduan memulai untuk Vertex AI in Firebase SDK. Pastikan Anda telah melakukan semua hal berikut:
Siapkan project Firebase baru atau yang sudah ada, termasuk menggunakan Paket harga Blaze dan aktifkan API yang diperlukan.
Hubungkan aplikasi Anda ke Firebase, termasuk mendaftarkan aplikasi dan menambahkan konfigurasi Firebase ke aplikasi Anda.
Tambahkan SDK dan lakukan inisialisasi layanan Vertex AI serta model generatif dalam aplikasi Anda.
Setelah menghubungkan aplikasi ke Firebase, menambahkan SDK, dan menginisialisasi layanan Vertex AI dan model generatif, Anda siap untuk memanggil Gemini API.
- Membuat teks dari teks dan satu gambar
- Membuat teks dari teks dan beberapa gambar
- Membuat teks dari teks dan video
Membuat teks dari teks dan satu gambar
Pastikan Anda telah menyelesaikan langkah Sebelum memulai dari panduan ini sebelum mencoba contoh ini.
Anda dapat memanggil Gemini API dengan perintah multimodal yang mencakup teks dan satu file (seperti gambar, seperti yang ditunjukkan dalam contoh ini). Untuk ini Anda harus menggunakan model yang mendukung perintah multimodal (seperti Gemini 1.5 Pro).
File yang didukung termasuk gambar, PDF, video, audio, dan lainnya. Pastikan untuk meninjau persyaratan dan rekomendasi untuk file input.
Pilih apakah Anda ingin men-streaming respons (generateContentStream) atau menunggu
untuk respons hingga seluruh hasil dibuat (generateContent).
Streaming
Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model, dan sebagai gantinya menggunakan streaming untuk menangani hasil parsial.
Tanpa streaming
Atau, Anda dapat menunggu seluruh hasil, bukan streaming; tindakan hasilnya hanya ditampilkan setelah model menyelesaikan seluruh pembuatan {i>checkout<i}.
Pelajari cara memilih model Gemini dan jika perlu, lokasi sesuai untuk kasus penggunaan dan aplikasi Anda.
Membuat teks dari teks dan banyak gambar
Pastikan Anda telah menyelesaikan langkah Sebelum memulai dari panduan ini sebelum mencoba contoh ini.
Anda dapat memanggil Gemini API dengan perintah multimodal yang mencakup teks dan beberapa file (seperti gambar, seperti yang ditunjukkan dalam contoh ini). Untuk ini Anda harus menggunakan model yang mendukung perintah multimodal (seperti Gemini 1.5 Pro).
File yang didukung termasuk gambar, PDF, video, audio, dan lainnya. Pastikan untuk meninjau persyaratan dan rekomendasi untuk file input.
Pilih apakah Anda ingin men-streaming respons (generateContentStream) atau menunggu
untuk respons hingga seluruh hasil dibuat (generateContent).
Streaming
Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model, dan sebagai gantinya menggunakan streaming untuk menangani hasil parsial.
Tanpa streaming
Atau, Anda juga dapat menunggu untuk seluruh hasil, bukan melakukan streaming; hasilnya hanya dikembalikan setelah model menyelesaikan seluruh yang sama.
Pelajari cara memilih model Gemini dan jika perlu, lokasi sesuai untuk kasus penggunaan dan aplikasi Anda.
Membuat teks dari teks dan video
Pastikan Anda telah menyelesaikan langkah Sebelum memulai dari panduan ini sebelum mencoba contoh ini.
Anda dapat memanggil Gemini API dengan perintah multimodal yang mencakup teks dan satu video (seperti yang ditunjukkan dalam contoh ini). Untuk ini Anda harus menggunakan model yang mendukung perintah multimodal (seperti Gemini 1.5 Pro).
Pastikan untuk meninjau persyaratan dan rekomendasi untuk file input.
Pilih apakah Anda ingin men-streaming respons (generateContentStream) atau menunggu
untuk respons hingga seluruh hasil dibuat (generateContent).
Streaming
Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model, dan sebagai gantinya menggunakan streaming untuk menangani hasil parsial.
Tanpa streaming
Atau, Anda dapat menunggu seluruh hasil, bukan streaming; tindakan hasilnya hanya ditampilkan setelah model menyelesaikan seluruh pembuatan {i>checkout<i}.
Pelajari cara memilih model Gemini dan jika perlu, lokasi sesuai untuk kasus penggunaan dan aplikasi Anda.
Persyaratan dan rekomendasi untuk file input
Untuk mempelajari tentang jenis file yang didukung, cara menentukan jenis MIME, dan cara membuatnya memastikan bahwa file dan permintaan multimodal memenuhi persyaratan dan mengikuti praktik terbaik, lihat File input yang didukung dan persyaratan untuk Vertex AI Gemini API.
Kamu bisa apa lagi?
- Pelajari cara menghitung token sebelum mengirim prompt yang panjang ke model.
- Menyiapkan Cloud Storage for Firebase sehingga Anda bisa menyertakan file berukuran besar dalam permintaan multimodal menggunakan Cloud Storage URL. File dapat mencakup gambar, PDF, video, dan audio.
- Mulailah berpikir tentang mempersiapkan diri untuk produksi, termasuk menyiapkan Firebase App Check untuk melindungi Gemini API dari penyalahgunaan oleh klien yang tidak berwenang.
Coba kemampuan Gemini API lainnya
- Membuat percakapan multi-giliran (chat).
- Buat teks dari dialog khusus teks.
- Gunakan panggilan fungsi untuk menghubungkan generatif ke sistem dan informasi eksternal.
Pelajari cara mengontrol pembuatan konten
- Memahami desain prompt, termasuk praktik terbaik, strategi, dan contoh perintah.
- Mengonfigurasi parameter model seperti suhu dan token output maksimum.
- Gunakan setelan keamanan untuk menyesuaikan kemungkinan mendapatkan respons yang mungkin dianggap berbahaya.
Pelajari lebih lanjut model Gemini
Pelajari tentang model yang tersedia untuk berbagai kasus penggunaan dan mereka kuota dan harga.Beri masukan tentang pengalaman Anda dengan Vertex AI in Firebase