Membuat teks dari perintah multimodal menggunakan Gemini API


Saat memanggil Gemini API dari aplikasi menggunakan Vertex AI in Firebase SDK, Anda dapat meminta model Gemini untuk membuat teks berdasarkan input multimodal. Perintah multimodal dapat mencakup beberapa modalitas (atau jenis input), seperti teks beserta gambar, PDF, video, dan audio.

Untuk menguji dan melakukan iterasi pada perintah multimodal, sebaiknya gunakan Vertex AI Studio.

Sebelum memulai

Jika belum melakukannya, selesaikan panduan memulai untuk Vertex AI in Firebase SDK. Pastikan Anda telah melakukan semua hal berikut:

  1. Siapkan project Firebase baru atau yang sudah ada, termasuk menggunakan paket harga Blaze dan mengaktifkan API yang diperlukan.

  2. Hubungkan aplikasi ke Firebase, termasuk mendaftarkan aplikasi dan menambahkan konfigurasi Firebase ke aplikasi.

  3. Tambahkan SDK dan lakukan inisialisasi layanan Vertex AI dan model generatif di aplikasi Anda.

Setelah menghubungkan aplikasi ke Firebase, menambahkan SDK, dan melakukan inisialisasi layanan Vertex AI dan model generatif, Anda siap memanggil Gemini API.

Membuat teks dari teks dan satu gambar

Pastikan Anda telah menyelesaikan bagian Sebelum memulai dalam panduan ini sebelum mencoba contoh ini.

Anda dapat memanggil Gemini API dengan perintah multimodal yang menyertakan teks dan satu file (seperti gambar, seperti yang ditunjukkan dalam contoh ini). Untuk panggilan ini, Anda perlu menggunakan model yang mendukung perintah multimodal (seperti Gemini 1.5 Pro).

File yang didukung mencakup gambar, PDF, video, audio, dan lainnya. Pastikan untuk meninjau persyaratan dan rekomendasi untuk file input.

Pilih apakah Anda ingin melakukan streaming respons (generateContentStream) atau menunggu respons hingga seluruh hasilnya dihasilkan (generateContent).

Streaming

Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model, dan sebagai gantinya menggunakan streaming untuk menangani hasil sebagian.

Tanpa streaming

Atau, Anda dapat menunggu seluruh hasil, bukan streaming; hasil hanya ditampilkan setelah model menyelesaikan seluruh proses pembuatan.

Pelajari cara memilih model Gemini dan secara opsional lokasi yang sesuai untuk kasus penggunaan dan aplikasi Anda.

Membuat teks dari teks dan beberapa gambar

Pastikan Anda telah menyelesaikan bagian Sebelum memulai dalam panduan ini sebelum mencoba contoh ini.

Anda dapat memanggil Gemini API dengan perintah multimodal yang menyertakan teks dan beberapa file (seperti gambar, seperti yang ditunjukkan dalam contoh ini). Untuk panggilan ini, Anda perlu menggunakan model yang mendukung perintah multimodal (seperti Gemini 1.5 Pro).

File yang didukung mencakup gambar, PDF, video, audio, dan lainnya. Pastikan untuk meninjau persyaratan dan rekomendasi untuk file input.

Pilih apakah Anda ingin melakukan streaming respons (generateContentStream) atau menunggu respons hingga seluruh hasilnya dihasilkan (generateContent).

Streaming

Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model, dan sebagai gantinya menggunakan streaming untuk menangani hasil sebagian.

Tanpa streaming

Atau, Anda dapat menunggu seluruh hasil, bukan streaming; hasilnya hanya ditampilkan setelah model menyelesaikan seluruh proses pembuatan.

Pelajari cara memilih model Gemini dan secara opsional lokasi yang sesuai untuk kasus penggunaan dan aplikasi Anda.

Membuat teks dari teks dan video

Pastikan Anda telah menyelesaikan bagian Sebelum memulai dalam panduan ini sebelum mencoba contoh ini.

Anda dapat memanggil Gemini API dengan perintah multimodal yang menyertakan teks dan satu video (seperti yang ditunjukkan dalam contoh ini). Untuk panggilan ini, Anda perlu menggunakan model yang mendukung perintah multimodal (seperti Gemini 1.5 Pro).

Pastikan untuk meninjau persyaratan dan rekomendasi untuk file input.

Pilih apakah Anda ingin melakukan streaming respons (generateContentStream) atau menunggu respons hingga seluruh hasilnya dihasilkan (generateContent).

Streaming

Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model, dan sebagai gantinya menggunakan streaming untuk menangani hasil sebagian.

Tanpa streaming

Atau, Anda dapat menunggu seluruh hasil, bukan streaming; hasil hanya ditampilkan setelah model menyelesaikan seluruh proses pembuatan.

Pelajari cara memilih model Gemini dan secara opsional lokasi yang sesuai untuk kasus penggunaan dan aplikasi Anda.

Persyaratan dan rekomendasi untuk file input

Lihat File input dan persyaratan yang didukung untuk Vertex AI Gemini API untuk mempelajari hal berikut:

  • Berbagai opsi untuk memberikan file dalam permintaan
  • Jenis file yang didukung
  • Jenis MIME yang didukung dan cara menentukannya
  • Persyaratan dan praktik terbaik untuk file dan permintaan multimodal

Kamu bisa apa lagi?

  • Pelajari cara menghitung token sebelum mengirim perintah panjang ke model.
  • Siapkan Cloud Storage for Firebase agar Anda dapat menyertakan file besar dalam permintaan multimodal dan memiliki solusi yang lebih terkelola untuk menyediakan file dalam perintah. File dapat mencakup gambar, PDF, video, dan audio.
  • Mulailah memikirkan persiapan produksi, termasuk menyiapkan Firebase App Check untuk melindungi Gemini API dari penyalahgunaan oleh klien yang tidak sah.

Mencoba kemampuan lain Gemini API

Pelajari cara mengontrol pembuatan konten

Anda juga dapat bereksperimen dengan perintah dan konfigurasi model menggunakan Vertex AI Studio.

Pelajari model Gemini lebih lanjut

Pelajari model yang tersedia untuk berbagai kasus penggunaan serta kuota dan harganya.


Berikan masukan tentang pengalaman Anda dengan Vertex AI in Firebase