Firebase için Vertex AI SDK'sı kullanarak uygulamanızdan Gemini API'yi çağırırken Gemini modelinden çok modlu girişe dayalı metin oluşturmasını isteyebilirsiniz. Çok modlu istemler, birden fazla modalite (veya giriş türü) içerebilir. metin, resim, PDF, video ve ses gibi öğeler içerir.
Çok modlu istemleri test etmek ve yinelemek için Vertex AI Studio
Başlamadan önce
Henüz yapmadıysanız Firebase için Vertex AI SDK'ları başlangıç kılavuzu Aşağıdakilerin tümünü yaptığınızdan emin olun:
Aşağıdakiler dahil olmak üzere yeni veya mevcut bir Firebase projesi oluşturun: Fiyatlandırma planını Blaze edin ve gerekli API'leri etkinleştirin.
Uygulamanızı kaydetme ve Firebase yapılandırmasını uygulamanıza ekleyin.
SDK'yı ekleyip Vertex AI hizmetini ve üretken modeli ilk kullanıma hazırlama dokunun.
Uygulamanızı Firebase'e bağladıktan, SDK'yı ekledikten ve Vertex AI hizmetine ve üretken modele yönelik Gemini API'yi çağırmaya hazırsınız.
- Metin ve tek bir resimden metin oluşturma
- Metin ve birden çok resimden metin oluşturma
- Metin ve videodan metin oluşturma
Metinden ve tek bir resimden metin oluştur
Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.
Gemini API'yi aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir dosya (bu örnekte gösterildiği gibi bir resim gibi) kullanabilirsiniz. Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).
Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.
Yanıtı akış şeklinde sunmak mı (generateContentStream
) yoksa beklemek mi istediğinizi seçin.
Bu da sonucun tamamı oluşturulana kadar (generateContent
) yanıt için kullanılır.
Akış
Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.
Bu örnekte, oluşturulan akış için generateContentStream()
ürününün nasıl kullanılacağı gösterilmektedir
metin ve tek bir resim içeren çok modlu istem isteğindeki metin:
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. "the" sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür bahsedeceğim.
Bu örnekte, birgenerateContent()
Metin ve tek bir resim içeren çok modlu istem isteği:
Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.
Metin ve birden çok resimden metin oluşturun
Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.
Gemini API'yi aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de birden çok dosya (bu örnekte gösterildiği gibi resimler gibi) kullanabilirsiniz. Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).
Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.
Yanıtı akış şeklinde sunmak mı (generateContentStream
) yoksa beklemek mi istediğinizi seçin.
Bu da sonucun tamamı oluşturulana kadar (generateContent
) yanıt için kullanılır.
Akış
Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.
Bu örnekte, oluşturulan akış için generateContentStream()
ürününün nasıl kullanılacağı gösterilmektedir
metin ve birden çok resim içeren çok modlu bir istem isteğindeki metin:
Akış olmadan
Alternatif olarak, bunun yerine sonucun tamamını bekleyebilirsiniz akış; sonuç yalnızca model tüm adımları tamamladıktan sonra döndürülür oluşturma sürecidir.
Bu örnekte, birgenerateContent()
Metin ve birden çok resim içeren çok modlu istem isteği:
Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.
Metin ve videodan metin oluştur
Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.
Gemini API'yi aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir video (bu örnekte gösterildiği gibi). Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).
Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.
Yanıtı akış şeklinde sunmak mı (generateContentStream
) yoksa beklemek mi istediğinizi seçin.
Bu da sonucun tamamı oluşturulana kadar (generateContent
) yanıt için kullanılır.
Akış
Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.
Bu örnekte, oluşturulan akış için generateContentStream()
ürününün nasıl kullanılacağı gösterilmektedir
metin ve tek bir video içeren çok modlu bir istem isteğindeki metin:
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. "the" sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür bahsedeceğim.
Bu örnekte, birgenerateContent()
Metin ve tek bir video içeren çok modlu istem isteği:
Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.
Giriş dosyaları için gereksinimler ve öneriler
Desteklenen dosya türleri, MIME türünün nasıl belirtileceği ve dosyalarınızın ve çok modlu isteklerinizin gereksinimleri karşıladığından emin olun ve en iyi uygulamaları görmek için Vertex AI Gemini API için desteklenen giriş dosyaları ve gereksinimleri
Başka ne yapabilirsiniz?
- Jetonların nasıl sayılacağını öğrenin önce modele uzun istemler göndermeden önce gelmesi gerekir.
- Firebase için Cloud Storage'ı kurma Böylece, çok modlu isteklerinize Cloud Storage URL'leri. Dosyalar arasında resim, PDF, video ve ses dosyaları bulunabilir.
- Üretime hazırlanma üzerine düşünmeye başlayın, Firebase Uygulama Kontrolü'nü ayarlama yetkisiz istemcilerin kötüye kullanımına karşı korur.
Gemini API'nin diğer özelliklerini deneyin
- Çok dönüşlü görüşmeler (sohbet) oluşturun.
- Şu kaynaktan metin oluştur: yalnızca metin istemleri.
- Bağlanmak için işlev çağrısı özelliğini kullanın üretken modelleri dış sistemlere ve bilgilere
İçerik üretme işlemini nasıl kontrol edeceğinizi öğrenin
- Aşağıdakiler dahil olmak üzere istem tasarımını anlama: en iyi uygulamalar, stratejiler ve örnek istemler.
- Aşağıdaki gibi model parametrelerini yapılandırın sıcaklık ve maksimum çıkış jetonları.
- Güvenlik ayarlarını kullanarak alma olasılığını azaltır.
Gemini modelleri hakkında daha fazla bilgi
Şu konu hakkında bilgi edinin: çeşitli kullanım alanları için kullanılabilecek modeller ve kotalar ve fiyatlandırma hakkında daha fazla bilgi edinin.Geri bildirimde bulunma ve Firebase için Vertex AI deneyiminiz hakkında