Vertex AI in Firebase SDK'sını kullanarak uygulamanızdan Gemini API'ü çağırırken Gemini modelinden çok modlu girişe göre metin oluşturmasını isteyebilirsiniz. Çoklu modalite istemleri, resimler, PDF'ler, video ve ses gibi birden fazla modalite (veya giriş türü) içerebilir.
Çoklu modal istemleri test etmek ve üzerinde iterasyon yapmak için Vertex AI Studio kullanmanızı öneririz.
Başlamadan önce
Henüz yapmadıysanız Vertex AI in Firebase SDK'ları için başlangıç kılavuzunu tamamlayın. Aşağıdakilerin tümünü yaptığınızdan emin olun:
Blaze fiyatlandırma planını kullanma ve gerekli API'leri etkinleştirme dahil olmak üzere yeni veya mevcut bir Firebase projesi oluşturun.
Uygulamanızı kaydettirme ve Firebase yapılandırmanızı uygulamanıza ekleme dahil olmak üzere uygulamanızı Firebase'e bağlayın.
SDK'yı ekleyin ve uygulamanızda Vertex AI hizmetini ve üretken modeli başlatın.
Uygulamanızı Firebase'e bağladıktan, SDK'yı ekledikten ve Vertex AI hizmetini ile üretken modeli başlattıktan sonra Gemini API işlevini çağırmaya hazırsınız.
- Metin ve tek bir resimden metin oluşturma
- Metin ve birden fazla resimden metin oluşturma
- Metin ve videodan metin oluşturma
Metin ve tek bir resimden metin oluşturma
Bu örneği denemeden önce bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API işlevini hem metin hem de tek bir dosya (bu örnekte gösterildiği gibi resim gibi) içeren çoklu modalite istemleriyle çağırabilirsiniz. Bu aramalar için çok formatlı istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Resimler, PDF'ler, videolar ve sesler desteklenen dosya türleri arasındadır. Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.
Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.
Akış
Model oluşturma işleminin sonucunun tamamını beklemek yerine kısmi sonuçları işlemek için akış özelliğini kullanarak daha hızlı etkileşimler elde edebilirsiniz.
Akış olmadan
Alternatif olarak, aktarmak yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma sürecini tamamladıktan sonra döndürülür.
Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.
Metin ve birden fazla resimden metin oluşturma
Bu örneği denemeden önce bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API işlevini hem metin hem de birden fazla dosya (bu örnekte gösterildiği gibi resimler gibi) içeren çok modaliteli istemlerle çağırabilirsiniz. Bu aramalar için çok formatlı istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Resimler, PDF'ler, videolar ve sesler desteklenen dosya türleri arasındadır. Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.
Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.
Akış
Model oluşturma işleminin sonucunun tamamını beklemek yerine kısmi sonuçları işlemek için akış özelliğini kullanarak daha hızlı etkileşimler elde edebilirsiniz.
Akış olmadan
Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model, oluşturma sürecinin tamamını tamamladıktan sonra döndürülür.
Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.
Metin ve videodan metin oluşturma
Bu örneği denemeden önce bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.
Gemini API'ü hem metin hem de tek bir video içeren çoklu formatlı istemlerle (bu örnekte gösterildiği gibi) çağırabilirsiniz. Bu aramalar için çok formatlı istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.
Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.
Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.
Akış
Model oluşturma işleminin sonucunun tamamını beklemek yerine kısmi sonuçları işlemek için akış özelliğini kullanarak daha hızlı etkileşimler elde edebilirsiniz.
Akış olmadan
Alternatif olarak, aktarmak yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma sürecini tamamladıktan sonra döndürülür.
Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.
Giriş dosyaları için koşullar ve öneriler
Desteklenen dosya türleri, MIME türünün nasıl belirtileceği ve dosyalarınızın ve çok modlu isteklerinizin koşulları karşıladığından ve en iyi uygulamalara uyduğundan nasıl emin olacağınız hakkında bilgi edinmek için Vertex AI Gemini API için desteklenen giriş dosyaları ve koşullar başlıklı makaleyi inceleyin.
Başka neler yapabilirsiniz?
- Modele uzun istemler göndermeden önce jetonları nasıl sayacağınızı öğrenin.
- Cloud Storage URL'lerini kullanarak çok modlu isteklerinize büyük dosyalar ekleyebilmeniz için Cloud Storage for Firebase'ı ayarlayın. Dosyalar resim, PDF, video ve ses içerebilir.
- Gemini API'ı yetkisiz istemciler tarafından kötüye kullanıma karşı korumak için Firebase App Check oluşturma da dahil olmak üzere üretime hazırlanmaya başlayın.
Gemini API'ün diğer özelliklerini deneyin
- Çoklu katılımlı görüşmeler (sohbet) oluşturun.
- Yalnızca metin istemlerinden metin oluşturma
- Hem metin hem de çoklu modal istemlerden yapılandırılmış çıkış (JSON gibi) oluşturun.
- Üretken modelleri harici sistemlere ve bilgilere bağlamak için işlev çağırma özelliğini kullanın.
İçerik oluşturmayı nasıl kontrol edeceğinizi öğrenin
- En iyi uygulamalar, stratejiler ve örnek istemler dahil olmak üzere istem tasarımını anlama
- Sıcaklık ve maksimum çıkış jetonu gibi model parametrelerini yapılandırın.
- Zararlı olarak değerlendirilebilecek yanıtlar alma olasılığını ayarlamak için güvenlik ayarlarını kullanın.
Gemini modelleri hakkında daha fazla bilgi
Çeşitli kullanım alanları için kullanılabilen modeller ve bunların kotaları ile fiyatlandırması hakkında bilgi edinin.Vertex AI in Firebase ile ilgili deneyiminiz hakkında geri bildirim verme