Gemini {7}API'sini kullanarak çok modlu istemlerden metin oluşturun


Vertex AI in Firebase SDK'sını kullanarak uygulamanızdan Gemini API'ü çağırırken Gemini modelinden çok modlu girişe göre metin oluşturmasını isteyebilirsiniz. Çok modlu istemler; resimler, PDF'ler, video ve ses ile birlikte metin gibi birden çok modalite (veya giriş türü) içerebilir.

Çok modlu istemleri test etmek ve yinelemek için Vertex AI Studio kullanmanızı öneririz.

Başlamadan önce

Henüz yapmadıysanız Vertex AI in Firebase SDK'ları için başlangıç kılavuzunu tamamlayın. Aşağıdakilerin tümünü yaptığınızdan emin olun:

  1. Blaze fiyatlandırma planını kullanma ve gerekli API'leri etkinleştirme dahil olmak üzere yeni veya mevcut bir Firebase projesi oluşturun.

  2. Uygulamanızı kaydettirme ve Firebase yapılandırmanızı uygulamanıza ekleme dahil olmak üzere uygulamanızı Firebase'e bağlayın.

  3. SDK'yı ekleyip Vertex AI hizmetini ve üretken modeli uygulamanızda başlatın.

Uygulamanızı Firebase'e bağlayıp SDK'yı ekledikten, Vertex AI hizmetini ve üretken modeli başlattıktan sonra Gemini API öğesini çağırmaya hazırsınız demektir.

Metin ve tek bir resimden metin oluşturma

Bu örneği denemeden önce, bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.

Gemini API işlevini hem metin hem de tek bir dosya (bu örnekte gösterildiği gibi resim gibi) içeren çoklu modalite istemleriyle çağırabilirsiniz. Bu aramalar için çok formatlı istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.

Resimler, PDF'ler, videolar ve sesler desteklenen dosya türleri arasındadır. Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.

Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.

Akış

Model oluşturma işleminin sonucunun tamamını beklemek yerine kısmi sonuçları işlemek için akış özelliğini kullanarak daha hızlı etkileşimler elde edebilirsiniz.

Akış olmadan

Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür.

Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.

Metin ve birden fazla resimden metin oluşturma

Bu örneği denemeden önce bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.

Gemini API öğesini, hem metin hem de birden çok dosya (bu örnekte gösterildiği gibi resimler gibi) içeren çok modlu istemlerle çağırabilirsiniz. Bu çağrılar için çok modlu istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.

Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.

Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.

Akış

Model oluşturma işleminin sonucunun tamamını beklemeden, bunun yerine kısmi sonuçları işlemek için akışı kullanarak daha hızlı etkileşimler gerçekleştirebilirsiniz.

Akış olmadan

Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model, oluşturma sürecinin tamamını tamamladıktan sonra döndürülür.

Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.

Metin ve videodan metin oluştur

Bu örneği denemeden önce bu kılavuzun Başlamadan önce bölümünü tamamladığınızdan emin olun.

Gemini API'ü hem metin hem de tek bir video içeren çoklu formatlı istemlerle (bu örnekte gösterildiği gibi) çağırabilirsiniz. Bu aramalar için çok formatlı istemleri destekleyen bir model (ör. Gemini 1.5 Pro) kullanmanız gerekir.

Giriş dosyaları ile ilgili koşulları ve önerileri inceleyin.

Yanıtı akış şeklinde mi (generateContentStream) yoksa sonucun tamamı oluşturulana kadar mı (generateContent) beklemek istediğinizi seçin.

Akış

Model oluşturma işleminin sonucunun tamamını beklemek yerine kısmi sonuçları işlemek için akış özelliğini kullanarak daha hızlı etkileşimler elde edebilirsiniz.

Akış olmadan

Alternatif olarak, aktarmak yerine sonucun tamamını bekleyebilirsiniz. Sonuç yalnızca model tüm oluşturma sürecini tamamladıktan sonra döndürülür.

Kullanım alanınıza ve uygulamanıza uygun bir Gemini modelini ve isteğe bağlı olarak bir konum seçmeyi öğrenin.

Giriş dosyaları için koşullar ve öneriler

Desteklenen dosya türleri, MIME türünün nasıl belirtileceği ve dosyalarınızın ve çok modlu isteklerinizin koşulları karşıladığından ve en iyi uygulamalara uyduğundan nasıl emin olacağınız hakkında bilgi edinmek için Vertex AI Gemini API için desteklenen giriş dosyaları ve koşullar başlıklı makaleyi inceleyin.

Başka ne yapabilirsiniz?

Gemini API'ın diğer özelliklerini deneyin

İçerik oluşturmayı nasıl kontrol edeceğinizi öğrenin

Vertex AI Studio'i kullanarak istemler ve model yapılandırmalarıyla da denemeler yapabilirsiniz.

Gemini modelleri hakkında daha fazla bilgi

Çeşitli kullanım alanları için kullanılabilen modeller ve bunların kotaları ile fiyatlandırması hakkında bilgi edinin.


Vertex AI in Firebase ile ilgili deneyiminiz hakkında geri bildirim verin