Generare testo da prompt multimodali utilizzando l'API Gemini


Quando chiami Gemini API dalla tua app utilizzando un SDK Vertex AI in Firebase, puoi chiedere al modello Gemini di generare testo in base a un input multimodale. I prompt multimodali possono includere più modalità (o tipi di input), come testo, immagini, PDF, video e audio.

Per eseguire test e iterazioni di prompt multimodali, ti consigliamo di utilizzare Vertex AI Studio.

Prima di iniziare

Se non l'hai ancora fatto, completa la guida introduttiva agli SDK Vertex AI in Firebase. Assicurati di aver eseguito tutte le seguenti operazioni:

  1. Imposta un progetto Firebase nuovo o esistente, incluso l'utilizzo del piano tariffario Blaze e l'abilitazione delle API richieste.

  2. Collega la tua app a Firebase, inclusa la registrazione e l'aggiunta della configurazione Firebase.

  3. Aggiungi l'SDK e inizializza il servizio Vertex AI e il modello generativo nella tua app.

Dopo aver collegato l'app a Firebase, aggiunto l'SDK e inizializzato il servizio Vertex AI e il modello generativo, puoi chiamare Gemini API.

Genera testo da testo e una singola immagine

Prima di provare questo esempio, assicurati di aver completato la sezione Prima di iniziare di questa guida.

Puoi chiamare Gemini API con prompt multimodali che includono sia testo sia un singolo file (come un'immagine, come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i prompt multimodali (come Gemini 1.5 Pro).

I file supportati includono immagini, PDF, video, audio e altri ancora. Assicurati di rivedere i requisiti e i consigli per i file di input.

Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta fino a quando non viene generato l'intero risultato (generateContent).

Streaming

Puoi ottenere interazioni più rapide non attendere l'intero risultato dalla generazione del modello e utilizzare invece la modalità flusso per gestire i risultati parziali.

Senza streaming

In alternativa, puoi attendere l'intero risultato anziché il flusso di dati. Il risultato viene restituito solo dopo che il modello ha completato l'intero processo di generazione.

Scopri come scegliere un modello Gemini e, facoltativamente, una posizione appropriata per il tuo caso d'uso e la tua app.

Genera testo dal testo e da più immagini

Assicurati di aver completato la sezione Prima di iniziare di questa guida prima di provare questo esempio.

Puoi chiamare Gemini API con prompt multimodali che includono sia testo che più file (ad esempio immagini, come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i prompt multimodali (come Gemini 1.5 Pro).

I file supportati includono immagini, PDF, video, audio e altro ancora. Assicurati di rivedere i requisiti e i consigli per i file di input.

Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta fino a quando non viene generato l'intero risultato (generateContent).

Streaming

Puoi ottenere interazioni più rapide non attendere l'intero risultato dalla generazione del modello e utilizzare invece la modalità flusso per gestire i risultati parziali.

Senza streaming

In alternativa, puoi attendere l'intero risultato anziché lo streaming. Il risultato viene restituito solo al termine dell'intera procedura di generazione.

Scopri come scegliere un modello Gemini e, facoltativamente, una posizione appropriata per il tuo caso d'uso e la tua app.

Genera testo da testo e un video

Prima di provare questo esempio, assicurati di aver completato la sezione Prima di iniziare di questa guida.

Puoi chiamare Gemini API con prompt multimodali che includono sia testo che un singolo video (come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i prompt multimodali (come Gemini 1.5 Pro).

Assicurati di rivedere i requisiti e i consigli per i file di input.

Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta fino a quando non viene generato l'intero risultato (generateContent).

Streaming

Puoi ottenere interazioni più rapide non aspettando l'intero risultato della generazione del modello, ma utilizzando lo streaming per gestire i risultati parziali.

Senza streaming

In alternativa, puoi attendere l'intero risultato anziché il flusso di dati. Il risultato viene restituito solo dopo che il modello ha completato l'intero processo di generazione.

Scopri come scegliere un modello Gemini e, facoltativamente, una località appropriata per il caso d'uso e l'app.

Requisiti e consigli per i file di input

Per informazioni sui tipi di file supportati, su come specificare il tipo MIME e su come assicurarti che i file e le richieste multimodali soddisfino i requisiti e le best practice, consulta File di input supportati e requisiti per Vertex AI Gemini API.

Cos'altro puoi fare?

  • Scopri come contare i token prima di inviare prompt lunghi al modello.
  • Configura Cloud Storage for Firebase in modo da poter includere file di grandi dimensioni nelle richieste multimodali utilizzando gli URL Cloud Storage. I file possono includere immagini, PDF, video e audio.
  • Inizia a pensare alla preparazione per la produzione, inclusa la configurazione di Firebase App Check per proteggere il Gemini API da abusi da parte di clienti non autorizzati.

Provare altre funzionalità di Gemini API

Scopri come controllare la generazione di contenuti

Puoi anche sperimentare con i prompt e le configurazioni del modello utilizzando Vertex AI Studio.

Scopri di più sui modelli Gemini

Scopri i modelli disponibili per vari casi d'uso e le relative quote e prezzi.


Inviare un feedback sulla tua esperienza con Vertex AI in Firebase