Quando chiami Gemini API dalla tua app utilizzando un SDK Vertex AI in Firebase, puoi chiedere al modello Gemini di generare del testo in base a un input multimodale. I prompt multimodali possono includere più modalità (o tipi di input), come testo, immagini, PDF, file di testo normale, video e audio.
In ogni richiesta multimodale devi sempre fornire quanto segue:
Il file è
mimeType. Scopri i tipi MIME supportati di ciascun file di input.Il file. Puoi fornire il file come dati in linea (come mostrato in questa pagina) o utilizzando il relativo URL o URI.
Per testare e eseguire l'iterazione sui prompt multimodali, ti consigliamo di utilizzare Vertex AI Studio.
Altre opzioni per lavorare con Gemini API
Facoltativamente, puoi provare una versione alternativa "Google AI" di Gemini API
per ottenere l'accesso senza costi (entro i limiti e se disponibile) utilizzando gli SDK client Google AI Studio e Google AI. Questi SDK devono essere utilizzati solo per la creazione di prototipi nelle app mobile e web.Dopo aver acquisito familiarità con il funzionamento di un Gemini API, esegui la migrazione ai nostri SDK Vertex AI in Firebase (questa documentazione), che offrono molte funzionalità aggiuntive importanti per le app mobile e web, come la protezione dell'API da usi impropri tramite Firebase App Check e il supporto per file multimediali di grandi dimensioni nelle richieste.
Se vuoi, chiama Vertex AI Gemini API lato server (ad esempio con Python, Node.js o Go)
Utilizza gli SDK Vertex AI lato server, Genkit o Firebase Extensions per Gemini API.
Prima di iniziare
Se non l'hai ancora fatto, consulta la
guida introduttiva, che descrive come configurare il progetto Firebase, collegare l'app a Firebase, aggiungere l'SDK, inizializzare il servizio Vertex AI e creare un'istanza GenerativeModel.
Genera testo da testo e una singola immagine Genera testo da testo e più immagini Genera testo da testo e un video
File multimediali di esempio
Se non hai già file multimediali, puoi utilizzare i seguenti file disponibili pubblicamente. Poiché questi file sono archiviati in bucket non presenti nel progetto Firebase, devi utilizzare il formato https://storage.googleapis.com/BUCKET_NAME/PATH/TO/FILE per l'URL.
Immagine:
https://storage.googleapis.com/cloud-samples-data/generative-ai/image/scones.jpgcon un tipo MIMEimage/jpeg. Visualizza o scarica questa immagine.PDF:
https://storage.googleapis.com/cloud-samples-data/generative-ai/pdf/2403.05530.pdfcon un tipo MIMEapplication/pdf. Visualizza o scarica questo PDF.Video:
https://storage.googleapis.com/cloud-samples-data/video/animals.mp4con un tipo MIMEvideo/mp4. Visualizza o scarica questo video.Audio:
https://storage.googleapis.com/cloud-samples-data/generative-ai/audio/pixel.mp3con un tipo MIMEaudio/mp3. Ascolta o scarica questo audio.
Genera testo da testo e una singola immagine
Prima di provare questo esempio, assicurati di aver completato la sezione Prima di iniziare di questa guida.
Puoi chiamare Gemini API con prompt multimodali che includono sia il testo sia un singolo file (ad esempio un'immagine, come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i contenuti multimediali nei prompt (ad esempio Gemini 2.0 Flash).
Assicurati di esaminare i requisiti e i consigli per i file di input.
Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta fino a quando non viene generato l'intero risultato (generateContent).
Puoi ottenere interazioni più rapide non aspettando l'intero risultato della generazione del modello, ma utilizzando lo streaming per gestire i risultati parziali.
In alternativa, puoi attendere l'intero risultato anziché lo streaming. Il risultato viene restituito solo dopo che il modello ha completato l'intero processo di generazione.
Scopri come scegliere un modello e, facoltativamente, una località appropriata per il tuo caso d'uso e la tua app.
Genera testo da testo e più immagini
Prima di provare questo esempio, assicurati di aver completato la sezione Prima di iniziare di questa guida.
Puoi chiamare Gemini API con prompt multimodali che includono sia testo che più file (ad esempio immagini, come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i contenuti multimediali nei prompt (ad esempio Gemini 2.0 Flash).
Assicurati di esaminare i requisiti e i consigli per i file di input.
Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta fino a quando non viene generato l'intero risultato (generateContent).
Puoi ottenere interazioni più rapide non aspettando l'intero risultato della generazione del modello, ma utilizzando lo streaming per gestire i risultati parziali.
In alternativa, puoi attendere l'intero risultato anziché lo streaming. Il risultato viene restituito solo al termine dell'intera procedura di generazione.
Scopri come scegliere un modello e, facoltativamente, una località appropriata per il tuo caso d'uso e la tua app.
Genera testo da testo e un video
Prima di provare questo esempio, assicurati di aver completato la sezione Prima di iniziare di questa guida.
Puoi chiamare Gemini API con prompt multimodali che includono sia file di testo che video (come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i contenuti multimediali nei prompt (ad esempio Gemini 2.0 Flash).
Assicurati di esaminare i requisiti e i consigli per i file di input.
Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta fino a quando non viene generato l'intero risultato (generateContent).
Puoi ottenere interazioni più rapide non aspettando l'intero risultato della generazione del modello, ma utilizzando lo streaming per gestire i risultati parziali.
In alternativa, puoi attendere l'intero risultato anziché lo streaming. Il risultato viene restituito solo dopo che il modello ha completato l'intero processo di generazione.
Scopri come scegliere un modello e, facoltativamente, una località appropriata per il tuo caso d'uso e la tua app.
Requisiti e consigli per i file di input
Consulta File di input supportati e requisiti per Vertex AI Gemini API per scoprire di più su quanto segue:
- Diverse opzioni per fornire un file in una richiesta
- Tipi di file supportati
- Tipi MIME supportati e come specificarli
- Requisiti e best practice per file e richieste multimodali
Cos'altro puoi fare?
- Scopri come contare i token prima di inviare prompt lunghi al modello.
- Configura Cloud Storage for Firebase in modo da poter includere file di grandi dimensioni nelle richieste multimodali e avere una soluzione più gestita per fornire file nei prompt. I file possono includere immagini, PDF, video e audio.
- Inizia a pensare alla preparazione per la produzione, inclusa la configurazione di Firebase App Check per proteggere il Gemini API da abusi da parte di clienti non autorizzati. Inoltre, assicurati di consultare l'elenco di controllo per la produzione.
Provare altre funzionalità
- Crea conversazioni a più turni (chat).
- Genera testo da prompt di solo testo.
- Genera output strutturato (come JSON) da prompt di testo e multimodali.
- Genera immagini da prompt di testo.
- Utilizza le chiamate di funzione per collegare i modelli generativi a sistemi e informazioni esterni.
Scopri come controllare la generazione di contenuti
- Comprendi la progettazione dei prompt, tra cui le best practice, le strategie e i prompt di esempio.
- Configura i parametri del modello, ad esempio la temperatura e il numero massimo di token di output (per Gemini) o le proporzioni e la generazione di persone (per Imagen).
- Utilizza le impostazioni di sicurezza per regolare la probabilità di ricevere risposte che potrebbero essere considerate dannose.
Scopri di più sui modelli supportati
Scopri i modelli disponibili per vari casi d'uso e le relative quote e prezzi.Inviare un feedback sulla tua esperienza con Vertex AI in Firebase