Generare testo da prompt multimodali utilizzando l'API Gemini


Quando chiami Gemini API dalla tua app utilizzando un SDK Vertex AI in Firebase, puoi chiedere al modello Gemini di generare del testo in base a un input multimodale. I prompt multimodali possono includere più modalità (o tipi di input), come testo, immagini, PDF, file di testo normale, video e audio.

In ogni richiesta multimodale devi sempre fornire quanto segue:

Per testare e eseguire l'iterazione sui prompt multimodali, ti consigliamo di utilizzare Vertex AI Studio.

Prima di iniziare

Se non l'hai ancora fatto, consulta la guida introduttiva agli SDK Vertex AI in Firebase. Assicurati di aver eseguito tutte le seguenti operazioni:

  1. Configura un progetto Firebase nuovo o esistente, ad esempio utilizzando il piano di prezzi Blaze e attivando le API richieste.

  2. Connetti la tua app a Firebase, inclusa la registrazione e l'aggiunta della configurazione Firebase.

  3. Aggiungi l'SDK e inizializza il servizio Vertex AI e il modello generativo nella tua app.

Dopo aver collegato l'app a Firebase, aggiunto l'SDK e inizializzato il servizio Vertex AI e il modello generativo, puoi chiamare Gemini API.

Genera testo da testo e una singola immagine Genera testo da testo e più immagini Genera testo da testo e un video

File multimediali di esempio

Se non hai già file multimediali, puoi utilizzare i seguenti file disponibili pubblicamente. Poiché questi file sono archiviati in bucket che non si trovano nel tuo progetto Firebase, devi utilizzare il formato https://storage.googleapis.com/BUCKET_NAME/PATH/TO/FILE per l'URL.

Genera testo da testo e una singola immagine

Prima di provare questo esempio, assicurati di aver completato la sezione Prima di iniziare di questa guida.

Puoi chiamare Gemini API con prompt multimodali che includono sia il testo sia un singolo file (ad esempio un'immagine, come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i contenuti multimediali nei prompt (ad esempio Gemini 2.0 Flash).

Assicurati di rivedere i requisiti e i consigli per i file di input.

Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta finché non viene generato l'intero risultato (generateContent).

Streaming Senza streaming

Puoi ottenere interazioni più rapide non aspettando l'intero risultato della generazione del modello, ma utilizzando lo streaming per gestire i risultati parziali.

Questo esempio mostra come utilizzare generateContentStream() per eseguire lo streaming del testo generato da una richiesta di prompt multimodale che include testo e una singola immagine:

import FirebaseVertexAI

// Initialize the Vertex AI service
let vertex = VertexAI.vertexAI()

// Initialize the generative model with a model that supports your use case
let model = vertex.generativeModel(modelName: "gemini-2.0-flash")

guard let image = UIImage(systemName: "bicycle") else { fatalError() }

// Provide a text prompt to include with the image
let prompt = "What's in this picture?"

// To stream generated text output, call generateContentStream and pass in the prompt
let contentStream = try model.generateContentStream(image, prompt)
for try await chunk in contentStream {
  if let text = chunk.text {
    print(text)
  }
}

In alternativa, puoi attendere l'intero risultato anziché lo streaming. Il risultato viene restituito solo dopo che il modello ha completato l'intero processo di generazione.

Questo esempio mostra come utilizzare generateContent() per generare testo da una richiesta di prompt multimodale che include testo e una singola immagine:

import FirebaseVertexAI

// Initialize the Vertex AI service
let vertex = VertexAI.vertexAI()

// Initialize the generative model with a model that supports your use case
let model = vertex.generativeModel(modelName: "gemini-2.0-flash")

guard let image = UIImage(systemName: "bicycle") else { fatalError() }

// Provide a text prompt to include with the image
let prompt = "What's in this picture?"

// To generate text output, call generateContent and pass in the prompt
let response = try await model.generateContent(image, prompt)
print(response.text ?? "No text in response.")

Scopri come scegliere un modello e, facoltativamente, una località appropriata per il tuo caso d'uso e la tua app.

Genera testo da testo e più immagini

Prima di provare questo esempio, assicurati di aver completato la sezione Prima di iniziare di questa guida.

Puoi chiamare Gemini API con prompt multimodali che includono sia testo che più file (come le immagini, come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i contenuti multimediali nei prompt (ad esempio Gemini 2.0 Flash).

Assicurati di rivedere i requisiti e i consigli per i file di input.

Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta finché non viene generato l'intero risultato (generateContent).

Streaming Senza streaming

Puoi ottenere interazioni più rapide non aspettando l'intero risultato della generazione del modello, ma utilizzando lo streaming per gestire i risultati parziali.

Questo esempio mostra come utilizzare generateContentStream() per riprodurre in streaming il testo generato da una richiesta di prompt multimodale che include testo e più immagini:

import FirebaseVertexAI

// Initialize the Vertex AI service
let vertex = VertexAI.vertexAI()

// Initialize the generative model with a model that supports your use case
let model = vertex.generativeModel(modelName: "gemini-2.0-flash")

guard let image1 = UIImage(systemName: "car") else { fatalError() }
guard let image2 = UIImage(systemName: "car.2") else { fatalError() }

// Provide a text prompt to include with the images
let prompt = "What's different between these pictures?"

// To stream generated text output, call generateContentStream and pass in the prompt
let contentStream = try model.generateContentStream(image1, image2, prompt)
for try await chunk in contentStream {
  if let text = chunk.text {
    print(text)
  }
}

In alternativa, puoi attendere l'intero risultato anziché lo streaming. Il risultato viene restituito solo al termine dell'intera procedura di generazione.

Questo esempio mostra come utilizzare generateContent() per generare testo da una richiesta di prompt multimodale che include testo e più immagini:

import FirebaseVertexAI

// Initialize the Vertex AI service
let vertex = VertexAI.vertexAI()

// Initialize the generative model with a model that supports your use case
let model = vertex.generativeModel(modelName: "gemini-2.0-flash")

guard let image1 = UIImage(systemName: "car") else { fatalError() }
guard let image2 = UIImage(systemName: "car.2") else { fatalError() }

// Provide a text prompt to include with the images
let prompt = "What's different between these pictures?"

// To generate text output, call generateContent and pass in the prompt
let response = try await model.generateContent(image1, image2, prompt)
print(response.text ?? "No text in response.")

Scopri come scegliere un modello e, facoltativamente, una località appropriata per il tuo caso d'uso e la tua app.

Genera testo da testo e un video

Prima di provare questo esempio, assicurati di aver completato la sezione Prima di iniziare di questa guida.

Puoi chiamare Gemini API con prompt multimodali che includono sia file di testo che video (come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i contenuti multimediali nei prompt (ad esempio Gemini 2.0 Flash).

Assicurati di rivedere i requisiti e i consigli per i file di input.

Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta finché non viene generato l'intero risultato (generateContent).

Streaming Senza streaming

Puoi ottenere interazioni più rapide non aspettando l'intero risultato della generazione del modello, ma utilizzando lo streaming per gestire i risultati parziali.

Questo esempio mostra come utilizzare generateContentStream() per trasmettere il testo generato da una richiesta di prompt multimodale che include testo e un singolo video:

import FirebaseVertexAI

// Initialize the Vertex AI service
let vertex = VertexAI.vertexAI()

// Initialize the generative model with a model that supports your use case
let model = vertex.generativeModel(modelName: "gemini-2.0-flash")

// Provide the video as `Data` with the appropriate MIME type
let video = InlineDataPart(data: try Data(contentsOf: videoURL), mimeType: "video/mp4")

// Provide a text prompt to include with the video
let prompt = "What is in the video?"

// To stream generated text output, call generateContentStream with the text and video
let contentStream = try model.generateContentStream(video, prompt)
for try await chunk in contentStream {
  if let text = chunk.text {
    print(text)
  }
}

In alternativa, puoi attendere l'intero risultato anziché lo streaming. Il risultato viene restituito solo dopo che il modello ha completato l'intero processo di generazione.

Questo esempio mostra come utilizzare generateContent() per generare testo da una richiesta di prompt multimodale che include testo e un singolo video:

import FirebaseVertexAI

// Initialize the Vertex AI service
let vertex = VertexAI.vertexAI()

// Initialize the generative model with a model that supports your use case
let model = vertex.generativeModel(modelName: "gemini-2.0-flash")

// Provide the video as `Data` with the appropriate MIME type.
let video = InlineDataPart(data: try Data(contentsOf: videoURL), mimeType: "video/mp4")

// Provide a text prompt to include with the video
let prompt = "What is in the video?"

// To generate text output, call generateContent with the text and video
let response = try await model.generateContent(video, prompt)
print(response.text ?? "No text in response.")

Scopri come scegliere un modello e, facoltativamente, una località appropriata per il tuo caso d'uso e la tua app.

Requisiti e consigli per i file di input

Consulta File di input supportati e requisiti per Vertex AI Gemini API per scoprire di più su quanto segue:

  • Diverse opzioni per fornire un file in una richiesta
  • Tipi di file supportati
  • Tipi MIME supportati e come specificarli
  • Requisiti e best practice per file e richieste multimodali

Cos'altro puoi fare?

Provare altre funzionalità di Gemini API

Scopri come controllare la generazione di contenuti

Puoi anche sperimentare con i prompt e le configurazioni del modello utilizzando Vertex AI Studio.

Scopri di più sui modelli supportati

Scopri i modelli disponibili per vari casi d'uso e le relative quote e prezzi.


Inviare un feedback sulla tua esperienza con Vertex AI in Firebase