File di input supportati e requisiti

Quando chiami l'Gemini API dalla tua app utilizzando un SDK Firebase AI Logic, puoi chiedere al modello Gemini di generare testo in base a un input multimodale, come immagini, video, audio e documenti (come i PDF).

Devi utilizzare tipi di file supportati, specificare un tipo MIME supportato e assicurarti che i file e le richieste multimodali soddisfino i requisiti e seguano le best practice.

Questa pagina è specifica per l'utilizzo di un GenerativeModel e descrive quanto segue:

Opzioni per fornire file nelle richieste multimodali

Seleziona il tuo provider dell'API Gemini per visualizzare i contenuti specifici del provider in questa pagina

In ogni richiesta multimodale, devi sempre fornire quanto segue:

Le dimensioni e il numero di file che puoi fornire nella richiesta dipendono dal tipo di file di input, dal modo in cui fornisci il file e dal modello utilizzato (per i dettagli, consulta la sezione di ciascun tipo di file di input in questa pagina).

Opzione 1: fornisci il file come dati incorporati

Tieni presente quanto segue in merito ai file forniti come dati incorporati:

  • Solo i file di piccole dimensioni possono essere inviati come dati incorporati perché il limite di dimensioni totali della richiesta è di 20 MB.

  • Il file viene codificato in base64 durante il transito (il che aumenta le dimensioni del file).

Per un esempio che mostra come includere un file come dati incorporati, consulta Genera testo da input di testo e file (multimodale). Tieni presente che gli SDK per le piattaforme Android e Apple possono gestire le immagini incorporate nelle richieste senza dover specificare il tipo MIME. Scopri di più.

Opzione 2: fornisci il file utilizzando un URL

Di seguito sono riportati i tipi di URL accettabili quando utilizzi Gemini Developer API:

  • URL del video di YouTube: il video di YouTube deve essere pubblico o non in elenco.

    Puoi specificare un URL di un video di YouTube per richiesta.


Google Immagini: requisiti, best practice e limitazioni

Google Immagini: requisiti

In questa sezione vengono illustrati i tipi MIME supportati e i limiti per richiesta per le immagini.

Tipi MIME supportati

I modelli multimodali Gemini supportano i seguenti tipi MIME di immagini:

  • PNG - image/png
  • JPEG - image/jpeg
  • WebP - image/webp

Limiti per richiesta

Non esiste un limite specifico al numero di pixel di un'immagine. Tuttavia, le immagini più grandi vengono ridotte e riempite per adattarsi a una risoluzione massima di 3072 x 3072, mantenendo le proporzioni originali.

Numero massimo di file per richiesta: 3000 file immagine

Immagini: Tokenizzazione

Ecco come vengono calcolati i token per le immagini:

  • Se entrambe le dimensioni di un'immagine sono inferiori o uguali a 384 pixel, vengono utilizzati 258 token.
  • Se una dimensione di un'immagine è superiore a 384 pixel, l'immagine viene ritagliata in riquadri. La dimensione predefinita di ogni riquadro è la dimensione più piccola (larghezza o altezza) divisa per 1,5. Se necessario, ogni riquadro viene regolato in modo che non sia inferiore a 256 pixel e non superiore a 768 pixel. Ogni riquadro viene quindi ridimensionato a 768 x 768 e utilizza 258 token.

Google Immagini: best practice

Quando utilizzi le immagini, segui queste best practice e informazioni per ottenere i risultati migliori:

  • Se vuoi rilevare il testo in un'immagine, utilizza prompt con una singola immagine per ottenere risultati migliori rispetto ai prompt con più immagini.
  • Se il prompt contiene una singola immagine, posizionala prima del prompt testuale nella richiesta.
  • Se il prompt contiene più immagini e vuoi fare riferimento a queste in un secondo momento nel prompt o fare in modo che il modello faccia riferimento a queste nella risposta, può essere utile assegnare un indice a ogni immagine prima dell'immagine. Utilizza a b c o image 1 image 2 image 3 per l'indice. Di seguito è riportato un esempio di utilizzo di immagini indicizzate in un prompt: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Utilizza immagini con una risoluzione più alta, che offrono risultati migliori.
  • Includi alcuni esempi nel prompt.
  • Ruota le immagini nell'orientamento corretto prima di aggiungerle al prompt.
  • Evita immagini sfocate.

Google Immagini: limitazioni

Sebbene i modelli multimodali Gemini siano efficaci in molti casi d'uso multimodali, è importante comprenderne i limiti:

  • Moderazione dei contenuti: i modelli si rifiutano di fornire risposte su immagini che violano le nostre norme di sicurezza.
  • Ragionamento spaziale: i modelli non sono precisi nell'individuare testo o oggetti nelle immagini. Potrebbero restituire solo i conteggi approssimativi degli oggetti.
  • Usi medici: i modelli non sono adatti per interpretare immagini mediche (ad esempio radiografie e tomografie) o per fornire consulenza medica.
  • Riconoscimento delle persone: i modelli non sono destinati a essere utilizzati per identificare nelle immagini persone che non sono celebrità.
  • Precisione: i modelli potrebbero avere allucinazioni o commettere errori durante l'interpretazione di immagini di bassa qualità, ruotate o con una risoluzione estremamente bassa. I modelli potrebbero anche generare allucinazioni durante l'interpretazione del testo scritto a mano nei documenti di immagini.


Video: requisiti, best practice e limitazioni

Video: Requisiti

In questa sezione, scopri i tipi MIME supportati e i limiti per richiesta per i video.

Tipi MIME supportati

I modelli multimodali Gemini supportano i seguenti tipi MIME di video:

  • FLV - video/x-flv
  • MOV - video/quicktime
  • MPEG - video/mpeg
  • MPEGPS - video/mpegps
  • MPG - video/mpg
  • MP4 - video/mp4
  • WEBM - video/webm
  • WMV - video/wmv
  • 3GPP - video/3gpp

Limiti per richiesta

Numero massimo di file per richiesta: 10 file video

Video: Tokenizzazione

Ecco come vengono calcolati i token per i video:

  • La traccia audio è codificata con i fotogrammi video. Anche la traccia audio è suddivisa in segmenti di 1 secondo, ciascuno dei quali corrisponde a 32 token. I token dei frame video e dell'audio sono intercalati insieme ai relativi timestamp. I timestamp sono rappresentati come 5 token.
  • Per i video campionati a 1 frame al secondo (fps) o meno, i timestamp per la prima ora di video sono rappresentati come 5 token per frame video. I timestamp rimanenti sono rappresentati come 7 token per frame video.
  • Per i video campionati a più di 1 frame al secondo (fps), i timestamp della prima ora di video sono rappresentati come 9 token per frame video. I timestamp rimanenti sono rappresentati come 11 token per frame video.

Video: best practice

Quando utilizzi i video, segui queste best practice e informazioni per ottenere i risultati migliori:

  • Se il prompt contiene un singolo video, posizionalo prima del prompt testuale.
  • Se hai bisogno della localizzazione dei timestamp in un video con audio, chiedi al modello di generare timestamp che seguono il formato descritto in "Formato dei timestamp".

Video: limitazioni

Sebbene i modelli multimodali Gemini siano efficaci in molti casi d'uso multimodali, è importante comprenderne i limiti:

  • Moderazione dei contenuti: i modelli si rifiutano di fornire risposte su video che violano le nostre norme di sicurezza.
  • Riconoscimento di suoni non vocali: i modelli che supportano l'audio potrebbero commettere errori nel riconoscimento di suoni non vocali.


Audio: requisiti e limitazioni

Audio: requisiti

In questa sezione vengono illustrati i tipi MIME supportati e i limiti per richiesta per l'audio.

Tipi MIME supportati

I modelli multimodali Gemini supportano i seguenti tipi MIME audio:

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • MPA - audio/m4a
  • MPEG - audio/mpeg
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • PCM - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

Limiti per richiesta

Numero massimo di file per richiesta: 1 file audio

Audio: limitazioni

Sebbene i modelli multimodali Gemini siano efficaci in molti casi d'uso multimodali, è importante comprenderne i limiti:

  • Riconoscimento di suoni non vocali: i modelli che supportano l'audio potrebbero commettere errori nel riconoscimento di suoni non vocali.
  • Timestamp solo audio: per generare con precisione i timestamp per i file solo audio, devi configurare il parametro audio_timestamp in generation_config.


Documenti (come i PDF): requisiti, best practice e limitazioni

Documenti: requisiti

In questa sezione, scopri i tipi MIME supportati e i limiti per richiesta per i documenti (come i PDF).

Tipi MIME supportati

I modelli multimodali Gemini supportano i seguenti tipi MIME di documenti:

  • PDF - application/pdf
  • Testo - text/plain

Limiti per richiesta

I PDF vengono trattati come immagini, quindi una singola pagina di un PDF viene trattata come un'immagine. Il numero di pagine consentite in un prompt è limitato al numero di immagini che i modelli multimodali Gemini possono supportare.

  • Numero massimo di file per richiesta: 3000 file
  • Numero massimo di pagine per file: 1000 pagine per file
  • Dimensione massima per file: 50 MB per file

Documenti: tokenizzazione

Tokenizzazione dei PDF

I PDF vengono trattati come immagini, quindi ogni pagina di un PDF viene tokenizzata allo stesso modo di un'immagine.

Inoltre, il costo dei PDF segue i prezzi delle immagini Gemini. Ad esempio, se includi un PDF di due pagine in una chiamata API Gemini, ti verrà addebitata una tariffa di input per l'elaborazione di due immagini.

Documenti: best practice

Quando utilizzi i PDF, segui queste best practice e informazioni per ottenere i risultati migliori:

  • Se il prompt contiene un singolo PDF, inserisci il PDF prima del prompt testuale nella richiesta.
  • Se hai un documento lungo, valuta la possibilità di suddividerlo in più PDF per elaborarlo.
  • Utilizza PDF creati con testo visualizzato come testo anziché utilizzare testo in immagini scansionate. Questo formato garantisce che il testo sia leggibile da macchina, in modo che sia più facile per il modello modificarlo, cercarlo e manipolarlo rispetto ai PDF di immagini scansionate. Questa pratica fornisce risultati ottimali quando si lavora con documenti con molto testo, come i contratti.

Documenti: limitazioni

Sebbene i modelli multimodali Gemini siano efficaci in molti casi d'uso multimodali, è importante comprenderne i limiti:

  • Ragionamento spaziale: i modelli non sono precisi nell'individuare testo o oggetti nei PDF. Potrebbero restituire solo i conteggi approssimativi degli oggetti.
  • Accuratezza: i modelli potrebbero generare allucinazioni durante l'interpretazione del testo scritto a mano nei documenti PDF.