File di input supportati e requisiti per l'API Vertex AI Gemini

Quando chiami Vertex AI Gemini API dalla tua app utilizzando un SDK Vertex AI in Firebase, puoi richiedere al modello Gemini di generare testo in base a un input multimodale. I prompt multimodali possono includere più modalità (o tipi di input), ad esempio testo insieme a immagini, PDF, video e audio.

Per le parti non testuali dell'input (come i file multimediali), devi utilizzare tipi di file supportati, specificare un tipo MIME supportato e assicurarti che i file e le richieste multimodali soddisfino i requisiti e seguano le best practice.

Questa pagina descrive i tipi MIME supportati, le best practice e le limitazioni per quanto riguarda:

Requisiti specifici degli SDK Vertex AI in Firebase

Per gli SDK Vertex AI in Firebase, la dimensione massima totale della richiesta è 20 MB. Ricevi un errore HTTP 413 se una richiesta è troppo grande.


Immagini: requisiti, best practice e limitazioni

Immagini: requisiti

In questa sezione vengono descritti i tipi MIME supportati e i limiti per richiesta di immagini.

Tipi MIME supportati

I modelli multimodali Gemini supportano i seguenti tipi MIME delle immagini:

Tipo MIME immagine Gemini 1.5 Flash Gemini 1.5 Pro Gemini 1.0 Pro Vision
PNG - image/png
JPEG - image/jpeg
WebP - image/webp

Limiti per richiesta

Non esiste un limite specifico al numero di pixel di un'immagine. Tuttavia, le immagini più grandi vengono ridimensionate e riempite per adattarsi a una risoluzione massima di 3072 x 3072 mantenendo le proporzioni originali.

Ecco il numero massimo di file immagine consentiti in una richiesta di prompt:

  • Gemini 1.0 Pro Vision: 16 immagini
  • Gemini 1.5 Flash e Gemini 1.5 Pro: 3000 immagini

Immagini: tokenizzazione

Ecco come vengono calcolati i token per le immagini:

  • Gemini 1.0 Pro Vision: ogni immagine corrisponde a 258 token.
  • Gemini 1.5 Flash e Gemini 1.5 Pro:
    • Se entrambe le dimensioni di un'immagine sono inferiori o uguali a 384 pixel, vengono utilizzati 258 token.
    • Se una dimensione di un'immagine è superiore a 384 pixel, l'immagine viene ritagliata in riquadri. Per impostazione predefinita, ogni dimensione del riquadro viene impostata sulla dimensione più piccola (larghezza o altezza) divisa per 1,5. Se necessario, ogni riquadro viene regolato in modo che non sia inferiore a 256 pixel e non superiore a 768 pixel. Ogni riquadro viene quindi ridimensionato a 768 x 768 e utilizza 258 token.

Immagini: best practice

Quando utilizzi le immagini, attieniti alle best practice e alle informazioni seguenti per ottenere risultati ottimali:

  • Se vuoi rilevare il testo in un'immagine, utilizza i prompt con una singola immagine per produrre risultati migliori rispetto ai prompt con più immagini.
  • Se il prompt contiene una singola immagine, posizionala prima del prompt di testo nella richiesta.
  • Se il prompt contiene più immagini e vuoi farvi riferimento in un secondo momento o fare in modo che il modello vi faccia riferimento nella risposta del modello, può essere utile assegnare un indice a ciascuna immagine prima dell'immagine. Utilizza a b c o image 1 image 2 image 3 per l'indice. Di seguito è riportato un esempio di utilizzo di immagini indicizzate in un prompt: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Utilizza immagini con risoluzione più elevata, che offrono risultati migliori.
  • Includi alcuni esempi nel prompt.
  • Ruota le immagini per orientarle correttamente prima di aggiungerle al prompt.
  • Evita immagini sfocate.

Immagini: limitazioni

Sebbene i modelli multimodali Gemini siano potenti in molti casi d'uso multimodali, è importante comprendere i limiti dei modelli:

  • Moderazione dei contenuti: i modelli si rifiutano di fornire risposte sulle immagini che violano le nostre norme sulla sicurezza.
  • Ragionamento spaziale: i modelli non sono precisi nel localizzare testo o oggetti nelle immagini. Potrebbero restituire solo i conteggi approssimativi degli oggetti.
  • Usi medici: i modelli non sono adatti per interpretare immagini mediche (ad esempio radiografie e tomografie) o per fornire consulenza medica.
  • Riconoscimento delle persone: i modelli non sono pensati per essere utilizzati per identificare persone che non sono celebrità nelle immagini.
  • Accuratezza: i modelli potrebbero avere allucinazioni o commettere errori nell'interpretazione di immagini di bassa qualità, ruotate o a risoluzione estremamente bassa. I modelli potrebbero anche avere allucinazioni durante l'interpretazione del testo scritto a mano nei documenti con immagini.


Video: requisiti, best practice e limitazioni

Video: requisiti

In questa sezione vengono descritti i tipi MIME supportati e i limiti per richiesta per i video.

Tipi MIME supportati

I modelli multimodali Gemini supportano i seguenti tipi MIME video:

Tipo MIME video Gemini 1.5 Flash Gemini 1.5 Pro Gemini 1.0 Pro Vision
FLV - video/x-flv
MOV - video/quicktime
MPEG - video/mpeg
MPEGPS - video/mpegps
MPG - video/mpg
MP4 - video/mp4
WEBM - video/webm
WMV - video/wmv
3GPP - video/3gpp

Limiti per richiesta

Ecco il numero massimo di file video consentiti in una richiesta di prompt:

  • Gemini 1.0 Pro Vision: 1 file video
  • Gemini 1.5 Flash e Gemini 1.5 Pro: 10 file video

Video: Tokenizzazione

Ecco come vengono calcolati i token per i video:

  • Tutti i modelli multimodali Gemini: i video vengono campionati a 1 frame al secondo (f/s). Ogni frame video rappresenta 258 token.
  • Gemini 1.5 Flash e Gemini 1.5 Pro: la traccia audio viene codificata con i frame video. La traccia audio è inoltre suddivisa in trunk di 1 secondo, ciascuno dei quali rappresenta 32 token. Il frame video e i token audio sono interlacciati con i rispettivi timestamp. I timestamp sono rappresentati da 7 token.

Video: best practice

Quando utilizzi i video, segui le best practice e le informazioni seguenti per ottenere i migliori risultati:

  • Se il prompt contiene un singolo video, posizionalo prima del prompt di testo.
  • Se hai bisogno di localizzazione dei timestamp in un video con audio, chiedi al modello di generare i timestamp nel formato MM:SS, in cui le prime due cifre rappresentano i minuti e le ultime due i secondi. Utilizza lo stesso formato per le domande che riguardano un timestamp.

  • Tieni presente quanto segue se utilizzi Gemini 1.0 Pro Vision:

    • Non utilizzare più di un video per prompt.
    • Il modello elabora solo le informazioni dei primi due minuti del video.
    • Il modello elabora i video come frame immagine non contigui del video. L'audio non è incluso. Se noti che al modello mancano alcuni contenuti del video, prova a renderlo più breve in modo che possa acquisire una porzione maggiore dei contenuti.
    • Il modello non elabora informazioni audio o metadati di timestamp. Per questo motivo, il modello potrebbe non funzionare bene nei casi d'uso che richiedono un input audio, come l'audio dei sottotitoli codificati o informazioni correlate al tempo, come velocità o ritmo.

Video: limitazioni

Sebbene i modelli multimodali Gemini siano potenti in molti casi d'uso multimodali, è importante comprendere i limiti dei modelli:

  • Moderazione dei contenuti: i modelli si rifiutano di fornire risposte sui video che violano le nostre norme sulla sicurezza.
  • Riconoscimento di suoni non vocali: i modelli che supportano l'audio potrebbero commettere errori nel riconoscimento di suoni diversi dalla voce.
  • Movimento ad alta velocità: i modelli potrebbero commettere errori nella comprensione dei movimenti ad alta velocità nei video a causa della frequenza di campionamento fissa di 1 frame al secondo (f/s).
  • Punteggiatura delle trascrizioni: (se utilizzi Gemini 1.5 Flash) i modelli potrebbero restituire trascrizioni che non includono punteggiatura.


Audio: requisiti e limitazioni

Audio: requisiti

In questa sezione vengono descritti i tipi MIME supportati e i limiti per richiesta di audio.

Tipi MIME supportati

I modelli multimodali Gemini supportano i seguenti tipi MIME audio:

Tipo MIME audio Gemini 1.5 Flash Gemini 1.5 Pro
AAC - audio/aac
FLAC - audio/flac
MP3 - audio/mp3
MPA - audio/m4a
MPEG - audio/mpeg
MPGA - audio/mpga
MP4 - audio/mp4
OPUS - audio/opus
PCM - audio/pcm
WAV - audio/wav
WEBM - audio/webm

Limiti per richiesta

Puoi includere un massimo di 1 file audio in una richiesta di prompt.

Audio: limitazioni

Sebbene i modelli multimodali Gemini siano potenti in molti casi d'uso multimodali, è importante comprendere i limiti dei modelli:

  • Riconoscimento di suoni non vocali: i modelli che supportano l'audio potrebbero commettere errori nel riconoscere i suoni non vocali.
  • Timestamp solo audio: per generare con precisione timestamp per i file di solo audio, devi configurare il parametro audio_timestamp in generation_config.
  • Punteggiatura delle trascrizioni: (se utilizzi Gemini 1.5 Flash) i modelli potrebbero restituire trascrizioni che non includono punteggiatura.


Documenti (come i PDF): requisiti, best practice e limitazioni.

Documenti: requisiti

In questa sezione scoprirai i tipi MIME supportati e i limiti per richiesta di documenti (come i PDF).

Tipi MIME supportati

I modelli multimodali Gemini supportano i seguenti tipi MIME di documenti:

Tipo MIME del documento Gemini 1.5 Flash Gemini 1.5 Pro Gemini 1.0 Pro Vision
PDF - application/pdf
Testo - text/plain

Limiti per richiesta

I PDF vengono trattati come immagini, quindi una singola pagina di un PDF viene considerata come un'unica immagine. Il numero di pagine consentite in un prompt è limitato al numero di immagini che il modello può supportare:

  • Gemini 1.0 Pro Vision: 16 pagine
  • Gemini 1.5 Pro e Gemini 1.5 Flash: 1000 pagine

Documenti: tokenizzazione

Tokenizzazione PDF

I PDF vengono trattati come immagini, quindi ogni pagina di un PDF viene tokenizzata come le immagini.

Inoltre, il costo dei PDF segue i prezzi delle immagini di Gemini. Ad esempio, se includi un PDF di due pagine in una chiamata API Gemini, ti viene addebitata una tariffa di input per l'elaborazione di due immagini.

Tokenizzazione testo normale

I documenti in testo normale vengono tokenizzati come testo. Ad esempio, se includi un documento di testo normale di 100 parole in una chiamata API Gemini, ti verrà addebitata una tariffa per l'elaborazione di 100 parole.

Documenti: best practice

Quando utilizzi i PDF, segui le best practice e le informazioni seguenti per ottenere risultati ottimali:

  • Se il prompt contiene un singolo PDF, inseriscilo prima del prompt di testo nella richiesta.
  • Se hai un documento lungo, valuta la possibilità di suddividerlo in più PDF per elaborarlo.
  • Utilizza i PDF creati con testo reso come testo anziché utilizzare testo nelle immagini scansionate. Questo formato garantisce che il testo sia leggibile dalle macchine in modo che sia più facile per il modello modificare, cercare e manipolare il modello rispetto ai PDF di immagini scansionati. Questa prassi offre risultati ottimali quando si lavora con documenti con molto testo, come i contratti.

Documenti: limitazioni

Sebbene i modelli multimodali di Gemini siano efficaci in molti casi di utilizzo multimodale, è importante comprendere i loro limiti:

  • Ragionamento spaziale: i modelli non sono precisi nel localizzare testo o oggetti nei PDF. Potrebbero restituire solo i conteggi approssimativi degli oggetti.
  • Accuratezza: i modelli potrebbero avere allucinazioni quando si interpretano il testo scritto a mano nei documenti PDF.