Quando chiami Gemini API dalla tua app utilizzando un SDK Vertex AI in Firebase, puoi richiedere al modello Gemini di generare testo in base a un input multimodale. I prompt multimodali possono includere più modalità (o tipi di input), ad esempio testo insieme a immagini, PDF, video e audio.
Per eseguire test e iterazioni di prompt multimodali, consigliamo di utilizzare Vertex AI Studio
Prima di iniziare
Se non l'hai già fatto, completa la Guida introduttiva per gli SDK Vertex AI in Firebase. Assicurati di aver eseguito tutte le seguenti operazioni:
Configura un progetto Firebase nuovo o esistente, ad esempio utilizzando il piano di prezzi Blaze e attivando le API richieste.
Collega la tua app a Firebase, registrandola e aggiungendo di Firebase alla tua app.
Aggiungi l'SDK e inizializza il servizio Vertex AI e il modello generativo all'interno dell'app.
Dopo aver collegato l'app a Firebase, aggiunto l'SDK e inizializzato Vertex AI e il modello generativo, puoi chiamare il Gemini API.
- Genera testo dal testo e da una singola immagine
- Generare testo da testo e più immagini
- Generare testo da un testo e da un video
Genera testo da testo e una singola immagine
Assicurati di aver completato la sezione Prima di iniziare di questa guida prima di provare questo esempio.
Puoi chiamare Gemini API con prompt multimodali che includono sia testo che un singolo file (come un'immagine, come mostrato in questo esempio). Per questi devi utilizzare un modello che supporti prompt multimodali (come Gemini 1.5 Pro).
I file supportati includono immagini, PDF, video, audio e altri ancora. Assicurati di esaminare requisiti e suggerimenti per i file di input.
Scegli se vuoi riprodurre la risposta in streaming (generateContentStream) o attendere la risposta fino a quando non viene generato l'intero risultato (generateContent).
Streaming
Per ottenere interazioni più rapide, non attendere l'intero risultato la generazione del modello, ma usa la modalità flusso per gestire i risultati parziali.
Senza streaming
In alternativa, puoi attendere l'intero risultato anziché lo streaming. Il risultato viene restituito solo dopo che il modello ha completato l'intero processo di generazione.
Scopri come scegliere un modello Gemini e, facoltativamente, una località appropriati per il caso d'uso e l'app.
Genera testo da testo e più immagini
Assicurati di aver completato la sezione Prima di iniziare di questa guida prima di provare questo esempio.
Puoi chiamare Gemini API con prompt multimodali che includono sia di testo sia più file (come le immagini, come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i prompt multimodali (come Gemini 1.5 Pro).
I file supportati includono immagini, PDF, video, audio e altro ancora. Assicurati di rivedere i requisiti e i consigli per i file di input.
Scegli se vuoi trasmettere la risposta in streaming (generateContentStream) o attendi
per la risposta finché non viene generato l'intero risultato (generateContent).
Streaming
Per ottenere interazioni più rapide, non attendere l'intero risultato la generazione del modello, ma usa la modalità flusso per gestire i risultati parziali.
Senza streaming
In alternativa, puoi attendere l'intero risultato anziché flussi di dati; il risultato viene restituito solo dopo che il modello ha completato l'intero di machine learning.
Scopri come scegliere un modello Gemini e, facoltativamente, una località appropriati per il caso d'uso e l'app.
Genera testo dal testo e da un video
Assicurati di aver completato la sezione Prima di iniziare di questa guida prima di provare questo esempio.
Puoi chiamare Gemini API con prompt multimodali che includono sia un testo che un singolo video (come mostrato in questo esempio). Per queste chiamate, devi utilizzare un modello che supporti i prompt multimodali (come Gemini 1.5 Pro).
Assicurati di rivedere i requisiti e i consigli per i file di input.
Scegli se vuoi trasmettere la risposta in streaming (generateContentStream) o attendi
per la risposta finché non viene generato l'intero risultato (generateContent).
Streaming
Per ottenere interazioni più rapide, non attendere l'intero risultato la generazione del modello, ma usa la modalità flusso per gestire i risultati parziali.
Senza streaming
In alternativa, puoi attendere l'intero risultato anziché lo streaming. il il risultato viene restituito solo dopo che il modello ha completato l'intera generazione e il processo di sviluppo.
Scopri come scegliere un modello Gemini e, facoltativamente, una posizione appropriata per il tuo caso d'uso e la tua app.
Requisiti e consigli per i file di input
Per informazioni sui tipi di file supportati, su come specificare il tipo MIME e su come creare assicurati che i file e le richieste multimodali soddisfino i requisiti e rispettino best practice, vedi File di input supportati e requisiti per Vertex AI Gemini API.
Cos'altro puoi fare?
- Scopri come conteggiare i token. prima di inviare lunghi prompt al modello.
- Configura Cloud Storage for Firebase in modo da poter includere file di grandi dimensioni nelle richieste multimodali utilizzando Cloud Storage URL. I file possono includere immagini, PDF, video e audio.
- Inizia a pensare alla preparazione per la produzione, ad esempio configurazione di Firebase App Check per proteggere Gemini API da comportamenti illeciti da parte di clienti non autorizzati.
Prova altre funzionalità di Gemini API
- Creare conversazioni multi-turno (chat).
- Genera testo da prompt di solo testo.
- Usa le chiamate di funzione per connetterti di modelli generativi a sistemi e informazioni esterni.
Scopri come controllare la generazione di contenuti
- Comprendi la progettazione dei prompt, tra cui best practice, strategie e prompt di esempio.
- Configura parametri del modello come della temperatura e del numero massimo di token di output.
- Utilizza le impostazioni di sicurezza per regolare la probabilità di ricevere risposte che potrebbero essere considerate dannose.
Scopri di più sui modelli Gemini
Scopri i modelli disponibili per vari casi d'uso e le relative quote e prezzi.Fornisci feedback la tua esperienza con Vertex AI in Firebase