Ao chamar o Gemini API do seu app usando um SDK do Vertex AI in Firebase, você pode solicitar que o modelo do Gemini gere texto com base em uma entrada multimodal. Os comandos multimodais podem incluir várias modalidades (ou tipos de entrada), como texto com imagens, PDFs, vídeo e áudio.
Para testar e iterar comandos multimodais, recomendamos o uso de Vertex AI Studio.
Antes de começar
Conclua o guia para iniciantes dos SDKs do Vertex AI in Firebase, caso ainda não tenha feito isso. Verifique se você fez o seguinte:
Configure um projeto do Firebase novo ou existente, incluindo o uso do plano de preços Blaze e a ativação das APIs necessárias.
Conecte seu app ao Firebase, incluindo o registro e a adição da configuração do Firebase.
Adicione o SDK e inicialize o serviço Vertex AI e o modelo generativo no seu app.
Depois de conectar seu app ao Firebase, adicionar o SDK e inicializar o serviço Vertex AI e o modelo generativo, você vai poder chamar Gemini API.
- Gerar texto com base em um texto e uma única imagem
- Gerar texto com base em textos e várias imagens
- Gerar texto com base em textos e vídeos
Gerar texto com base em um texto e uma única imagem
Conclua a seção Antes de começar deste guia antes de testar este exemplo.
Você pode chamar o Gemini API com comandos multimodais que incluem texto e um único arquivo (como uma imagem, como mostrado neste exemplo). Para essas chamadas, você precisa usar um modelo que ofereça suporte a comandos multimodais, como o Gemini 1.5 Pro.
Os arquivos compatíveis incluem imagens, PDFs, vídeo, áudio e muito mais. Revise os requisitos e recomendações para arquivos de entrada.
Escolha se você quer transmitir a resposta (generateContentStream) ou aguardar
a resposta até que todo o resultado seja gerado (generateContent).
Streaming
É possível conseguir interações mais rápidas ao não esperar o resultado completo da geração do modelo e usar o streaming para processar resultados parciais.
Sem streaming
Como alternativa, aguarde o resultado inteiro em vez de fazer streaming. O resultado só será retornado depois que o modelo concluir todo o processo de geração.
Saiba como escolher um modelo do Gemini e, opcionalmente, um local adequado para seu caso de uso e app.
Gerar texto com base em textos e várias imagens
Verifique se você concluiu a seção Antes de começar deste guia antes de testar este exemplo.
Você pode chamar o Gemini API com comandos multimodais que incluem texto e vários arquivos, como imagens, conforme mostrado neste exemplo. Para essas chamadas, é necessário usar um modelo compatível com comandos multimodais, como o Gemini 1.5 Pro.
Os arquivos compatíveis incluem imagens, PDFs, vídeos, áudio e muito mais. Leia os requisitos e recomendações para arquivos de entrada.
Escolha se você quer transmitir a resposta (generateContentStream) ou aguardar
a resposta até que todo o resultado seja gerado (generateContent).
Streaming
É possível conseguir interações mais rápidas ao não esperar o resultado completo da geração do modelo e usar o streaming para processar resultados parciais.
Sem streaming
Como alternativa, é possível aguardar o resultado inteiro em vez de fazer streaming. O resultado só será retornado depois que o modelo concluir todo o processo de geração.
Saiba como escolher um modelo do Gemini e, opcionalmente, um local adequado para seu caso de uso e app.
Gerar texto com base em textos e vídeos
Verifique se você concluiu a seção Antes de começar deste guia antes de testar este exemplo.
Você pode chamar o Gemini API com comandos multimodais que incluem texto e um único vídeo, como mostrado neste exemplo. Para essas chamadas, é necessário usar um modelo compatível com comandos multimodais, como o Gemini 1.5 Pro.
Revise os requisitos e recomendações para arquivos de entrada.
Escolha se você quer transmitir a resposta (generateContentStream) ou aguardar
a resposta até que todo o resultado seja gerado (generateContent).
Streaming
Para ter interações mais rápidas, não espere o resultado completo da geração do modelo e, em vez disso, use o streaming para processar resultados parciais.
Sem streaming
Como alternativa, aguarde o resultado inteiro em vez de fazer streaming. O resultado só será retornado depois que o modelo concluir todo o processo de geração.
Aprenda a escolher um modelo do Gemini e, opcionalmente, um local adequado para seu caso de uso e app.
Requisitos e recomendações para arquivos de entrada
Para saber mais sobre os tipos de arquivo com suporte, como especificar o tipo MIME e como garantir que seus arquivos e solicitações multimodais atendam aos requisitos e sigam as práticas recomendadas, consulte Arquivos de entrada compatíveis e requisitos para o Vertex AI Gemini API.
O que mais você pode fazer?
- Saiba como contar tokens antes de enviar comandos longos para o modelo.
- Configure Cloud Storage for Firebase para incluir arquivos grandes nas solicitações multimodais usando URLs de Cloud Storage. Os arquivos podem incluir imagens, PDFs, vídeo e áudio.
- Comece a se preparar para a produção, incluindo a configuração do Firebase App Check para proteger o Gemini API contra abusos de clientes não autorizados.
Testar outros recursos do Gemini API
- Criar conversas de várias interações (chat).
- Gerar texto com base em comandos somente de texto.
- Gere saídas estruturadas (como JSON) de comandos de texto e multimodais.
- Use a chamada de função para conectar modelos generativos a sistemas e informações externas.
Saiba como controlar a geração de conteúdo
- Entenda o design de comandos, incluindo práticas recomendadas, estratégias e exemplos de comandos.
- Configure os parâmetros do modelo, como temperatura e máximo de tokens de saída.
- Use as configurações de segurança para ajustar a probabilidade de receber respostas que podem ser consideradas prejudiciais.
Saiba mais sobre os modelos do Gemini
Saiba mais sobre os modelos disponíveis para vários casos de uso e as cotas e preços deles.Enviar feedback sobre sua experiência com o Vertex AI in Firebase