Ao chamar o Gemini API do seu app usando um SDK do Vertex AI in Firebase, você pode solicitar que o modelo do Gemini gere texto com base em uma entrada multimodal. Os comandos multimodais podem incluir várias modalidades (ou tipos de entrada), como texto com imagens, PDFs, vídeo e áudio.
Para testar e iterar comandos multimodais, recomendamos usar Vertex AI Studio.
Antes de começar
Se ainda não fez isso, conclua o guia de primeiros passos para os SDKs Vertex AI in Firebase. Verifique se você fez o seguinte:
Configure um projeto novo ou atual do Firebase, incluindo o uso do plano de preços Blaze e a ativação das APIs necessárias.
Conecte seu app ao Firebase, incluindo o registro do app e a adição da configuração do Firebase ao app.
Adicione o SDK e inicialize o serviço Vertex AI e o modelo generativo no seu app.
Depois de conectar o app ao Firebase, adicionar o SDK e inicializar o serviço Vertex AI e o modelo generativo, você poderá chamar o Gemini API.
- Gerar texto com base em texto e uma única imagem
- Gerar texto com base em texto e várias imagens
- Gerar texto com base em texto e vídeo
Gerar texto com base em texto e uma única imagem
Verifique se você concluiu a seção Antes de começar deste guia antes de testar este exemplo.
É possível chamar Gemini API com comandos multimodais que incluem texto e um único arquivo (como uma imagem, conforme mostrado neste exemplo). Para essas chamadas, é necessário usar um modelo compatível com comandos multimodais, como o Gemini 1.5 Pro.
Os arquivos compatíveis incluem imagens, PDFs, vídeos, áudio e muito mais. Leia os requisitos e recomendações para arquivos de entrada.
Escolha se você quer transmitir a resposta (generateContentStream) ou aguardar
a resposta até que todo o resultado seja gerado (generateContent).
Streaming
É possível conseguir interações mais rápidas ao não esperar o resultado completo da geração do modelo e usar o streaming para processar resultados parciais.
Sem streaming
Como alternativa, você pode esperar o resultado completo em vez de streaming. O resultado só é retornado depois que o modelo conclui todo o processo de geração.
Aprenda a escolher um modelo do Gemini e, opcionalmente, um local adequado para seu caso de uso e app.
Gerar texto com base em texto e várias imagens
Conclua a seção Antes de começar deste guia antes de testar este exemplo.
É possível chamar Gemini API com comandos multimodais que incluem texto e vários arquivos (como imagens, conforme mostrado neste exemplo). Para essas chamadas, é necessário usar um modelo compatível com comandos multimodais, como o Gemini 1.5 Pro.
Os arquivos compatíveis incluem imagens, PDFs, vídeo, áudio e muito mais. Revise os requisitos e recomendações para arquivos de entrada.
Escolha se você quer transmitir a resposta (generateContentStream) ou esperar
pela resposta até que todo o resultado seja gerado (generateContent).
Streaming
É possível conseguir interações mais rápidas ao não esperar o resultado completo da geração do modelo e usar o streaming para processar resultados parciais.
Sem streaming
Como alternativa, aguarde o resultado completo em vez de fazer streaming. O resultado só é retornado depois que o modelo conclui todo o processo de geração.
Aprenda a escolher um modelo do Gemini e, opcionalmente, um local adequado para seu caso de uso e app.
Gerar texto com base em texto e vídeo
Verifique se você concluiu a seção Antes de começar deste guia antes de testar este exemplo.
É possível chamar Gemini API com comandos multimodais que incluem texto e um único vídeo (como mostrado neste exemplo). Para essas chamadas, você precisa usar um modelo que ofereça suporte a comandos multimodais, como o Gemini 1.5 Pro.
Leia os requisitos e recomendações para arquivos de entrada.
Escolha se você quer transmitir a resposta (generateContentStream) ou esperar
pela resposta até que todo o resultado seja gerado (generateContent).
Streaming
É possível conseguir interações mais rápidas ao não esperar o resultado completo da geração do modelo e usar o streaming para processar resultados parciais.
Sem streaming
Como alternativa, você pode esperar o resultado completo em vez de streaming. O resultado só é retornado depois que o modelo conclui todo o processo de geração.
Saiba como escolher um modelo do Gemini e, opcionalmente, um local adequado para seu caso de uso e app.
Requisitos e recomendações para arquivos de entrada
Para saber mais sobre os tipos de arquivos aceitos, como especificar o tipo MIME e como garantir que seus arquivos e solicitações multimodais atendam aos requisitos e sigam as práticas recomendadas, consulte Arquivos de entrada e requisitos compatíveis com o Vertex AI Gemini API.
O que mais você pode fazer?
- Saiba como contar tokens antes de enviar comandos longos para o modelo.
- Configure Cloud Storage for Firebase para incluir arquivos grandes nas suas solicitações multimodais usando URLs Cloud Storage. Os arquivos podem incluir imagens, PDFs, vídeos e áudio.
- Comece a pensar na preparação para a produção, incluindo a configuração de Firebase App Check para proteger o Gemini API contra abusos de clientes não autorizados.
Teste outros recursos do Gemini API
- Crie conversas com vários turnos (chat).
- Gerar texto com base em comandos somente de texto.
- Gere saídas estruturadas (como JSON) de comandos de texto e multimodais.
- Use a chamada de função para conectar modelos generativos a sistemas e informações externas.
Saiba como controlar a geração de conteúdo
- Entenda o design de comandos, incluindo práticas recomendadas, estratégias e exemplos de comandos.
- Configure os parâmetros do modelo, como temperatura e número máximo de tokens de saída.
- Use as configurações de segurança para ajustar a probabilidade de receber respostas que possam ser consideradas nocivas.
Saiba mais sobre os modelos do Gemini
Saiba mais sobre os modelos disponíveis para vários casos de uso e as cotas e os preços.Enviar feedback sobre sua experiência com o Vertex AI in Firebase