Gemini API'yi kullanarak çok modlu istemlerden metin oluşturma


Firebase için Vertex AI SDK'sı kullanarak uygulamanızdan Gemini API'yi çağırırken Gemini modelinden çok modlu girişe dayalı metin oluşturmasını isteyebilirsiniz. Çok modlu istemler, birden fazla modalite (veya giriş türü) içerebilir. metin, resim, PDF, video ve ses gibi öğeler içerir.

Çok modlu istemleri test etmek ve yinelemek için Vertex AI Studio

Başlamadan önce

Henüz yapmadıysanız Firebase için Vertex AI SDK'ları başlangıç kılavuzu Aşağıdakilerin tümünü yaptığınızdan emin olun:

  • Aşağıdakiler dahil olmak üzere yeni veya mevcut bir Firebase projesi oluşturun: Fiyatlandırma planını Blaze edin ve gerekli API'leri etkinleştirin.

  • Uygulamanızı kaydetme ve Firebase yapılandırmasını uygulamanıza ekleyin.

  • SDK'yı ekleyip Vertex AI hizmetini ve üretken modeli ilk kullanıma hazırlama dokunun.

Uygulamanızı Firebase'e bağladıktan, SDK'yı ekledikten ve Vertex AI hizmetine ve üretken modele yönelik Gemini API'yi çağırmaya hazırsınız.

ziyaret edin.

Metinden ve tek bir resimden metin oluştur

Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.

Gemini API'yi aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir dosya (bu örnekte gösterildiği gibi bir resim gibi) kullanabilirsiniz. Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).

Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.

Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin. Bu da sonucun tamamı oluşturulana kadar (generateContent) yanıt için kullanılır.

Akış

Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.

Bu örnekte, oluşturulan akış için generateContentStream() ürününün nasıl kullanılacağı gösterilmektedir metin ve tek bir resim içeren çok modlu istem isteğindeki metin:

Akış olmadan

Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. "the" sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür bahsedeceğim.

Bu örnekte, birgenerateContent() Metin ve tek bir resim içeren çok modlu istem isteği:

Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.

Metin ve birden çok resimden metin oluşturun

Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.

Gemini API'yi aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de birden çok dosya (bu örnekte gösterildiği gibi resimler gibi) kullanabilirsiniz. Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).

Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.

Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin. Bu da sonucun tamamı oluşturulana kadar (generateContent) yanıt için kullanılır.

Akış

Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.

Bu örnekte, oluşturulan akış için generateContentStream() ürününün nasıl kullanılacağı gösterilmektedir metin ve birden çok resim içeren çok modlu bir istem isteğindeki metin:

Akış olmadan

Alternatif olarak, bunun yerine sonucun tamamını bekleyebilirsiniz akış; sonuç yalnızca model tüm adımları tamamladıktan sonra döndürülür oluşturma sürecidir.

Bu örnekte, birgenerateContent() Metin ve birden çok resim içeren çok modlu istem isteği:

Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.

Metin ve videodan metin oluştur

Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.

Gemini API'yi aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir video (bu örnekte gösterildiği gibi). Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).

Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.

Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin. Bu da sonucun tamamı oluşturulana kadar (generateContent) yanıt için kullanılır.

Akış

Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.

Bu örnekte, oluşturulan akış için generateContentStream() ürününün nasıl kullanılacağı gösterilmektedir metin ve tek bir video içeren çok modlu bir istem isteğindeki metin:

Akış olmadan

Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. "the" sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür bahsedeceğim.

Bu örnekte, birgenerateContent() Metin ve tek bir video içeren çok modlu istem isteği:

Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.

Giriş dosyaları için gereksinimler ve öneriler

Desteklenen dosya türleri, MIME türünün nasıl belirtileceği ve dosyalarınızın ve çok modlu isteklerinizin gereksinimleri karşıladığından emin olun ve en iyi uygulamaları görmek için Vertex AI Gemini API için desteklenen giriş dosyaları ve gereksinimleri

Başka ne yapabilirsiniz?

Gemini API'nin diğer özelliklerini deneyin

İçerik üretme işlemini nasıl kontrol edeceğinizi öğrenin

ziyaret edin. Ayrıca, model yapılandırmalarınızı ve istemlerinizi görmek için Vertex AI Studio

Gemini modelleri hakkında daha fazla bilgi

Şu konu hakkında bilgi edinin: çeşitli kullanım alanları için kullanılabilecek modeller ve kotalar ve fiyatlandırma hakkında daha fazla bilgi edinin.


Geri bildirimde bulunma ve Firebase için Vertex AI deneyiminiz hakkında