Gemini API'yi kullanarak çok modlu istemlerden metin oluşturma


Vertex AI in Firebase SDK'sı kullanarak uygulamanızdan Gemini API çağrılırken Gemini modelinden çok modlu girişe dayalı metin oluşturmasını isteyebilirsiniz. Çok modlu istemler, birden fazla modalite (veya giriş türü) içerebilir. metin, resim, PDF, video ve ses gibi öğeler içerir.

Çok modlu istemleri test etmek ve yinelemek için Vertex AI Studio.

Başlamadan önce

Henüz yapmadıysanız Vertex AI in Firebase SDK'ları için başlangıç kılavuzu. Aşağıdakilerin tümünü yaptığınızdan emin olun:

  1. Aşağıdakiler dahil olmak üzere yeni veya mevcut bir Firebase projesi oluşturun: Fiyatlandırma planını Blaze edin ve gerekli API'leri etkinleştirin.

  2. Uygulamanızı kaydetme ve Firebase yapılandırmasını uygulamanıza ekleyin.

  3. SDK'yı ekleyip Vertex AI hizmetini ve üretken modeli başlatın dokunun.

Uygulamanızı Firebase'e bağladıktan, SDK'yı ekledikten ve Vertex AI hizmeti ve üretken model, Gemini API numarasını aramaya hazırsınız.

ziyaret edin.

Metinden ve tek bir resimden metin oluştur

Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.

Gemini API, aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir dosya (bu örnekte gösterildiği gibi bir resim gibi) kullanabilirsiniz. Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).

Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.

Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin. Bu da sonucun tamamı oluşturulana kadar (generateContent) yanıt için kullanılır.

Akış

Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.

Akış olmadan

Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. "the" sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür bahsedeceğim.

Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.

Metin ve birden çok resimden metin oluşturun

Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.

Gemini API, aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de birden çok dosya (bu örnekte gösterildiği gibi resimler gibi) kullanabilirsiniz. Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).

Desteklenen dosyalar arasında resim, PDF, video, ses ve diğer dosyalar yer alır. Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.

Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin. Bu da sonucun tamamı oluşturulana kadar (generateContent) yanıt için kullanılır.

Akış

Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.

Akış olmadan

Alternatif olarak, bunun yerine sonucun tamamını bekleyebilirsiniz akış; sonuç yalnızca model tüm adımları tamamladıktan sonra döndürülür oluşturma sürecidir.

Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.

Metin ve videodan metin oluştur

Başlamadan önce bölümünü tamamladığınızdan emin olun. bölümüne göz atın.

Gemini API, aşağıdakileri içeren çok modlu istemlerle çağırabilirsiniz: hem metin hem de tek bir video (bu örnekte gösterildiği gibi). Bunlar için çok modlu istemleri destekleyen bir model kullanmanız gerekir. (ör. Gemini 1.5 Pro).

Şurayı incelemeyi unutmayın: giriş dosyalarıyla ilgili gereksinimler ve öneriler hakkında daha fazla bilgi edinin.

Yanıtı akış şeklinde sunmak mı (generateContentStream) yoksa beklemek mi istediğinizi seçin. Bu da sonucun tamamı oluşturulana kadar (generateContent) yanıt için kullanılır.

Akış

Daha hızlı etkileşime geçmek için ve kısmi sonuçları ele almak için akışı kullanır.

Akış olmadan

Alternatif olarak, akış yerine sonucun tamamını bekleyebilirsiniz. "the" sonuç yalnızca model tüm oluşturma işlemini tamamladıktan sonra döndürülür bahsedeceğim.

Gemini modeli seçme hakkında bilgi edinin. ve isteğe bağlı olarak bir konum ve uygulamanıza uygun olmalıdır.

Giriş dosyaları için gereksinimler ve öneriler

Desteklenen dosya türleri, MIME türünün nasıl belirtileceği ve dosyalarınızın ve çok modlu isteklerinizin gereksinimleri karşıladığından emin olun ve en iyi uygulamaları görmek için Vertex AI Gemini API için desteklenen giriş dosyaları ve gereksinimler.

Başka ne yapabilirsiniz?

Gemini API'ın diğer özelliklerini deneyin

İçerik üretme işlemini nasıl kontrol edeceğinizi öğrenin

ziyaret edin. Ayrıca, model yapılandırmalarınızı ve istemlerinizi görmek için Vertex AI Studio

Gemini modelleri hakkında daha fazla bilgi

Şu konu hakkında bilgi edinin: çeşitli kullanım alanları için kullanılabilecek modeller ve kotalar ve fiyatlandırma hakkında daha fazla bilgi edinin.


Geri bildirimde bulunma Vertex AI in Firebase deneyiminiz hakkında bilgi