Gemini API का इस्तेमाल करके, मल्टीमोडल प्रॉम्प्ट से टेक्स्ट जनरेट करें


Vertex AI in Firebase SDK टूल का इस्तेमाल करके, अपने ऐप्लिकेशन से Gemini API को कॉल करते समय, Gemini मॉडल को मल्टीमोडल इनपुट के आधार पर टेक्स्ट जनरेट करने के लिए प्रॉम्प्ट जनरेट किया जा सकता है. मल्टीमोडल प्रॉम्प्ट में कई मोडलिटी (या इनपुट के टाइप) शामिल हो सकती हैं. जैसे, टेक्स्ट के साथ इमेज, PDF, वीडियो, और ऑडियो.

हमारा सुझाव है कि कई मोड वाले प्रॉम्प्ट को टेस्ट करने और उनमें बदलाव करने के लिए, Vertex AI Studio का इस्तेमाल करें.

शुरू करने से पहले

अगर आपने अब तक ऐसा नहीं किया है, तो Vertex AI in Firebase SDK टूल के लिए शुरुआती गाइड देखें. पक्का करें कि आपने ये सभी काम कर लिए हैं:

  1. नया या मौजूदा Firebase प्रोजेक्ट सेट अप करें. इसमें, ब्लेज़ कीमत वाले प्लान का इस्तेमाल करना और ज़रूरी एपीआई चालू करना शामिल है.

  2. अपने ऐप्लिकेशन को Firebase से कनेक्ट करें. इसमें, अपने ऐप्लिकेशन को रजिस्टर करना और अपने ऐप्लिकेशन में Firebase कॉन्फ़िगरेशन जोड़ना शामिल है.

  3. SDK टूल जोड़ें और अपने ऐप्लिकेशन में Vertex AI सेवा और जनरेटिव मॉडल को शुरू करें.

अपने ऐप्लिकेशन को Firebase से कनेक्ट करने, SDK टूल जोड़ने, और Vertex AI सेवा और जनरेटिव मॉडल को शुरू करने के बाद, Gemini API को कॉल किया जा सकता है.

टेक्स्ट और किसी एक इमेज से टेक्स्ट जनरेट करें

इस सैंपल को आज़माने से पहले, पक्का करें कि आपने इस गाइड का शुरू करने से पहले वाला सेक्शन पूरा कर लिया हो.

Gemini API को मल्टीमॉडल प्रॉम्प्ट की मदद से कॉल किया जा सकता है. इसमें टेक्स्ट और एक फ़ाइल, दोनों शामिल होते हैं. जैसे, इमेज, जैसा कि इस उदाहरण में दिखाया गया है. इन कॉल के लिए, आपको ऐसे मॉडल का इस्तेमाल करना होगा जिस पर मल्टीमोडल प्रॉम्प्ट की सुविधा काम करती हो. जैसे, Gemini 1.5 Pro.

इनमें इमेज, PDF, वीडियो, ऑडियो वगैरह शामिल हैं. इनपुट फ़ाइलों से जुड़ी ज़रूरी शर्तों और सुझावों को ज़रूर देखें.

चुनें कि आपको जवाब को स्ट्रीम करना है (generateContentStream) या पूरा नतीजा जनरेट होने तक जवाब का इंतज़ार करना है (generateContent).

स्ट्रीमिंग

मॉडल जनरेशन के पूरे नतीजे का इंतज़ार किए बिना, तेज़ी से इंटरैक्शन हासिल किए जा सकते हैं. इसके बजाय, कुछ नतीजों को मैनेज करने के लिए स्ट्रीमिंग का इस्तेमाल करें.

स्ट्रीमिंग के बिना

इसके अलावा, स्ट्रीम करने के बजाय पूरे नतीजे के लिए इंतज़ार किया जा सकता है. नतीजा सिर्फ़ तब दिखता है, जब मॉडल, जनरेट करने की पूरी प्रोसेस पूरी कर लेता है.

अपने इस्तेमाल के उदाहरण और ऐप्लिकेशन के हिसाब से, Gemini मॉडल और जगह चुनने का तरीका जानें.

टेक्स्ट और कई इमेज से टेक्स्ट जनरेट करना

इस सैंपल को आज़माने से पहले, पक्का करें कि आपने इस गाइड का शुरू करने से पहले वाला सेक्शन पूरा कर लिया हो.

Gemini API को मल्टीमोडल प्रॉम्प्ट के साथ कॉल किया जा सकता है. इन प्रॉम्प्ट में टेक्स्ट और कई फ़ाइलें, जैसे कि इमेज (जैसा कि इस उदाहरण में दिखाया गया है) शामिल होती हैं. इन कॉल के लिए, आपको ऐसे मॉडल का इस्तेमाल करना होगा जो कई तरह के प्रॉम्प्ट के साथ काम करता हो. जैसे, Gemini 1.5 Pro.

इनमें इमेज, PDF, वीडियो, ऑडियो वगैरह शामिल हैं. इनपुट फ़ाइलों से जुड़ी ज़रूरी शर्तों और सुझावों को ज़रूर देखें.

चुनें कि आपको जवाब स्ट्रीम करना है (generateContentStream) या पूरा नतीजा जनरेट होने तक जवाब का इंतज़ार करना है (generateContent).

स्ट्रीमिंग

अगर आपको मॉडल जनरेशन के पूरे नतीजे का इंतज़ार नहीं करना है, तो आपके इंटरैक्शन तेज़ी से होने की संभावना बढ़ जाती है. इसके बजाय, कुछ नतीजों को मैनेज करने के लिए स्ट्रीमिंग का इस्तेमाल किया जा सकता है.

स्ट्रीमिंग के बिना

इसके अलावा, स्ट्रीमिंग के बजाय पूरे नतीजे के लिए इंतज़ार किया जा सकता है. नतीजा सिर्फ़ तब दिखता है, जब मॉडल पूरी जनरेशन प्रोसेस पूरी कर लेता है.

अपने इस्तेमाल के उदाहरण और ऐप्लिकेशन के हिसाब से, Gemini मॉडल और जगह चुनने का तरीका जानें.

टेक्स्ट और वीडियो से टेक्स्ट जनरेट करना

इस सैंपल को आज़माने से पहले, पक्का करें कि आपने इस गाइड का शुरू करने से पहले वाला सेक्शन पूरा कर लिया हो.

Gemini API को मल्टीमोडल प्रॉम्प्ट के साथ कॉल किया जा सकता है. इन प्रॉम्प्ट में टेक्स्ट और वीडियो, दोनों शामिल होते हैं. इस उदाहरण में दिखाया गया है. इन कॉल के लिए, आपको ऐसे मॉडल का इस्तेमाल करना होगा जो कई तरह के प्रॉम्प्ट के साथ काम करता हो. जैसे, Gemini 1.5 Pro.

इनपुट फ़ाइलों से जुड़ी ज़रूरी शर्तों और सुझावों को ज़रूर देखें.

चुनें कि आपको जवाब स्ट्रीम करना है (generateContentStream) या पूरा नतीजा जनरेट होने तक जवाब का इंतज़ार करना है (generateContent).

स्ट्रीमिंग

मॉडल जनरेशन के पूरे नतीजे का इंतज़ार किए बिना, तेज़ी से इंटरैक्शन हासिल किए जा सकते हैं. इसके बजाय, कुछ नतीजों को मैनेज करने के लिए स्ट्रीमिंग का इस्तेमाल करें.

स्ट्रीमिंग के बिना

इसके अलावा, स्ट्रीम करने के बजाय पूरे नतीजे के लिए इंतज़ार किया जा सकता है. नतीजा सिर्फ़ तब दिखता है, जब मॉडल, जनरेट करने की पूरी प्रोसेस पूरी कर लेता है.

अपने इस्तेमाल के उदाहरण और ऐप्लिकेशन के हिसाब से, Gemini मॉडल और जगह चुनने का तरीका जानें.

इनपुट फ़ाइलों के लिए ज़रूरी शर्तें और सुझाव

इस्तेमाल किए जा सकने वाले फ़ाइल टाइप, MIME टाइप तय करने के तरीके, और यह पक्का करने के तरीके के बारे में जानने के लिए कि आपकी फ़ाइलें और कई मोड वाले अनुरोध, ज़रूरी शर्तों को पूरा करते हैं और सबसे सही तरीकों का पालन करते हैं, Vertex AI Gemini API के लिए इस्तेमाल की जा सकने वाली इनपुट फ़ाइलें और ज़रूरी शर्तें देखें.

तुम और क्या कर सकती हो?

  • मॉडल को लंबे प्रॉम्प्ट भेजने से पहले, टोकन की गिनती करने का तरीका जानें.
  • Cloud Storage for Firebase सेट अप करें ताकि Cloud Storage यूआरएल का इस्तेमाल करके, कई तरीकों से किए जाने वाले अनुरोधों में बड़ी फ़ाइलें शामिल की जा सकें. फ़ाइलों में इमेज, PDF, वीडियो, और ऑडियो शामिल हो सकते हैं.
  • प्रोडक्शन के लिए तैयारी करना शुरू करें. इसमें, Gemini API को बिना अनुमति वाले क्लाइंट के गलत इस्तेमाल से बचाने के लिए, Firebase App Check सेट अप करना भी शामिल है.

Gemini API की अन्य सुविधाएं आज़माएं

कॉन्टेंट जनरेशन को कंट्रोल करने का तरीका जानें

Vertex AI Studio का इस्तेमाल करके, प्रॉम्प्ट और मॉडल कॉन्फ़िगरेशन के साथ भी एक्सपेरिमेंट किया जा सकता है.

Gemini मॉडल के बारे में ज़्यादा जानें

अलग-अलग कामों के लिए उपलब्ध मॉडल और उनके कोटा और कीमत के बारे में जानें.


Vertex AI in Firebase इस्तेमाल करने के अपने अनुभव के बारे में सुझाव/राय देना या शिकायत करना