عند الاتصال برقم "Gemini API" من تطبيقك باستخدام حزمة تطوير برامج (SDK) "Vertex AI in Firebase": يمكنك أن تطلب من نموذج Gemini إنشاء نص استنادًا إلى إدخال متعدد الوسائط. يمكن أن تتضمن الطلبات المتعددة الوسائط عدة طُرق (أو أنواع من الإدخال) مثل النصوص مع الصور وملفات PDF والفيديو والصوت.
لاختبار الطلبات المتعدّدة الوسائط وتكرارها، ننصحك باستخدام Vertex AI Studio
قبل البدء
أكمل دليل البدء لحِزم تطوير البرامج (SDK) الخاصة بـ "Vertex AI in Firebase" تأكّد من القيام بكل ما يلي:
يمكنك إعداد مشروع جديد أو حالي في Firebase، بما في ذلك استخدام خطة أسعار Blaze وتفعيل واجهات برمجة التطبيقات المطلوبة
يمكنك ربط تطبيقك بمنصة Firebase، بما في ذلك تسجيل تطبيقك وإضافة تهيئة Firebase لتطبيقك.
إضافة حزمة تطوير البرامج (SDK) وإعداد خدمة Vertex AI والنموذج التوليدي في تطبيقك.
بعد ربط تطبيقك بمنصّة Firebase وإضافة حزمة تطوير البرامج (SDK) وإعداد Vertex AI الخدمة والنموذج التوليدي، أصبحت جاهزًا للاتصال بـ Gemini API.
إنشاء نص من نص وصورة واحدة
تأكَّد من إكمال برنامج قبل البدء. هذا الدليل قبل تجربة هذا النموذج.
يمكنك طلب "Gemini API" من خلال طلبات متعدّدة الوسائط تتضمّن نصًا وملفًا واحدًا (مثل صورة، كما هو موضح في هذا المثال). لهذه الأسباب عليك استخدام نموذج يتوافق مع الطلبات المتعددة الوسائط (مثل Gemini 1.5 Pro)
تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت والمزيد. تأكد من مراجعة المتطلبات والتوصيات لملفات الإدخال.
اختَر ما إذا كنت تريد بث الرد (generateContentStream
) أو الانتظار.
للاستجابة إلى أن يتم إنشاء النتيجة بأكملها (generateContent
).
البث
ويمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة بأكملها من وإنشاء النماذج، واستخدام البث لمعالجة النتائج الجزئية بدلاً من ذلك.
بدون بث
ويمكنك بدلاً من ذلك انتظار النتيجة كاملة بدلاً من البث. الـ لا يتم عرض النتيجة إلا بعد إكمال النموذج لعملية الإنشاء الدفع.
التعرّف على كيفية اختيار نموذج Gemini ويمكنك اختياريًا تحديد موقع جغرافي المناسبة لحالة الاستخدام والتطبيق
إنشاء نص من نص وصور متعدّدة
تأكَّد من إكمال برنامج قبل البدء. هذا الدليل قبل تجربة هذا النموذج.
يمكنك طلب "Gemini API" من خلال طلبات متعدّدة الوسائط تتضمّن الملفات النصية والملفات المتعددة (مثل الصور، كما هو موضح في هذا المثال). لهذه الأسباب عليك استخدام نموذج يتوافق مع الطلبات المتعددة الوسائط (مثل Gemini 1.5 Pro)
تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت والمزيد. تأكد من مراجعة المتطلبات والتوصيات لملفات الإدخال.
اختَر ما إذا كنت تريد بث الرد (generateContentStream
) أو الانتظار.
للاستجابة إلى أن يتم إنشاء النتيجة بأكملها (generateContent
).
البث
ويمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة بأكملها من وإنشاء النماذج، واستخدام البث لمعالجة النتائج الجزئية بدلاً من ذلك.
بدون بث
أو بدلاً من ذلك، يمكنك انتظار النتيجة بأكملها بدلاً من البث فلن يتم إرجاع النتيجة إلا بعد أن يكمل النموذج عملية عملية الإنشاء.
التعرّف على كيفية اختيار نموذج Gemini ويمكنك اختياريًا تحديد موقع جغرافي المناسبة لحالة الاستخدام والتطبيق
إنشاء نص من نص وفيديو
تأكَّد من إكمال برنامج قبل البدء. هذا الدليل قبل تجربة هذا النموذج.
يمكنك طلب "Gemini API" من خلال طلبات متعدّدة الوسائط تتضمّن نصًا وفيديو واحد (كما هو موضح في هذا المثال). لهذه الأسباب عليك استخدام نموذج يتوافق مع الطلبات المتعددة الوسائط (مثل Gemini 1.5 Pro)
تأكد من مراجعة المتطلبات والتوصيات لملفات الإدخال.
اختَر ما إذا كنت تريد بث الرد (generateContentStream
) أو الانتظار.
للاستجابة إلى أن يتم إنشاء النتيجة بأكملها (generateContent
).
البث
ويمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة بأكملها من وإنشاء النماذج، واستخدام البث لمعالجة النتائج الجزئية بدلاً من ذلك.
بدون بث
ويمكنك بدلاً من ذلك انتظار النتيجة كاملة بدلاً من البث. الـ لا يتم عرض النتيجة إلا بعد إكمال النموذج لعملية الإنشاء الدفع.
التعرّف على كيفية اختيار نموذج Gemini ويمكنك اختياريًا تحديد موقع جغرافي المناسبة لحالة الاستخدام والتطبيق
متطلبات وتوصيات ملفات الإدخال
للتعرّف على أنواع الملفات المتوافقة وكيفية تحديد نوع MIME وكيفية إنشاء التأكد من أن ملفاتك وطلباتك المتعددة الوسائط تلبي المتطلبات وأفضل الممارسات، راجع ملفات الإدخال المتوافقة والمتطلبات Vertex AI Gemini API
ما هي الإجراءات الإضافية التي يمكنك تنفيذها؟
- تعرَّف على كيفية احتساب الرموز المميّزة. قبل إرسال مطالبات طويلة إلى النموذج.
- إعداد "Cloud Storage for Firebase" بحيث يمكنك تضمين الملفات الكبيرة في الطلبات المتعددة الوسائط باستخدام Cloud Storage عنوان URL. يمكن أن تتضمن الملفات صورًا وملفات PDF وفيديو وصوتًا.
- ابدأ بالتفكير في التحضير للإنتاج، بما في ذلك إعداد Firebase App Check لحماية Gemini API من إساءة الاستخدام من قِبل العملاء غير المصرّح لهم.
تجربة الإمكانات الأخرى لـ Gemini API
- إنشاء محادثات متعددة الأدوار (محادثة)
- إنشاء نص من الطلبات النصية فقط:
- استخدام استدعاء الوظائف للاتصال النماذج التوليدية للأنظمة والمعلومات الخارجية
التعرّف على طريقة التحكّم في إنشاء المحتوى
- فهم تصميم الطلب، بما في ذلك وأفضل الممارسات والاستراتيجيات وأمثلة الطلبات.
- ضبط مَعلمات النموذج مثل رموز درجة الحرارة والحد الأقصى للمخرجات.
- استخدِم إعدادات الأمان لضبط احتمالية الحصول على استجابات قد تُعتبر ضارة.
مزيد من المعلومات حول نماذج Gemini
يمكنك معرفة المزيد عن النماذج المتوفّرة لحالات الاستخدام المختلفة و الحصص والأسعار:تقديم ملاحظات حول تجربتك مع "Vertex AI in Firebase"