إنشاء نص من طلبات متعددة الوسائط باستخدام Gemini API


عند طلب Gemini API من تطبيقك باستخدام حزمة تطوير برامج Vertex AI in Firebase SDK، يمكنك توجيه نموذج Gemini لإنشاء نص استنادًا إلى إدخال متعدد الوسائط. يمكن أن تتضمن الطلبات المتعددة الوسائط عدة وسائط (أو أنواع إدخال)، مثل النص مع الصور وملفات PDF والفيديو والصوت.

لاختبار طلبات التفاعل المتعدّد وتحسينها، ننصحك باستخدام Vertex AI Studio.

قبل البدء

أكمِل دليل البدء لحِزم تطوير البرامج (SDK) "Vertex AI in Firebase"، إذا لم يسبق لك إجراء ذلك. تأكَّد من تنفيذ كلّ ما يلي:

  1. إعداد مشروع جديد أو حالي على Firebase، بما في ذلك استخدام خطط أسعار Blaze وتفعيل واجهات برمجة التطبيقات المطلوبة

  2. ربط تطبيقك بمنصّة Firebase، بما في ذلك تسجيل تطبيقك وإضافة إعدادات Firebase إلى تطبيقك

  3. أضِف حزمة تطوير البرامج (SDK) وابدأ إعداد خدمة Vertex AI والنموذج التوليدي في تطبيقك.

بعد ربط تطبيقك بمنصّة Firebase وإضافة حزمة تطوير البرامج (SDK) وإعداد خدمة Vertex AI والنموذج التوليدي، ستكون مستعدًا لاستدعاء Gemini API.

إنشاء نص من نص وصورة واحدة

تأكد من إكمال القسم قبل البدء في هذا الدليل قبل تجربة هذا النموذج.

يمكنك الاتصال بخدمة Gemini API باستخدام طلبات متعددة الوسائط تتضمّن كلاً من النص وملف واحد (مثل صورة، كما هو موضّح في هذا المثال). وبالنسبة إلى هذه الطلبات، عليك استخدام نموذج يتيح الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).

تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت وغير ذلك. يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.

اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار لتلقّي الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).

البثّ

يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.

بدون بث

بدلاً من ذلك، يمكنك الانتظار إلى أن تظهر النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.

تعرَّف على كيفية اختيار نموذج Gemini واختيار موقع جغرافي مناسب لحالة الاستخدام والتطبيق.

إنشاء نص من نص وصور متعددة

تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.

يمكنك الاتصال بخدمة Gemini API باستخدام طلبات متعددة الوسائط التي تتضمّن كلّ من النصوص والملفات المتعددة (مثل الصور، كما هو موضّح في هذا المثال). وبالنسبة إلى هذه الطلبات، عليك استخدام نموذج يتيح الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).

تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت وغير ذلك. عليك التأكّد من مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.

اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار لتلقّي الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).

البثّ

يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من عملية إنشاء النموذج، وبدلاً من ذلك يمكنك استخدام البث لمعالجة النتائج الجزئية.

بدون بث

بدلاً من ذلك، يمكنك الانتظار للحصول على النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.

تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.

إنشاء نص من نص وفيديو

تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.

يمكنك الاتصال بخدمة Gemini API باستخدام طلبات متعددة الوسائط تتضمّن كلاً من النص وفيديو واحد (كما هو موضّح في هذا المثال). وبالنسبة إلى هذه الطلبات، عليك استخدام نموذج يتيح الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).

يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.

اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار لتلقّي الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).

البثّ

يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.

بدون بث

بدلاً من ذلك، يمكنك الانتظار إلى أن تظهر النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.

تعرَّف على كيفية اختيار نموذج Gemini واختيار موقع جغرافي مناسب لحالة الاستخدام والتطبيق.

المتطلبات والاقتراحات المتعلّقة بملفات الإدخال

للتعرّف على أنواع الملفات المتوافقة وكيفية تحديد نوع MIME وكيفية التأكّد من أنّ ملفاتك وطلباتك المتعدّدة الوسائط تستوفي المتطلبات وتتّبع أفضل الممارسات، يُرجى الاطّلاع على ملفات الإدخال المتوافقة ومتطلبات Vertex AI Gemini API.

ما هي الإجراءات الأخرى التي يمكنك اتّخاذها؟

  • تعرَّف على كيفية احتساب الرموز المميّزة قبل إرسال طلبات طويلة إلى النموذج.
  • إعداد Cloud Storage for Firebase لكي تتمكّن من تضمين ملفات كبيرة في طلباتك باستخدام عناوين URL في Cloud Storage. يمكن أن تتضمّن الملفات صورًا وملفات PDF وفيديوهات وملفات صوتية.
  • ابدأ التفكير في التحضير للإصدار العلني، بما في ذلك إعداد Firebase App Check لحماية Gemini API من إساءة استخدام العملاء غير المصرّح لهم.

تجربة إمكانات أخرى في Gemini API

التعرّف على كيفية التحكّم في إنشاء المحتوى

يمكنك أيضًا تجربة الطلبات وإعدادات النماذج باستخدام Vertex AI Studio.

مزيد من المعلومات حول طُرز Gemini

اطّلِع على مزيد من المعلومات عن النماذج المتاحة لحالات الاستخدام المختلفة واطلاعك على الحصص والأسعار.


تقديم ملاحظات حول تجربتك مع Vertex AI in Firebase