إنشاء نص من طلبات متعددة الوسائط باستخدام Gemini API


عند طلب Gemini API من تطبيقك باستخدام حزمة تطوير برامج Vertex AI in Firebase SDK، يمكنك توجيه نموذج Gemini لإنشاء نص استنادًا إلى إدخال متعدد الوسائط. يمكن أن تتضمّن الطلبات المتعدّدة الوسائط وسائط متعددة (أو أنواعًا من الإدخال)، مثل النصوص والصور وملفات PDF والفيديوهات والمقاطع الصوتية.

لاختبار الطلبات المتعدّدة الوسائط وتكرارها، ننصحك باستخدام أداة Vertex AI Studio.

قبل البدء

يُرجى إكمال دليل بدء استخدام حِزم تطوير البرامج (SDK) Vertex AI in Firebase إذا لم يسبق لك ذلك. تأكّد من القيام بكل ما يلي:

  1. إعداد مشروع جديد أو حالي على Firebase، بما في ذلك استخدام خطط أسعار Blaze وتفعيل واجهات برمجة التطبيقات المطلوبة

  2. يمكنك ربط تطبيقك بمنصة Firebase، بما في ذلك تسجيل تطبيقك وإضافة إعدادات Firebase إلى تطبيقك.

  3. أضِف حزمة تطوير البرامج (SDK) وابدأ إعداد خدمة Vertex AI والنموذج التوليدي في تطبيقك.

بعد ربط تطبيقك بمنصّة Firebase وإضافة حزمة تطوير البرامج (SDK) وإعداد خدمة Vertex AI والنموذج التوليدي، ستكون مستعدًا لاستدعاء Gemini API.

إنشاء نص من نص وصورة واحدة

تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.

يمكنك طلب Gemini API باستخدام طلبات متعددة الوسائط تتضمّن نصًا وملفًا واحدًا (مثل صورة، كما هو موضّح في هذا المثال). وبالنسبة إلى هذه الطلبات، عليك استخدام نموذج يتيح الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).

تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت وغير ذلك. عليك التأكّد من مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.

اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار لتلقّي الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).

البثّ

يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.

بدون بث

ويمكنك بدلاً من ذلك انتظار النتيجة بأكملها بدلاً من البث، إذ لا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.

تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.

إنشاء نص من نص وصور متعددة

تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.

يمكنك طلب Gemini API باستخدام مطالبات متعددة الوسائط تتضمن نصًا وملفات متعددة (مثل الصور، كما هو موضح في هذا المثال). لإجراء هذه المكالمات، يجب استخدام نموذج يتوافق مع الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).

تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت والمزيد. عليك التأكّد من مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.

اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار لتلقّي الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).

البثّ

يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من عملية إنشاء النموذج، وبدلاً من ذلك يمكنك استخدام البث لمعالجة النتائج الجزئية.

بدون بث

بدلاً من ذلك، يمكنك الانتظار للحصول على النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.

تعرَّف على كيفية اختيار نموذج Gemini واختيار موقع جغرافي مناسب لحالة الاستخدام والتطبيق.

إنشاء نص من نص وفيديو

تأكد من إكمال القسم قبل البدء في هذا الدليل قبل تجربة هذا النموذج.

يمكنك الاتصال بخدمة Gemini API باستخدام طلبات متعددة الوسائط تتضمّن كلاً من النص وفيديو واحد (كما هو موضّح في هذا المثال). لإجراء هذه المكالمات، يجب استخدام نموذج يتوافق مع الطلبات المتعدّدة الوسائط (مثل Gemini 1.5 Pro).

يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.

اختَر ما إذا كنت تريد عرض الردّ (generateContentStream) أو الانتظار إلى أن يتم إنشاء النتيجة بأكملها (generateContent).

البثّ

يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من عملية إنشاء النموذج، وبدلاً من ذلك يمكنك استخدام البث لمعالجة النتائج الجزئية.

بدون بث

بدلاً من ذلك، يمكنك الانتظار إلى أن تظهر النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.

تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.

متطلبات وتوصيات ملفات الإدخال

للتعرّف على أنواع الملفات المتوافقة وكيفية تحديد نوع MIME وكيفية التأكّد من أنّ ملفاتك وطلباتك المتعدّدة الوسائط تستوفي المتطلبات وتتّبع أفضل الممارسات، يُرجى الاطّلاع على ملفات الإدخال والمتطلبات المتوافقة لـ Vertex AI Gemini API.

ما هي الإجراءات الأخرى التي يمكنك اتّخاذها؟

  • تعرَّف على طريقة احتساب الرموز المميّزة قبل إرسال الطلبات الطويلة إلى النموذج.
  • يُرجى إعداد Cloud Storage for Firebase لتتمكّن من تضمين الملفات الكبيرة في الطلبات المتعدّدة الوسائط باستخدام عناوين URL للسمة Cloud Storage. ويمكن أن تتضمّن الملفات صورًا وملفات PDF وفيديو وملفات صوتية.
  • ننصحك بالتفكير في الاستعداد لمرحلة الإنتاج، بما في ذلك إعداد Firebase App Check لحماية Gemini API من إساءة استخدام الخدمات التي يجريها العملاء غير المصرّح لهم.

تجربة إمكانات أخرى في Gemini API

التعرّف على طريقة التحكّم في إنشاء المحتوى

يمكنك أيضًا تجربة الطلبات وإعدادات النماذج باستخدام Vertex AI Studio.

مزيد من المعلومات حول طُرز Gemini

تعرَّف على مزيد من المعلومات حول النماذج المتاحة لحالات الاستخدام المختلفة وأسعارها وأسعارها.


تقديم ملاحظات حول تجربتك في استخدام "Vertex AI in Firebase"