إنشاء نص من طلبات متعدّدة الوسائط باستخدام Gemini API


عند طلب الرقم Gemini API من تطبيقك باستخدام حزمة تطوير برامج (SDK) Vertex AI in Firebase، يمكنك أن تطلب من نموذج Gemini إنشاء نص استنادًا إلى إدخال متعدد الوسائط. يمكن أن تتضمن الطلبات المتعددة الوسائط عدة طُرق (أو أنواع من الإدخال) مثل النصوص مع الصور وملفات PDF والفيديو والصوت.

لاختبار الطلبات المتعدّدة الوسائط وتكرارها، ننصحك باستخدام Vertex AI Studio

قبل البدء

أكمل دليل البدء لحِزم تطوير البرامج (SDK) الخاصة بـ "Vertex AI in Firebase" تأكّد من القيام بكل ما يلي:

  1. يمكنك إعداد مشروع جديد أو حالي في Firebase، بما في ذلك استخدام خطة أسعار Blaze وتفعيل واجهات برمجة التطبيقات المطلوبة

  2. يمكنك ربط تطبيقك بمنصة Firebase، بما في ذلك تسجيل تطبيقك وإضافة تهيئة Firebase لتطبيقك.

  3. إضافة حزمة تطوير البرامج (SDK) وإعداد خدمة Vertex AI والنموذج التوليدي في تطبيقك.

بعد ربط تطبيقك بمنصّة Firebase وإضافة حزمة تطوير البرامج (SDK) وإعداد Vertex AI الخدمة والنموذج التوليدي، أصبحت جاهزًا للاتصال بـ Gemini API.

إنشاء نص من نص وصورة واحدة

تأكَّد من إكمال برنامج قبل البدء. هذا الدليل قبل تجربة هذا النموذج.

يمكنك طلب "Gemini API" من خلال طلبات متعدّدة الوسائط تتضمّن نصًا وملفًا واحدًا (مثل صورة، كما هو موضح في هذا المثال). لهذه الأسباب عليك استخدام نموذج يتوافق مع الطلبات المتعددة الوسائط (مثل Gemini 1.5 Pro)

تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت والمزيد. تأكد من مراجعة المتطلبات والتوصيات لملفات الإدخال.

اختَر ما إذا كنت تريد بث الرد (generateContentStream) أو الانتظار. للاستجابة إلى أن يتم إنشاء النتيجة بأكملها (generateContent).

البث

ويمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة بأكملها من وإنشاء النماذج، واستخدام البث لمعالجة النتائج الجزئية بدلاً من ذلك.

بدون بث

ويمكنك بدلاً من ذلك انتظار النتيجة كاملة بدلاً من البث. الـ لا يتم عرض النتيجة إلا بعد إكمال النموذج لعملية الإنشاء الدفع.

التعرّف على كيفية اختيار نموذج Gemini ويمكنك اختياريًا تحديد موقع جغرافي المناسبة لحالة الاستخدام والتطبيق

إنشاء نص من نص وصور متعدّدة

تأكَّد من إكمال برنامج قبل البدء. هذا الدليل قبل تجربة هذا النموذج.

يمكنك طلب "Gemini API" من خلال طلبات متعدّدة الوسائط تتضمّن الملفات النصية والملفات المتعددة (مثل الصور، كما هو موضح في هذا المثال). لهذه الأسباب عليك استخدام نموذج يتوافق مع الطلبات المتعددة الوسائط (مثل Gemini 1.5 Pro)

تشمل الملفات المتوافقة الصور وملفات PDF والفيديوهات والصوت والمزيد. تأكد من مراجعة المتطلبات والتوصيات لملفات الإدخال.

اختَر ما إذا كنت تريد بث الرد (generateContentStream) أو الانتظار. للاستجابة إلى أن يتم إنشاء النتيجة بأكملها (generateContent).

البث

ويمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة بأكملها من وإنشاء النماذج، واستخدام البث لمعالجة النتائج الجزئية بدلاً من ذلك.

بدون بث

أو بدلاً من ذلك، يمكنك انتظار النتيجة بأكملها بدلاً من البث فلن يتم إرجاع النتيجة إلا بعد أن يكمل النموذج عملية عملية الإنشاء.

التعرّف على كيفية اختيار نموذج Gemini ويمكنك اختياريًا تحديد موقع جغرافي المناسبة لحالة الاستخدام والتطبيق

إنشاء نص من نص وفيديو

تأكَّد من إكمال برنامج قبل البدء. هذا الدليل قبل تجربة هذا النموذج.

يمكنك طلب "Gemini API" من خلال طلبات متعدّدة الوسائط تتضمّن نصًا وفيديو واحد (كما هو موضح في هذا المثال). لهذه الأسباب عليك استخدام نموذج يتوافق مع الطلبات المتعددة الوسائط (مثل Gemini 1.5 Pro)

تأكد من مراجعة المتطلبات والتوصيات لملفات الإدخال.

اختَر ما إذا كنت تريد بث الرد (generateContentStream) أو الانتظار. للاستجابة إلى أن يتم إنشاء النتيجة بأكملها (generateContent).

البث

ويمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة بأكملها من وإنشاء النماذج، واستخدام البث لمعالجة النتائج الجزئية بدلاً من ذلك.

بدون بث

ويمكنك بدلاً من ذلك انتظار النتيجة كاملة بدلاً من البث. الـ لا يتم عرض النتيجة إلا بعد إكمال النموذج لعملية الإنشاء الدفع.

التعرّف على كيفية اختيار نموذج Gemini ويمكنك اختياريًا تحديد موقع جغرافي المناسبة لحالة الاستخدام والتطبيق

متطلبات وتوصيات ملفات الإدخال

للتعرّف على أنواع الملفات المتوافقة وكيفية تحديد نوع MIME وكيفية إنشاء التأكد من أن ملفاتك وطلباتك المتعددة الوسائط تلبي المتطلبات وأفضل الممارسات، راجع ملفات الإدخال المتوافقة والمتطلبات Vertex AI Gemini API

ما هي الإجراءات الإضافية التي يمكنك تنفيذها؟

  • تعرَّف على كيفية احتساب الرموز المميّزة. قبل إرسال مطالبات طويلة إلى النموذج.
  • إعداد "Cloud Storage for Firebase" بحيث يمكنك تضمين الملفات الكبيرة في الطلبات المتعددة الوسائط باستخدام Cloud Storage عنوان URL. يمكن أن تتضمن الملفات صورًا وملفات PDF وفيديو وصوتًا.
  • ابدأ بالتفكير في التحضير للإنتاج، بما في ذلك إعداد Firebase App Check لحماية Gemini API من إساءة الاستخدام من قِبل العملاء غير المصرّح لهم.

تجربة الإمكانات الأخرى لـ Gemini API

التعرّف على طريقة التحكّم في إنشاء المحتوى

يمكنك أيضًا تجربة الطلبات وعمليات ضبط النماذج باستخدام Vertex AI Studio

مزيد من المعلومات حول نماذج Gemini

يمكنك معرفة المزيد عن النماذج المتوفّرة لحالات الاستخدام المختلفة و الحصص والأسعار:


تقديم ملاحظات حول تجربتك مع "Vertex AI in Firebase"