عند طلب Gemini API من تطبيقك باستخدام حزمة تطوير برامج Vertex AI in Firebase SDK، يمكنك توجيه نموذج Gemini لإنشاء نص استنادًا إلى إدخال متعدد الوسائط. يمكن أن تتضمّن الطلبات المتعدّدة الوسائط وسائط متعددة (أو أنواعًا من الإدخال)، مثل النصوص والصور وملفات PDF والملفات النصية العادية والفيديوهات والمقاطع الصوتية.
في كل طلب متعدد الوسائط، يجب دائمًا تقديم ما يلي:
حجم الملف هو
mimeType. اطّلِع على أنواع MIME المتوافقة لكل ملف إدخال.الملف يمكنك تقديم الملف كبيانات مضمّنة (كما هو موضّح في هذه الصفحة) أو باستخدام عنوان URL أو معرّف الموارد المنتظم (URI).
لاختبار طلبات التفاعل المتعدّد الوسائط وتحسينها، ننصحك باستخدام Vertex AI Studio.
قبل البدء
يُرجى إكمال دليل بدء استخدام حِزم تطوير البرامج (SDK) Vertex AI in Firebase إذا لم يسبق لك ذلك. تأكَّد من تنفيذ كلّ ما يلي:
إعداد مشروع جديد أو حالي على Firebase، بما في ذلك استخدام خطط أسعار Blaze وتفعيل واجهات برمجة التطبيقات المطلوبة
ربط تطبيقك بمنصّة Firebase، بما في ذلك تسجيل تطبيقك وإضافة إعدادات Firebase إلى تطبيقك
أضِف حزمة تطوير البرامج (SDK) وابدأ إعداد خدمة Vertex AI والنموذج التوليدي في تطبيقك.
بعد ربط تطبيقك بمنصّة Firebase وإضافة حزمة تطوير البرامج (SDK) وإعداد خدمة Vertex AI والنموذج التوليدي، ستكون مستعدًا لاستدعاء Gemini API.
إنشاء نص من نص وصورة واحدة إنشاء نص من نص وصور متعددة إنشاء نص من نص وفيديو
نماذج ملفات الوسائط
إذا لم تكن لديك ملفات وسائط، يمكنك استخدام الملفات التالية المتاحة للجميع:
الصورة:
gs://cloud-samples-data/generative-ai/image/scones.jpgباستخدام نوع MIMEimage/jpeg
يمكنك عرض هذه الصورة أو تنزيلها.PDF:
gs://cloud-samples-data/generative-ai/pdf/2403.05530.pdfباستخدام نوع MIMEapplication/pdf
يمكنك الاطّلاع على ملف PDF هذا أو تنزيله.الفيديو:
gs://cloud-samples-data/video/animals.mp4باستخدام نوع MIMEvideo/mp4
شاهِد هذا الفيديو أو نزِّله.المحتوى الصوتي:
gs://cloud-samples-data/generative-ai/audio/pixel.mp3باستخدام نوع MIMEaudio/mp3
استمع إلى هذا المقطع الصوتي أو نزِّله.
إنشاء نص من نص وصورة واحدة
تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.
يمكنك الاتصال بخدمة Gemini API باستخدام طلبات متعددة الوسائط تتضمّن كلاً من النص وملف واحد (مثل صورة، كما هو موضّح في هذا المثال). لإجراء هذه المكالمات، عليك استخدام نموذج يتيح استخدام الوسائط في الطلبات (مثل Gemini 1.5 Flash).
يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.
اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار
للحصول على الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).
البث
يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.
بدون بث
بدلاً من ذلك، يمكنك الانتظار إلى أن تظهر النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.
تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.
إنشاء نص من نص وصور متعددة
تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.
يمكنك استدعاء Gemini API باستخدام طلبات متعددة الوسائط التي تتضمّن كلّ من النصوص والملفات المتعددة (مثل الصور، كما هو موضّح في هذا المثال). لإجراء هذه المكالمات، عليك استخدام نموذج يتيح استخدام الوسائط في الطلبات (مثل Gemini 1.5 Flash).
يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.
اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار
للحصول على الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).
البث
يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.
بدون بث
بدلاً من ذلك، يمكنك الانتظار للحصول على النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.
تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.
إنشاء نص من نص وفيديو
تأكَّد من إكمال قسم قبل البدء في هذا الدليل قبل تجربة هذا العيّنة.
يمكنك الاتصال بـ Gemini API باستخدام طلبات متعددة الوسائط تتضمّن ملفّات نصية وملفات فيديو (كما هو موضّح في هذا المثال). لإجراء هذه المكالمات، عليك استخدام نموذج يتيح استخدام الوسائط في الطلبات (مثل Gemini 1.5 Flash).
يُرجى الحرص على مراجعة المتطلبات والاقتراحات المتعلّقة بملفات الإدخال.
اختَر ما إذا كنت تريد بث الردّ (generateContentStream) أو الانتظار
للحصول على الردّ إلى أن يتم إنشاء النتيجة بالكامل (generateContent).
البث
يمكنك تحقيق تفاعلات أسرع من خلال عدم انتظار النتيجة الكاملة من إنشاء النموذج، واستخدام البث بدلاً من ذلك للتعامل مع النتائج الجزئية.
بدون بث
بدلاً من ذلك، يمكنك الانتظار إلى أن تظهر النتيجة بالكامل بدلاً من بثها، ولا يتم عرض النتيجة إلا بعد أن يُكمل النموذج عملية الإنشاء بالكامل.
تعرَّف على كيفية اختيار نموذج Gemini وموقع جغرافي اختياريًا مناسبَين لحالة الاستخدام والتطبيق.
المتطلبات والاقتراحات المتعلّقة بملفات الإدخال
اطّلِع على ملفات الإدخال المتوافقة ومتطلبات Vertex AI Gemini API للتعرّف على ما يلي:
- خيارات مختلفة لتقديم ملف في طلب
- أنواع الملفات المتوافقة
- أنواع MIME المتوافقة وكيفية تحديدها
- المتطلبات وأفضل الممارسات المتعلّقة بالملفات والطلبات المتعدّدة الوسائط
ما هي الإجراءات الأخرى التي يمكنك اتّخاذها؟
- تعرَّف على كيفية احتساب الرموز المميّزة قبل إرسال طلبات طويلة إلى النموذج.
- إعداد Cloud Storage for Firebase لكي تتمكّن من تضمين ملفات كبيرة في طلباتك المتعدّدة الوسائط والحصول على حلّ أكثر تنظيمًا لتقديم الملفات في طلباتك يمكن أن تتضمّن الملفات صورًا وملفات PDF وفيديوهات وملفات صوتية.
- ابدأ التفكير في التحضير للإصدار العلني، بما في ذلك إعداد Firebase App Check لحماية Gemini API من إساءة الاستخدام من قِبل العملاء غير المصرَّح لهم.
تجربة إمكانات أخرى في Gemini API
- إنشاء محادثات متعددة المقاطع (محادثة)
- إنشاء نص من الطلبات النصية فقط
- إنشاء إخراج منظَّم (مثل تنسيق JSON) من كلّ من الطلبات النصية والطلبات المتعدّدة الوسائط
- استخدِم استدعاء الدوال لربط النماذج التوليدية بالأنظمة والمعلومات الخارجية.
التعرّف على كيفية التحكّم في إنشاء المحتوى
- التعرّف على تصميم الطلبات، بما في ذلك أفضل الممارسات والاستراتيجيات وأمثلة الطلبات
- ضبط مَعلمات النموذج، مثل مستوى الإبداع والحد الأقصى لوحدات ترميز الإخراج
- استخدام إعدادات الأمان لضبط احتمالية تلقّي ردود قد تُعتبر ضارة
مزيد من المعلومات حول طُرز Gemini
اطّلِع على مزيد من المعلومات عن النماذج المتاحة لحالات الاستخدام المختلفة واطلاعك على الحصص والأسعار.تقديم ملاحظات حول تجربتك مع Vertex AI in Firebase