با استفاده از Gemini API متنی از دستورهای چندوجهی ایجاد کنید، با استفاده از API Gemini متن را از دستورهای چندوجهی ایجاد کنید


هنگام فراخوانی Gemini API از برنامه خود با استفاده از Vertex AI in Firebase SDK، می‌توانید از مدل Gemini بخواهید متنی را بر اساس یک ورودی چندوجهی تولید کند. اعلان‌های چندوجهی می‌توانند شامل چندین حالت (یا انواع ورودی)، مانند متن همراه با تصاویر، فایل‌های PDF، فایل‌های متن ساده، ویدئو و صدا باشند.

در هر درخواست چند وجهی، همیشه باید موارد زیر را ارائه دهید:

  • mimeType فایل. با انواع MIME پشتیبانی شده هر فایل ورودی آشنا شوید.

  • فایل. می توانید فایل را به صورت داده های درون خطی (همانطور که در این صفحه نشان داده شده است) یا با استفاده از URL یا URI آن ارائه دهید.

برای آزمایش و تکرار در اعلان‌های چندوجهی، توصیه می‌کنیم از Vertex AI Studio استفاده کنید.

قبل از شروع

اگر قبلاً این کار را نکرده‌اید، راهنمای شروع به کار برای Vertex AI in Firebase SDK را تکمیل کنید. مطمئن شوید که تمام کارهای زیر را انجام داده اید:

  1. یک پروژه Firebase جدید یا موجود راه اندازی کنید، از جمله استفاده از طرح قیمت گذاری Blaze و فعال کردن API های مورد نیاز.

  2. برنامه خود را به Firebase وصل کنید، از جمله ثبت برنامه خود و افزودن پیکربندی Firebase به برنامه خود.

  3. SDK را اضافه کنید و سرویس Vertex AI و مدل تولیدی را در برنامه خود راه اندازی کنید.

بعد از اینکه برنامه خود را به Firebase متصل کردید، SDK را اضافه کردید و سرویس Vertex AI و مدل تولیدی را راه اندازی کردید، آماده فراخوانی Gemini API هستید.

تولید متن از متن و یک تصویر واحد تولید متن از متن و چندین تصویر تولید متن از متن و یک ویدیو

نمونه فایل های رسانه ای

اگر از قبل فایل های رسانه ای ندارید، می توانید از فایل های زیر برای عموم استفاده کنید:

تولید متن از متن و یک تصویر واحد

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که هم متن و هم یک فایل واحد را شامل می‌شود (مانند یک تصویر، همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از رسانه در اعلان‌ها پشتیبانی کند (مانند فلش Gemini 1.5).

حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

پخش جریانی

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از تکمیل مدل کل فرآیند تولید برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

تولید متن از متن و تصاویر متعدد

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که هم متن و هم فایل‌های متعدد (مانند تصاویر، همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از رسانه در اعلان‌ها پشتیبانی کند (مانند فلش Gemini 1.5).

حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

پخش جریانی

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از تکمیل مدل کل فرآیند تولید برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

تولید متن از متن و ویدیو

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که شامل فایل(های) متنی و ویدیویی است (همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از رسانه در اعلان‌ها پشتیبانی کند (مانند فلش Gemini 1.5).

حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

پخش جریانی

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از تکمیل مدل کل فرآیند تولید برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

الزامات و توصیه‌ها برای فایل‌های ورودی

فایل‌های ورودی پشتیبانی‌شده و الزامات Vertex AI Gemini API را ببینید تا با موارد زیر آشنا شوید:

  • گزینه های مختلف برای ارائه فایل در یک درخواست
  • انواع فایل های پشتیبانی شده
  • انواع MIME پشتیبانی شده و نحوه تعیین آنها
  • الزامات و بهترین شیوه ها برای فایل ها و درخواست های چندوجهی

چه کار دیگری می توانید انجام دهید؟

  • قبل از ارسال پیام های طولانی به مدل، نحوه شمارش نشانه ها را بیاموزید.
  • Cloud Storage for Firebase راه‌اندازی کنید تا بتوانید فایل‌های حجیم را در درخواست‌های چندوجهی خود بگنجانید و راه‌حل مدیریت‌شده‌تری برای ارائه فایل‌ها در درخواست‌ها داشته باشید. فایل‌ها می‌توانند شامل تصاویر، PDF، ویدیو و صدا باشند.
  • به فکر آماده شدن برای تولید، از جمله راه‌اندازی Firebase App Check برای محافظت از Gemini API در برابر سوء استفاده توسط مشتریان غیرمجاز باشید.

سایر قابلیت های Gemini API را امتحان کنید

یاد بگیرید چگونه تولید محتوا را کنترل کنید

همچنین می‌توانید با استفاده از Vertex AI Studio دستورات و پیکربندی‌های مدل را آزمایش کنید.

در مورد مدل های جمینی بیشتر بدانید

در مورد مدل های موجود برای موارد استفاده مختلف و سهمیه ها و قیمت آنها اطلاعات کسب کنید.


درباره تجربه خود با Vertex AI in Firebase بازخورد بدهید