با استفاده از Gemini API متنی از دستورهای چندوجهی ایجاد کنید، با استفاده از API Gemini متن را از دستورهای چندوجهی ایجاد کنید


هنگام فراخوانی Gemini API از برنامه خود با استفاده از Vertex AI in Firebase SDK، می‌توانید از مدل Gemini بخواهید متنی را بر اساس یک ورودی چندوجهی تولید کند. اعلان‌های چندوجهی می‌توانند شامل چندین حالت (یا انواع ورودی)، مانند متن همراه با تصاویر، فایل‌های PDF، فایل‌های متن ساده، ویدئو و صدا باشند.

در هر درخواست چند وجهی، همیشه باید موارد زیر را ارائه دهید:

  • mimeType فایل. با انواع MIME پشتیبانی شده هر فایل ورودی آشنا شوید.

  • فایل. می توانید فایل را به صورت داده های درون خطی (همانطور که در این صفحه نشان داده شده است) یا با استفاده از URL یا URI آن ارائه دهید.

برای آزمایش و تکرار در اعلان‌های چندوجهی، توصیه می‌کنیم از Vertex AI Studio استفاده کنید.

قبل از شروع

اگر قبلاً این کار را نکرده‌اید، راهنمای شروع به کار برای Vertex AI in Firebase SDK را تکمیل کنید. مطمئن شوید که تمام کارهای زیر را انجام داده اید:

  1. یک پروژه Firebase جدید یا موجود راه اندازی کنید، از جمله استفاده از طرح قیمت گذاری Blaze و فعال کردن API های مورد نیاز.

  2. برنامه خود را به Firebase وصل کنید، از جمله ثبت برنامه خود و افزودن پیکربندی Firebase به برنامه خود.

  3. SDK را اضافه کنید و سرویس Vertex AI و مدل تولیدی را در برنامه خود راه اندازی کنید.

بعد از اینکه برنامه خود را به Firebase متصل کردید، SDK را اضافه کردید و سرویس Vertex AI و مدل تولیدی را راه اندازی کردید، آماده فراخوانی Gemini API هستید.

تولید متن از متن و یک تصویر واحد تولید متن از متن و چندین تصویر تولید متن از متن و یک ویدیو

نمونه فایل های رسانه ای

اگر از قبل فایل های رسانه ای ندارید، می توانید از فایل های زیر برای عموم استفاده کنید. از آنجایی که این فایل‌ها در سطل‌هایی ذخیره می‌شوند که در پروژه Firebase شما نیستند، باید از قالب https://storage.googleapis.com/ BUCKET_NAME/PATH/TO/FILE برای URL استفاده کنید.

تولید متن از متن و یک تصویر واحد

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که هم متن و هم یک فایل واحد را شامل می‌شود (مانند یک تصویر، همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از رسانه در اعلان‌ها پشتیبانی کند (مانند Gemini 2.0 Flash ).

حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

جریان

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از تکمیل مدل کل فرآیند تولید برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

تولید متن از متن و تصاویر متعدد

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که هم متن و هم فایل‌های متعدد (مانند تصاویر، همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از رسانه در اعلان‌ها پشتیبانی کند (مانند Gemini 2.0 Flash ).

حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

جریان

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از اینکه مدل کل فرآیند تولید را کامل کرد، برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

تولید متن از متن و ویدیو

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که شامل فایل(های) متنی و ویدیویی است (همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از رسانه در اعلان‌ها پشتیبانی کند (مانند Gemini 2.0 Flash ).

حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

جریان

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از تکمیل مدل کل فرآیند تولید برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

الزامات و توصیه‌ها برای فایل‌های ورودی

فایل‌های ورودی پشتیبانی‌شده و الزامات Vertex AI Gemini API را ببینید تا با موارد زیر آشنا شوید:

  • گزینه های مختلف برای ارائه فایل در یک درخواست
  • انواع فایل های پشتیبانی شده
  • انواع MIME پشتیبانی شده و نحوه تعیین آنها
  • الزامات و بهترین شیوه ها برای فایل ها و درخواست های چندوجهی

چه کار دیگری می توانید انجام دهید؟

  • قبل از ارسال پیام های طولانی به مدل، نحوه شمارش نشانه ها را بیاموزید.
  • Cloud Storage for Firebase راه‌اندازی کنید تا بتوانید فایل‌های حجیم را در درخواست‌های چندوجهی خود بگنجانید و راه‌حل مدیریت‌شده‌تری برای ارائه فایل‌ها در درخواست‌ها داشته باشید. فایل‌ها می‌توانند شامل تصاویر، PDF، ویدیو و صدا باشند.
  • به فکر آماده شدن برای تولید، از جمله راه‌اندازی Firebase App Check برای محافظت از Gemini API در برابر سوء استفاده توسط مشتریان غیرمجاز باشید.

سایر قابلیت های Gemini API را امتحان کنید

یاد بگیرید چگونه تولید محتوا را کنترل کنید

همچنین می‌توانید با استفاده از Vertex AI Studio دستورات و پیکربندی‌های مدل را آزمایش کنید.

در مورد مدل های جمینی بیشتر بدانید

در مورد مدل های موجود برای موارد استفاده مختلف و سهمیه ها و قیمت آنها اطلاعات کسب کنید.


درباره تجربه خود با Vertex AI in Firebase بازخورد بدهید


،


هنگام فراخوانی Gemini API از برنامه خود با استفاده از Vertex AI in Firebase SDK، می‌توانید از مدل Gemini بخواهید متنی را بر اساس یک ورودی چندوجهی تولید کند. اعلان‌های چندوجهی می‌توانند شامل چندین حالت (یا انواع ورودی)، مانند متن همراه با تصاویر، فایل‌های PDF، فایل‌های متن ساده، ویدئو و صدا باشند.

در هر درخواست چند وجهی، همیشه باید موارد زیر را ارائه دهید:

  • mimeType فایل. با انواع MIME پشتیبانی شده هر فایل ورودی آشنا شوید.

  • فایل. می توانید فایل را به صورت داده های درون خطی (همانطور که در این صفحه نشان داده شده است) یا با استفاده از URL یا URI آن ارائه دهید.

برای آزمایش و تکرار در اعلان‌های چندوجهی، توصیه می‌کنیم از Vertex AI Studio استفاده کنید.

قبل از شروع

اگر قبلاً این کار را نکرده‌اید، راهنمای شروع به کار برای Vertex AI in Firebase SDK را تکمیل کنید. مطمئن شوید که تمام کارهای زیر را انجام داده اید:

  1. یک پروژه Firebase جدید یا موجود راه اندازی کنید، از جمله استفاده از طرح قیمت گذاری Blaze و فعال کردن API های مورد نیاز.

  2. برنامه خود را به Firebase وصل کنید، از جمله ثبت برنامه خود و افزودن پیکربندی Firebase به برنامه خود.

  3. SDK را اضافه کنید و سرویس Vertex AI و مدل تولیدی را در برنامه خود راه اندازی کنید.

بعد از اینکه برنامه خود را به Firebase متصل کردید، SDK را اضافه کردید و سرویس Vertex AI و مدل تولیدی را راه اندازی کردید، آماده فراخوانی Gemini API هستید.

تولید متن از متن و یک تصویر واحد تولید متن از متن و چندین تصویر تولید متن از متن و یک ویدیو

نمونه فایل های رسانه ای

اگر از قبل فایل های رسانه ای ندارید، می توانید از فایل های زیر برای عموم استفاده کنید. از آنجایی که این فایل‌ها در سطل‌هایی ذخیره می‌شوند که در پروژه Firebase شما نیستند، باید از قالب https://storage.googleapis.com/ BUCKET_NAME/PATH/TO/FILE برای URL استفاده کنید.

تولید متن از متن و یک تصویر واحد

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که هم متن و هم یک فایل واحد را شامل می‌شود (مانند یک تصویر، همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از رسانه در اعلان‌ها پشتیبانی کند (مانند Gemini 2.0 Flash ).

حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

جریان

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از اینکه مدل کل فرآیند تولید را کامل کرد، برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

تولید متن از متن و تصاویر متعدد

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که هم متن و هم فایل‌های متعدد (مانند تصاویر، همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از رسانه در اعلان‌ها پشتیبانی کند (مانند Gemini 2.0 Flash ).

حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

جریان

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر ، می توانید به جای جریان ، منتظر کل نتیجه باشید. نتیجه فقط پس از اتمام مدل کل فرآیند نسل بازگردانده می شود.

بیاموزید که چگونه یک مدل جمینی را انتخاب کنید و به صورت اختیاری مکانی مناسب برای مورد و برنامه استفاده خود باشید.

متن را از متن و یک فیلم تولید کنید

قبل از امتحان کردن این نمونه ، اطمینان حاصل کنید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

شما می توانید Gemini API با مطالب چندمدی تماس بگیرید که شامل هر دو فایل (متن) متن و تصویری (همانطور که در این مثال نشان داده شده است). برای این تماس ها ، شما باید از مدلی استفاده کنید که از رسانه ها در اعلان ها پشتیبانی می کند (مانند Gemini 2.0 Flash ).

حتماً الزامات و توصیه های پرونده های ورودی را مرور کنید.

انتخاب کنید که آیا می خواهید پاسخ ( generateContentStream ) را پخش کنید یا منتظر پاسخ باشید تا زمانی که کل نتیجه ( generateContent ) تولید شود.

جریان

شما می توانید با عدم انتظار کل نتیجه از تولید مدل ، به تعامل سریعتر برسید و در عوض از جریان برای رسیدگی به نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر ، می توانید به جای جریان ، منتظر کل نتیجه باشید. نتیجه فقط پس از اتمام مدل کل فرآیند نسل بازگردانده می شود.

بیاموزید که چگونه یک مدل جمینی را انتخاب کنید و به صورت اختیاری مکانی مناسب برای مورد و برنامه استفاده خود باشید.

مورد نیاز و توصیه های پرونده های ورودی

به پرونده های ورودی پشتیبانی شده و الزامات مربوط به Vertex AI Gemini API مراجعه کنید تا در مورد موارد زیر بیاموزید:

  • گزینه های مختلف برای ارائه پرونده در یک درخواست
  • انواع فایل های پشتیبانی شده
  • از انواع MIME پشتیبانی شده و نحوه مشخص کردن آنها
  • الزامات و بهترین روشها برای پرونده ها و درخواست های چند حالته

چه کار دیگری می توانید انجام دهید؟

  • بیاموزید که چگونه قبل از ارسال درخواست های طولانی به مدل ، نشانه ها را بشمارید .
  • Cloud Storage for Firebase تنظیم کنید تا بتوانید پرونده های بزرگی را در درخواست های چند مدلی خود درج کنید و یک راه حل مدیریت شده تر برای ارائه پرونده ها در ارسال ها داشته باشید. پرونده ها می توانند شامل تصاویر ، PDF ، فیلم و صدا باشند.
  • شروع به فکر کردن در مورد آماده سازی برای تولید ، از جمله تنظیم Firebase App Check برای محافظت از Gemini API در برابر سوءاستفاده توسط مشتریان غیرمجاز.

سایر قابلیت های Gemini API را امتحان کنید

بیاموزید که چگونه تولید محتوا را کنترل کنید

همچنین می توانید با استفاده از Vertex AI Studio با پیکربندی ها و تنظیمات مدل آزمایش کنید.

درباره مدل های جمینی بیشتر بدانید

در مورد مدل های موجود برای موارد مختلف استفاده و سهمیه و قیمت گذاری آنها بیاموزید.


در مورد تجربه خود در مورد Vertex AI in Firebase بازخورد دهید