با استفاده از Gemini API متنی از دستورهای چندوجهی ایجاد کنید، با استفاده از API Gemini متن را از دستورهای چندوجهی ایجاد کنید

iOS+ Android Web Flutter

هنگام فراخوانی Gemini API از برنامه خود با استفاده از Vertex AI in Firebase SDK، می‌توانید از مدل Gemini بخواهید متنی را بر اساس یک ورودی چندوجهی تولید کند. اعلان‌های چندوجهی می‌توانند شامل چندین حالت (یا انواع ورودی)، مانند متن همراه با تصاویر، فایل‌های PDF، ویدئو و صدا باشند.

برای آزمایش و تکرار در اعلان‌های چندوجهی، توصیه می‌کنیم از Vertex AI Studio استفاده کنید.

گزینه های دیگر برای کار با Gemini API

• به صورت اختیاری با نسخه جایگزین « Google AI » از Gemini API آزمایش کنید
  با استفاده از Google AI Studio و Google AI Client SDK، دسترسی رایگان (در محدوده و در صورت وجود) دریافت کنید. این SDK ها باید فقط برای نمونه سازی در برنامه های موبایل و وب استفاده شوند.

  بعد از اینکه با نحوه عملکرد Gemini API آشنا شدید، به Vertex AI in Firebase SDK (این مستندات) مهاجرت کنید ، که دارای بسیاری از ویژگی‌های اضافی مهم برای برنامه‌های موبایل و وب هستند، مانند محافظت از API در برابر سوء استفاده با استفاده از Firebase App Check و پشتیبانی از فایل های رسانه ای بزرگ در درخواست ها

• به صورت اختیاری Vertex AI Gemini API سمت سرور را فراخوانی کنید (مانند Python، Node.js یا Go)
  از Vertex AI SDK ، Firebase Genkit یا Firebase Extensions برای Gemini API استفاده کنید.

قبل از شروع

اگر قبلاً این کار را نکرده‌اید، راهنمای شروع به کار برای Vertex AI in Firebase SDK را تکمیل کنید. مطمئن شوید که تمام کارهای زیر را انجام داده اید:

1. یک پروژه Firebase جدید یا موجود راه اندازی کنید، از جمله استفاده از طرح قیمت گذاری Blaze و فعال کردن API های مورد نیاز.

2. برنامه خود را به Firebase وصل کنید، از جمله ثبت برنامه خود و افزودن پیکربندی Firebase به برنامه خود.

3. SDK را اضافه کنید و سرویس Vertex AI و مدل تولیدی را در برنامه خود راه اندازی کنید.

بعد از اینکه برنامه خود را به Firebase متصل کردید، SDK را اضافه کردید و سرویس Vertex AI و مدل تولیدی را راه اندازی کردید، آماده فراخوانی Gemini API هستید.

• تولید متن از متن و یک تصویر واحد
• تولید متن از متن و تصاویر متعدد
• تولید متن از متن و ویدیو

مهم: مثال‌های موجود در این صفحه نحوه گنجاندن فایل‌های کوچک را به عنوان داده‌های درون خطی در درخواست‌ها نشان می‌دهند. با این حال، اگر می‌خواهید فایل‌هایی را اضافه کنید که حجم کل درخواست شما از 20 مگابایت بیشتر شود ، باید فایل را با استفاده از URL ارائه کنید (مثلاً با استفاده از Cloud Storage for Firebase ).

تولید متن از متن و یک تصویر واحد

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که هم متن و هم یک فایل واحد را شامل می‌شود (مانند یک تصویر، همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از اعلان‌های چندوجهی پشتیبانی می‌کند (مانند Gemini 1.5 Pro).

فایل‌های پشتیبانی شده شامل تصاویر، فایل‌های PDF، ویدیو، صدا و موارد دیگر می‌شود. حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

iOS+ Android Web Flutter

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

پخش جریانی

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از تکمیل مدل کل فرآیند تولید برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

تولید متن از متن و تصاویر متعدد

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که هم متن و هم فایل‌های متعدد (مانند تصاویر، همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از اعلان‌های چندوجهی پشتیبانی می‌کند (مانند Gemini 1.5 Pro).

فایل‌های پشتیبانی شده شامل تصاویر، فایل‌های PDF، ویدیو، صدا و موارد دیگر می‌شود. حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

iOS+ Android Web Flutter

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

پخش جریانی

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از تکمیل مدل کل فرآیند تولید برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

تولید متن از متن و ویدیو

قبل از امتحان کردن این نمونه، مطمئن شوید که بخش قبل از شروع این راهنما را تکمیل کرده اید.

می‌توانید Gemini API با اعلان‌های چندوجهی که هم متن و هم یک ویدیو را شامل می‌شود (همانطور که در این مثال نشان داده شده است) فراخوانی کنید. برای این تماس‌ها، باید از مدلی استفاده کنید که از اعلان‌های چندوجهی پشتیبانی می‌کند (مانند Gemini 1.5 Pro).

حتماً الزامات و توصیه‌های مربوط به فایل‌های ورودی را مرور کنید.

iOS+ Android Web Flutter

انتخاب کنید که آیا می‌خواهید پاسخ را پخش جریانی کنید ( generateContentStream ) یا منتظر پاسخ باشید تا کل نتیجه تولید شود ( generateContent ).

پخش جریانی

می‌توانید با منتظر ماندن برای کل نتیجه تولید مدل، به تعاملات سریع‌تری برسید و در عوض از استریم برای مدیریت نتایج جزئی استفاده کنید.

بدون پخش جریانی

از طرف دیگر، می توانید به جای پخش جریانی، منتظر کل نتیجه باشید. نتیجه تنها پس از تکمیل مدل کل فرآیند تولید برگردانده می شود.

نحوه انتخاب مدل Gemini و به صورت اختیاری مکان مناسب برای مورد استفاده و برنامه خود را بیاموزید.

الزامات و توصیه‌ها برای فایل‌های ورودی

فایل‌های ورودی پشتیبانی‌شده و الزامات Vertex AI Gemini API را ببینید تا با موارد زیر آشنا شوید:

• گزینه های مختلف برای ارائه فایل در یک درخواست
• انواع فایل های پشتیبانی شده
• انواع MIME پشتیبانی شده و نحوه تعیین آنها
• الزامات و بهترین شیوه ها برای فایل ها و درخواست های چندوجهی

مهم: برای Vertex AI in Firebase SDK، حداکثر اندازه درخواست 20 مگابایت است . اگر درخواست خیلی بزرگ باشد، خطای HTTP 413 دریافت می کنید.

اگر اندازه یک فایل، حجم کل درخواست را از 20 مگابایت فراتر می‌برد، باید فایل را با استفاده از یک URL ارائه کنید (مثلاً با استفاده از Cloud Storage for Firebase ). با این حال، اگر یک فایل کوچک است، اغلب می توانید آن را مستقیماً به عنوان داده درون خطی ارسال کنید (همانطور که در مثال های بالا نشان داده شده است). البته توجه داشته باشید که فایلی که به عنوان داده های درون خطی ارائه می شود در حین انتقال روی base64 کدگذاری می شود که اندازه درخواست را افزایش می دهد.

چه کار دیگری می توانید انجام دهید؟

• قبل از ارسال پیام های طولانی به مدل، نحوه شمارش نشانه ها را بیاموزید.
• Cloud Storage for Firebase راه‌اندازی کنید تا بتوانید فایل‌های حجیم را در درخواست‌های چندوجهی خود بگنجانید و راه‌حل مدیریت‌شده‌تری برای ارائه فایل‌ها در درخواست‌ها داشته باشید. فایل‌ها می‌توانند شامل تصاویر، PDF، ویدیو و صدا باشند.
• به فکر آماده شدن برای تولید، از جمله راه‌اندازی Firebase App Check برای محافظت از Gemini API در برابر سوء استفاده توسط مشتریان غیرمجاز باشید.

سایر قابلیت های Gemini API را امتحان کنید

• مکالمات چند نوبتی (چت) بسازید.
• متن را از اعلان‌های فقط متنی ایجاد کنید.
• خروجی ساختاریافته (مانند JSON) را هم از دستورات متنی و هم از چند وجهی ایجاد کنید.
• از فراخوانی تابع برای اتصال مدل های مولد به سیستم ها و اطلاعات خارجی استفاده کنید.

یاد بگیرید چگونه تولید محتوا را کنترل کنید

• طراحی سریع، از جمله بهترین شیوه‌ها، استراتژی‌ها و درخواست‌های نمونه را درک کنید .
• پارامترهای مدل مانند دما و حداکثر نشانه های خروجی را پیکربندی کنید .
• از تنظیمات ایمنی برای تنظیم احتمال دریافت پاسخ هایی که ممکن است مضر تلقی شوند استفاده کنید .

همچنین می‌توانید با استفاده از Vertex AI Studio دستورات و پیکربندی‌های مدل را آزمایش کنید.

در مورد مدل های جمینی بیشتر بدانید

در مورد مدل های موجود برای موارد استفاده مختلف و سهمیه ها و قیمت آنها اطلاعات کسب کنید.

درباره تجربه خود با Vertex AI in Firebase بازخورد بدهید