יצירת טקסט מהנחיות במגוון מודלים באמצעות Gemini API


כשאתם קוראים ל-Gemini API מהאפליקציה באמצעות SDK של Vertex AI in Firebase, תוכלו לבקש ממודל Gemini ליצור טקסט על סמך קלט רב-מודלי. הנחיות מולטימודיות יכולות לכלול כמה מודלים (או סוגי קלט), כמו טקסט עם תמונות, קובצי PDF, סרטונים ואודיו.

כדי לבדוק הנחיות במגוון מישורים ולבצע בהן שינויים, מומלץ להשתמש ב-Vertex AI Studio.

לפני שמתחילים

אם עדיין לא עשיתם זאת, כדאי לעיין במדריך למתחילים בנושא ערכות ה-SDK של Vertex AI in Firebase. חשוב לוודא שכל הפעולות הבאות בוצעו:

  1. מגדירים פרויקט Firebase חדש או קיים, כולל שימוש בחבילת התמחור Blaze והפעלת ממשקי ה-API הנדרשים.

  2. מקשרים את האפליקציה ל-Firebase, כולל רישום האפליקציה והוספת הגדרות Firebase לאפליקציה.

  3. מוסיפים את ה-SDK ומפעילים את השירות Vertex AI ואת המודל הגנרטיבי באפליקציה.

אחרי שמחברים את האפליקציה ל-Firebase, מוסיפים את ה-SDK ומפעילים את השירות Vertex AI ואת המודל הגנרטיבי, אפשר לבצע קריאה ל-Gemini API.

יצירת טקסט מטקסט ותמונה אחת

לפני שמנסים את הדוגמה הזו, חשוב לוודא שפעלתם לפי ההוראות בקטע לפני שמתחילים במדריך הזה.

אפשר להפעיל את Gemini API באמצעות הנחיות במגוון מודלים, שכוללות גם טקסט וגם קובץ יחיד (כמו תמונה, כפי שמוצג בדוגמה הזו). לשיחות האלה צריך להשתמש במודל שתומך בהנחיות במגוון מודלים (כמו Gemini 1.5 Pro).

הקבצים הנתמכים כוללים תמונות, קובצי PDF, סרטונים, קובצי אודיו ועוד. חשוב לקרוא את הדרישות וההמלצות לגבי קובצי קלט.

בוחרים אם להעביר את התשובה בסטרימינג (generateContentStream) או להמתין לתשובה עד שהתוצאה כולה נוצרת (generateContent).

סטרימינג

כדי לקבל אינטראקציות מהירות יותר, אפשר לא להמתין לתוצאה המלאה של יצירת המודל, אלא להשתמש בסטרימינג כדי לטפל בתוצאות חלקיות.

ללא סטרימינג

לחלופין, אפשר להמתין לקבלת התוצאה המלאה במקום להפעיל את הסטרימינג. התוצאה תוחזר רק אחרי שהמודל ישלים את כל תהליך היצירה.

כאן מוסבר איך בוחרים מודל Gemini, ואם רוצים גם מיקום שמתאים לאפליקציה ולתרחיש השימוש.

יצירת טקסט מטקסט וממספר תמונות

לפני שמנסים את הדוגמה הזו, חשוב לוודא שפעלתם לפי ההוראות בקטע לפני שמתחילים במדריך הזה.

אפשר להפעיל את Gemini API באמצעות הנחיות במגוון מודלים, שכוללות גם טקסט וגם כמה קבצים (כמו תמונות, כפי שמוצג בדוגמה הזו). לשיחות האלה צריך להשתמש במודל שתומך בהנחיות במגוון מודלים (כמו Gemini 1.5 Pro).

הקבצים הנתמכים כוללים תמונות, קובצי PDF, סרטונים, קובצי אודיו ועוד. חשוב לקרוא את הדרישות וההמלצות לגבי קובצי קלט.

בוחרים אם להעביר את התשובה בסטרימינג (generateContentStream) או להמתין לתשובה עד שהתוצאה כולה נוצרת (generateContent).

סטרימינג

כדי לקבל אינטראקציות מהירות יותר, אפשר לא להמתין לתוצאה המלאה של יצירת המודל, אלא להשתמש בסטרימינג כדי לטפל בתוצאות חלקיות.

ללא סטרימינג

לחלופין, אפשר להמתין לקבלת התוצאה המלאה במקום להשתמש בסטרימינג. התוצאה תוחזר רק אחרי שהמודל ישלים את כל תהליך היצירה.

כאן מוסבר איך בוחרים מודל Gemini, ואם רוצים גם מיקום שמתאים לאפליקציה ולתרחיש השימוש.

יצירת טקסט מטקסט וסרטון

לפני שמנסים את הדוגמה הזו, חשוב לוודא שפעלתם לפי ההוראות בקטע לפני שמתחילים במדריך הזה.

אפשר להפעיל את Gemini API באמצעות הנחיות מרובות-מודות שכוללות גם טקסט וגם סרטון אחד (כמו בדוגמה הזו). לשיחות האלה צריך להשתמש במודל שתומך בהנחיות במגוון מודלים (כמו Gemini 1.5 Pro).

חשוב לקרוא את הדרישות וההמלצות לגבי קובצי קלט.

בוחרים אם להעביר את התשובה בסטרימינג (generateContentStream) או להמתין לתשובה עד שהתוצאה כולה נוצרת (generateContent).

סטרימינג

כדי לקבל אינטראקציות מהירות יותר, אפשר לא להמתין לתוצאה המלאה של יצירת המודל, אלא להשתמש בסטרימינג כדי לטפל בתוצאות חלקיות.

ללא סטרימינג

לחלופין, אפשר להמתין לקבלת התוצאה המלאה במקום להפעיל את הסטרימינג. התוצאה תוחזר רק אחרי שהמודל ישלים את כל תהליך היצירה.

כאן מוסבר איך בוחרים מודל Gemini, ואם רוצים גם מיקום שמתאים לאפליקציה ולתרחיש השימוש.

דרישות והמלצות לגבי קובצי קלט

במאמר קבצי קלט נתמכים ודרישות ל-Vertex AI Gemini API מוסבר על הנושאים הבאים:

  • אפשרויות שונות לשליחת קובץ בבקשה
  • סוגי קבצים נתמכים
  • סוגי ה-MIME הנתמכים ואופן הציון שלהם
  • דרישות ושיטות מומלצות לקבצים ולבקשות עם כמה שיטות להעברת נתונים

מה עוד אפשר לעשות?

  • כך סופרים אסימונים לפני ששולחים הנחיות ארוכות למודל.
  • מגדירים את Cloud Storage for Firebase כדי שתוכלו לכלול קבצים גדולים בבקשות עם מספר שיטות שליחה, ולקבל פתרון מנוהל יותר לשליחת קבצים בהנחיות. הקבצים יכולים לכלול תמונות, קובצי PDF, סרטונים וקטעי אודיו.
  • כדאי להתחיל לחשוב על ההכנות לקראת ההשקה בסביבת הייצור, כולל הגדרת Firebase App Check כדי להגן על ה-Gemini API מפני ניצול לרעה על ידי לקוחות לא מורשים.

ניסיון ביכולות אחרות של Gemini API

איך שולטים ביצירת תוכן

אפשר גם להתנסות בהנחיות ובהגדרות של מודלים באמצעות הפקודה Vertex AI Studio.

מידע נוסף על המודלים של Gemini

כאן תוכלו לקרוא מידע נוסף על המודלים הזמינים לתרחישי שימוש שונים, ועל המכסות והתמחור שלהם.


שליחת משוב על חוויית השימוש ב-Vertex AI in Firebase