เมื่อเรียกใช้ Vertex AI Gemini API จากแอปของคุณโดยใช้ SDK สำหรับ Vertex AI สำหรับ Firebase คุณสามารถสั่งให้โมเดล Gemini สร้างข้อความที่อิงตามอินพุตหลายรูปแบบได้ พรอมต์หลายรูปแบบอาจรวมถึงวิธีการหลายรูปแบบ (หรือการป้อนข้อมูลประเภทต่างๆ) เช่น ข้อความพร้อมกับรูปภาพ, PDF, วิดีโอ และเสียง
สำหรับอินพุตที่ไม่ใช่ข้อความ (เช่น ไฟล์สื่อ) คุณต้องใช้ประเภทไฟล์ที่รองรับ ระบุประเภท MIME ที่รองรับ รวมถึงตรวจสอบว่าไฟล์และคำขอหลายรูปแบบเป็นไปตามข้อกำหนดและปฏิบัติตามแนวทางปฏิบัติแนะนำ
ไฟล์อินพุตที่รองรับจะแตกต่างกันไปตามรุ่นและอาจมีรูปภาพ, PDF, วิดีโอ และเสียง
- โปรดทราบว่าอินพุตวิดีโอที่รองรับอาจแตกต่างกันไปตามรุ่น และอาจรวมถึงเฟรมเท่านั้นหรือเฟรมที่มีเสียง
ข้อกำหนดและแนวทางปฏิบัติที่ดีที่สุดสำหรับไฟล์อินพุตและคำขอหลายรูปแบบ
ในส่วนดูข้อมูลเกี่ยวกับโมเดล Gemini คุณสามารถดูสรุปสั้นๆ เกี่ยวกับข้อกำหนดสำหรับไฟล์ที่รองรับตามโมเดล (เช่น จำนวนไฟล์สูงสุดและขนาดไฟล์สูงสุด)
ในเอกสารของ Google Cloud คุณสามารถดูข้อมูลโดยละเอียดเกี่ยวกับข้อกำหนดและแนวทางปฏิบัติแนะนำสำหรับไฟล์อินพุตและคำขอผ่านสื่อหลากรูปแบบ (เช่น ประเภท MIME ที่รองรับ และกรณีที่ควรระบุไฟล์อินพุตในคำขอ)
ข้อกำหนดเฉพาะสำหรับ Vertex AI สำหรับ Firebase SDK
สำหรับ Vertex AI สำหรับ Firebase SDK ขนาดคำขอสูงสุดคือ 20 MB คุณจะได้รับข้อผิดพลาด HTTP 413 หากคำขอมีขนาดใหญ่เกินไป
หากขนาดของไฟล์จะทำให้คำขอรวมมีขนาดเกิน 20 MB ให้ใช้ URL ของ Cloud Storage for Firebase เพื่อรวมไฟล์ในคำขอหลายรูปแบบ
หากไฟล์มีขนาดเล็ก คุณมักจะส่งผ่านไฟล์ในรูปแบบข้อมูลในบรรทัดได้โดยตรง อย่างไรก็ตาม โปรดทราบว่าไฟล์ที่ระบุเป็นข้อมูลในบรรทัดจะเข้ารหัสเป็น base64 ระหว่างการส่ง ซึ่งจะเพิ่มขนาดของคำขอ ดูตัวอย่างแสดงวิธีรวมไฟล์เป็นข้อมูลในบรรทัดได้ที่สร้างข้อความจากพรอมต์แบบหลายโมดัลโดยใช้ Gemini API