เมื่อเรียกใช้ Gemini API จากแอปโดยใช้ Vertex AI in Firebase SDK คุณสามารถแจ้งให้โมเดล Gemini สร้างข้อความตามอินพุตแบบหลายรูปแบบได้ พรอมต์แบบมัลติโมดัลอาจมีรูปแบบ (หรือประเภทอินพุต) หลายรูปแบบ เช่น ข้อความพร้อมกับรูปภาพ, PDF, ไฟล์ข้อความธรรมดา, วิดีโอ และเสียง
ในคำขอแบบหลายสื่อแต่ละรายการ คุณต้องระบุข้อมูลต่อไปนี้เสมอ
mimeTypeของไฟล์ ดูข้อมูลเกี่ยวกับประเภท MIME ที่รองรับของไฟล์อินพุตแต่ละประเภทไฟล์ คุณสามารถระบุไฟล์เป็นข้อมูลในหน้า (ตามที่แสดงในหน้านี้) หรือใช้ URL หรือ URI ของไฟล์ก็ได้
เราขอแนะนำให้ใช้ Vertex AI Studio สำหรับการทดสอบและปรับปรุงพรอมต์แบบมัลติโมด
ก่อนเริ่มต้น
ทําตามคู่มือการเริ่มต้นใช้งาน Vertex AI in FirebaseSDK ให้เสร็จสมบูรณ์ หากยังไม่ได้ดำเนินการ ตรวจสอบว่าคุณได้ทำสิ่งต่อไปนี้ทั้งหมดแล้ว
ตั้งค่าโปรเจ็กต์ Firebase ใหม่หรือที่มีอยู่ รวมถึงใช้แพ็กเกจราคา Blaze และเปิดใช้ API ที่จําเป็น
เชื่อมต่อแอปกับ Firebase ซึ่งรวมถึงการลงทะเบียนแอปและเพิ่มการกําหนดค่า Firebase ลงในแอป
เพิ่ม SDK และเริ่มต้นVertex AIบริการและโมเดล Generative ในแอป
หลังจากเชื่อมต่อแอปกับ Firebase, เพิ่ม SDK และเริ่มต้นบริการ Vertex AI และ Generative Model แล้ว คุณก็พร้อมเรียกใช้ Gemini API
สร้างข้อความจากข้อความและรูปภาพเดียว สร้างข้อความจากข้อความและรูปภาพหลายรูป สร้างข้อความจากข้อความและวิดีโอ
ไฟล์สื่อตัวอย่าง
หากยังไม่มีไฟล์สื่อ คุณสามารถใช้ไฟล์ต่อไปนี้ที่เผยแพร่ต่อสาธารณะ เนื่องจากไฟล์เหล่านี้จัดเก็บอยู่ในที่เก็บข้อมูลซึ่งไม่ได้อยู่ในโปรเจ็กต์ Firebase คุณจึงต้องใช้รูปแบบ https://storage.googleapis.com/BUCKET_NAME/PATH/TO/FILE กับ URL
รูปภาพ:
https://storage.googleapis.com/cloud-samples-data/generative-ai/image/scones.jpgมีประเภท MIME เป็นimage/jpegดูหรือดาวน์โหลดรูปภาพนี้PDF:
https://storage.googleapis.com/cloud-samples-data/generative-ai/pdf/2403.05530.pdfที่มีประเภท MIME เป็นapplication/pdfดูหรือดาวน์โหลด PDF นี้วิดีโอ:
https://storage.googleapis.com/cloud-samples-data/video/animals.mp4ที่มีประเภท MIME เป็นvideo/mp4ดูหรือดาวน์โหลดวิดีโอนี้เสียง:
https://storage.googleapis.com/cloud-samples-data/generative-ai/audio/pixel.mp3ที่มีประเภท MIME เป็นaudio/mp3ฟังหรือดาวน์โหลดเสียงนี้
สร้างข้อความจากข้อความและรูปภาพเดียว
โปรดอ่านส่วนก่อนเริ่มต้นของคู่มือนี้ให้เสร็จสิ้นก่อนลองใช้ตัวอย่างนี้
คุณสามารถเรียกใช้ Gemini API ด้วยพรอมต์แบบมัลติโมดัลที่มีทั้งข้อความและไฟล์เดียว (เช่น รูปภาพตามที่แสดงในตัวอย่างนี้) สำหรับคำเรียกเหล่านี้ คุณต้องใช้โมเดลที่รองรับสื่อในพรอมต์ (เช่น Gemini 2.0 Flash)
โปรดอ่านข้อกำหนดและคำแนะนำสำหรับไฟล์อินพุต
เลือกว่าต้องการสตรีมคำตอบ (generateContentStream) หรือรอคำตอบจนกว่าระบบจะสร้างผลลัพธ์ทั้งหมด (generateContent)
อุปกรณ์การสตรีม
คุณสามารถโต้ตอบได้เร็วขึ้นโดยไม่ต้องรอผลลัพธ์ทั้งหมดจากการสร้างโมเดล และใช้การสตรีมเพื่อจัดการผลลัพธ์บางส่วนแทน
โดยไม่สตรีม
หรือจะรอผลลัพธ์ทั้งหมดแทนการสตรีมก็ได้ โดยระบบจะแสดงผลลัพธ์หลังจากที่โมเดลสร้างภาพเสร็จสมบูรณ์แล้วเท่านั้น
ดูวิธีเลือกโมเดล Gemini และตำแหน่ง (ไม่บังคับ) ที่เหมาะสมกับ Use Case และแอปของคุณ
สร้างข้อความจากข้อความและรูปภาพหลายรูป
โปรดอ่านส่วนก่อนเริ่มต้นของคู่มือนี้ให้เสร็จสิ้นก่อนลองใช้ตัวอย่างนี้
คุณสามารถเรียกใช้ Gemini API ด้วยพรอมต์แบบมัลติโมดัลที่มีทั้งข้อความและไฟล์หลายรายการ (เช่น รูปภาพตามที่แสดงในตัวอย่างนี้) สำหรับคำเรียกเหล่านี้ คุณต้องใช้โมเดลที่รองรับสื่อในพรอมต์ (เช่น Gemini 2.0 Flash)
โปรดอ่านข้อกำหนดและคำแนะนำสำหรับไฟล์อินพุต
เลือกว่าต้องการสตรีมคำตอบ (generateContentStream) หรือรอคำตอบจนกว่าระบบจะสร้างผลลัพธ์ทั้งหมด (generateContent)
อุปกรณ์การสตรีม
คุณสามารถโต้ตอบได้เร็วขึ้นโดยไม่ต้องรอผลลัพธ์ทั้งหมดจากการสร้างโมเดล และใช้การสตรีมเพื่อจัดการผลลัพธ์บางส่วนแทน
โดยไม่สตรีม
หรือจะรอผลลัพธ์ทั้งหมดแทนการสตรีมก็ได้ โดยระบบจะแสดงผลลัพธ์หลังจากที่โมเดลสร้างผลลัพธ์ทั้งหมดเสร็จแล้วเท่านั้น
ดูวิธีเลือกโมเดล Gemini และตำแหน่ง (ไม่บังคับ) ที่เหมาะสมกับ Use Case และแอปของคุณ
สร้างข้อความจากข้อความและวิดีโอ
โปรดอ่านส่วนก่อนเริ่มต้นของคู่มือนี้ให้เสร็จสิ้นก่อนลองใช้ตัวอย่างนี้
คุณสามารถเรียกใช้ Gemini API ด้วยพรอมต์แบบมัลติโมดัลที่มีทั้งไฟล์ข้อความและวิดีโอ (ดังที่แสดงในตัวอย่างนี้) สําหรับการเรียกใช้เหล่านี้ คุณต้องใช้โมเดลที่รองรับสื่อในพรอมต์ (เช่น Gemini 2.0 Flash)
โปรดอ่านข้อกำหนดและคำแนะนำสำหรับไฟล์อินพุต
เลือกว่าต้องการสตรีมคำตอบ (generateContentStream) หรือรอคำตอบจนกว่าระบบจะสร้างผลลัพธ์ทั้งหมด (generateContent)
อุปกรณ์การสตรีม
คุณสามารถโต้ตอบได้เร็วขึ้นโดยไม่ต้องรอผลลัพธ์ทั้งหมดจากการสร้างโมเดล และใช้การสตรีมเพื่อจัดการผลลัพธ์บางส่วนแทน
โดยไม่สตรีม
หรือจะรอผลลัพธ์ทั้งหมดแทนการสตรีมก็ได้ โดยระบบจะแสดงผลลัพธ์หลังจากที่โมเดลสร้างภาพเสร็จสมบูรณ์แล้วเท่านั้น
ดูวิธีเลือกโมเดล Gemini และตำแหน่ง (ไม่บังคับ) ที่เหมาะสมกับ Use Case และแอปของคุณ
ข้อกำหนดและคำแนะนำสำหรับไฟล์อินพุต
ดูข้อมูลต่อไปนี้จากหัวข้อไฟล์อินพุตที่รองรับและข้อกำหนดสำหรับ Vertex AI Gemini API
- ตัวเลือกต่างๆ ในการส่งไฟล์ในคำขอ
- ประเภทไฟล์ที่รองรับ
- ประเภท MIME ที่รองรับและวิธีระบุ
- ข้อกำหนดและแนวทางปฏิบัติแนะนำสำหรับไฟล์และคําขอแบบหลายสื่อ
คุณทำอะไรได้อีกบ้าง
- ดูวิธีนับโทเค็นก่อนส่งพรอมต์แบบยาวไปยังโมเดล
- ตั้งค่า Cloud Storage for Firebase เพื่อให้คุณรวมไฟล์ขนาดใหญ่ในคำขอแบบหลายรูปแบบได้ และมีโซลูชันที่มีการจัดการมากขึ้นสำหรับการแสดงไฟล์ในพรอมต์ ไฟล์อาจรวมถึงรูปภาพ, PDF, วิดีโอ และเสียง
- เริ่มคิดเกี่ยวกับการเตรียมความพร้อมสำหรับเวอร์ชันที่ใช้งานจริง ซึ่งรวมถึงการตั้งค่า Firebase App Check เพื่อปกป้อง Gemini API จากการละเมิดโดยลูกค้าที่ไม่ได้รับอนุญาต
ลองใช้ความสามารถอื่นๆ ของ Gemini API
- สร้างการสนทนาแบบหลายรอบ (แชท)
- สร้างข้อความจากพรอมต์แบบข้อความเท่านั้น
- สร้างเอาต์พุตที่มีโครงสร้าง (เช่น JSON) จากทั้งพรอมต์แบบข้อความและแบบมัลติโมเดล
- ใช้การเรียกฟังก์ชันเพื่อเชื่อมต่อโมเดล Generative กับระบบและข้อมูลภายนอก
ดูวิธีควบคุมการสร้างเนื้อหา
- ทำความเข้าใจการออกแบบพรอมต์ ซึ่งรวมถึงแนวทางปฏิบัติแนะนำ กลยุทธ์ และตัวอย่างพรอมต์
- กําหนดค่าพารามิเตอร์ของโมเดล เช่น อุณหภูมิและโทเค็นเอาต์พุตสูงสุด
- ใช้การตั้งค่าความปลอดภัยเพื่อปรับความเป็นไปได้ที่จะได้รับคำตอบที่อาจถือว่าอันตราย
ดูข้อมูลเพิ่มเติมเกี่ยวกับรุ่นต่างๆ ของ Gemini
ดูข้อมูลเกี่ยวกับรูปแบบที่ใช้ได้กับกรณีการใช้งานต่างๆ และโควต้าและราคาแสดงความคิดเห็นเกี่ยวกับประสบการณ์การใช้งาน Vertex AI in Firebase