Saat memanggil Gemini API dari aplikasi Anda menggunakan Vertex AI for Firebase SDK, Anda dapat memerintahkan model Gemini untuk membuat teks berdasarkan input multimodal. Perintah multimodal dapat mencakup beberapa modalitas (atau jenis input), seperti teks bersama gambar, PDF, video, dan audio.
Untuk menguji dan melakukan iterasi pada perintah multimodal, sebaiknya gunakan Vertex AI Studio.
Sebelum memulai
Pelajari panduan memulai Vertex AI for Firebase SDK jika Anda belum melakukannya. Pastikan Anda telah melakukan semua hal berikut:
Siapkan project Firebase baru atau yang sudah ada, termasuk menggunakan paket harga Blaze dan mengaktifkan API yang diperlukan.
Hubungkan aplikasi Anda ke Firebase, termasuk mendaftarkan aplikasi dan menambahkan konfigurasi Firebase ke aplikasi tersebut.
Tambahkan SDK dan lakukan inisialisasi layanan Vertex AI serta model generatif di aplikasi Anda.
Setelah menghubungkan aplikasi ke Firebase, menambahkan SDK, serta melakukan inisialisasi layanan Vertex AI dan model generatif, Anda siap memanggil Gemini API.
- Membuat teks dari teks dan satu gambar
- Membuat teks dari teks dan beberapa gambar
- Membuat teks dari teks dan video
Membuat teks dari teks dan satu gambar
Pastikan Anda telah menyelesaikan bagian Sebelum memulai dalam panduan ini sebelum mencoba contoh ini.
Anda dapat memanggil Gemini API dengan perintah multimodal yang mencakup teks dan satu file (seperti gambar, seperti yang ditunjukkan dalam contoh ini). Untuk panggilan ini, Anda harus menggunakan model yang mendukung perintah multimodal (seperti Gemini 1.5 Pro).
File yang didukung termasuk gambar, PDF, video, audio, dan lainnya. Pastikan untuk meninjau persyaratan dan rekomendasi untuk file input.
Pilih apakah Anda ingin men-streaming respons (generateContentStream) atau menunggu
respons hingga seluruh hasil dihasilkan (generateContent).
Perangkat streaming
Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model. Sebagai gantinya, gunakan streaming untuk menangani hasil parsial.
Contoh ini menunjukkan cara menggunakan generateContentStream() untuk melakukan streaming teks
yang dihasilkan dari permintaan perintah multimodal yang menyertakan teks dan satu gambar:
Tanpa streaming
Atau, Anda dapat menunggu seluruh hasil, bukan streaming. hasilnya hanya ditampilkan setelah model menyelesaikan seluruh proses pembuatan.
Contoh ini menunjukkan cara menggunakan generateContent() untuk membuat teks dari
permintaan perintah multimodal yang menyertakan teks dan satu gambar:
Pelajari cara memilih model Gemini dan, jika perlu, lokasi yang sesuai untuk kasus penggunaan dan aplikasi Anda.
Membuat teks dari teks dan banyak gambar
Pastikan Anda telah menyelesaikan bagian Sebelum memulai dalam panduan ini sebelum mencoba contoh ini.
Anda dapat memanggil Gemini API dengan perintah multimodal yang mencakup teks dan beberapa file (seperti gambar, seperti yang ditunjukkan dalam contoh ini). Untuk panggilan ini, Anda harus menggunakan model yang mendukung perintah multimodal (seperti Gemini 1.5 Pro).
File yang didukung termasuk gambar, PDF, video, audio, dan lainnya. Pastikan untuk meninjau persyaratan dan rekomendasi untuk file input.
Pilih apakah Anda ingin men-streaming respons (generateContentStream) atau menunggu
respons hingga seluruh hasil dihasilkan (generateContent).
Perangkat streaming
Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model. Sebagai gantinya, gunakan streaming untuk menangani hasil parsial.
Contoh ini menunjukkan cara menggunakan generateContentStream() untuk melakukan streaming teks
yang dihasilkan dari permintaan perintah multimodal yang menyertakan teks dan beberapa gambar:
Tanpa streaming
Atau, Anda dapat menunggu seluruh hasil, bukan streaming; hasilnya hanya akan ditampilkan setelah model menyelesaikan seluruh proses pembuatan.
Contoh ini menunjukkan cara menggunakan generateContent() untuk membuat teks dari
permintaan perintah multimodal yang menyertakan teks dan beberapa gambar:
Pelajari cara memilih model Gemini dan, jika perlu, lokasi yang sesuai untuk kasus penggunaan dan aplikasi Anda.
Membuat teks dari teks dan video
Pastikan Anda telah menyelesaikan bagian Sebelum memulai dalam panduan ini sebelum mencoba contoh ini.
Anda dapat memanggil Gemini API dengan perintah multimodal yang mencakup teks dan satu video (seperti yang ditunjukkan dalam contoh ini). Untuk panggilan ini, Anda harus menggunakan model yang mendukung perintah multimodal (seperti Gemini 1.5 Pro).
Pastikan untuk meninjau persyaratan dan rekomendasi untuk file input.
Pilih apakah Anda ingin men-streaming respons (generateContentStream) atau menunggu
respons hingga seluruh hasil dihasilkan (generateContent).
Perangkat streaming
Anda dapat mencapai interaksi yang lebih cepat dengan tidak menunggu seluruh hasil dari pembuatan model. Sebagai gantinya, gunakan streaming untuk menangani hasil parsial.
Contoh ini menunjukkan cara menggunakan generateContentStream() untuk melakukan streaming teks
yang dihasilkan dari permintaan perintah multimodal yang menyertakan teks dan satu video:
Tanpa streaming
Atau, Anda dapat menunggu seluruh hasil, bukan streaming. hasilnya hanya ditampilkan setelah model menyelesaikan seluruh proses pembuatan.
Contoh ini menunjukkan cara menggunakan generateContent() untuk membuat teks dari
permintaan perintah multimodal yang menyertakan teks dan satu video:
Pelajari cara memilih model Gemini dan, jika perlu, lokasi yang sesuai untuk kasus penggunaan dan aplikasi Anda.
Persyaratan dan rekomendasi untuk file input
Untuk mempelajari jenis file yang didukung, cara menentukan jenis MIME, dan cara memastikan bahwa file serta permintaan multimodal Anda memenuhi persyaratan dan mengikuti praktik terbaik, lihat File input yang didukung dan persyaratan untuk Vertex AI Gemini API.
Kamu bisa apa lagi?
- Pelajari cara menghitung token sebelum mengirim perintah panjang ke model.
- Siapkan Cloud Storage for Firebase agar Anda dapat menyertakan file besar dalam permintaan multimodal menggunakan URL Cloud Storage. File dapat mencakup gambar, PDF, video, dan audio.
- Mulailah memikirkan untuk mempersiapkan produksi, termasuk menyiapkan Firebase App Check untuk melindungi Gemini API dari penyalahgunaan oleh klien yang tidak sah.
Mencoba kemampuan lain Gemini API
- Membuat percakapan multi-giliran (chat).
- Buat teks dari prompt khusus teks.
- Gunakan panggilan fungsi untuk menghubungkan model generatif ke sistem dan informasi eksternal.
Pelajari cara mengontrol pembuatan konten
- Pahami desain prompt, termasuk praktik terbaik, strategi, dan contoh perintah.
- Konfigurasikan parameter model seperti token suhu dan output maksimum.
- Gunakan setelan keamanan untuk menyesuaikan kemungkinan mendapatkan respons yang mungkin dianggap berbahaya.
Pelajari lebih lanjut model Gemini
Pelajari model yang tersedia untuk berbagai kasus penggunaan serta kuota dan harganya.Memberikan masukan tentang pengalaman Anda menggunakan Vertex AI for Firebase