Memahami dan mengelola kuota Anda

Vertex AI in Firebase memerlukan dua API yang berbeda (masing-masing dengan kuota sendiri): Vertex AI API dan Vertex AI in Firebase API.

Setiap API ini memiliki kuota yang diukur sebagai permintaan per menit (RPM) — khususnya permintaan "buat konten" (baik streaming maupun tanpa streaming). Vertex AI API juga memiliki kuota untuk token input per menit.

Halaman ini menjelaskan hal berikut:

• Memahami kuota untuk Vertex AI API dan Vertex AI in Firebase API

• Melihat kuota di konsol Google Cloud

• Mengedit kuota atau meminta penambahan kuota

Anda dapat mempelajari informasi umum tentang kuota dalam dokumentasi Google Cloud.

Penting: Kuota yang dijelaskan dalam dokumentasi Google Cloud menggantikan kuota apa pun yang dijelaskan di sini dalam dokumentasi Firebase.

Memahami kuota untuk setiap API

Setiap kuota API diukur secara sedikit berbeda, yang berarti bahwa kuota tersebut dapat digunakan untuk tujuan yang berbeda.

Memahami kuota API Vertex AI

Kuota API Vertex AI didasarkan pada "Buat permintaan konten" per model per region per menit.

Berikut adalah beberapa detail penting tentang kuota ini (khususnya, permintaan per menit dan token input per menit):

• Kuota ini berlaku di tingkat project dan digunakan bersama oleh semua aplikasi dan alamat IP yang menggunakan project Firebase tersebut.

• Metrik ini berlaku untuk semua panggilan ke Vertex AI Gemini API, baik menggunakan SDK klien Vertex AI in Firebase, SDK server Vertex AI, Firebase Genkit, Firebase Extensions Gemini, panggilan REST, Vertex AI Studio, atau klien API lainnya.

• Aturan ini berlaku untuk model dasar dan semua versi, ID, serta versi yang telah disesuaikan dari model tersebut. Berikut beberapa contohnya:

  • Permintaan ke gemini-1.0-pro dan permintaan ke gemini-1.0-pro-001 dihitung sebagai dua permintaan terhadap kuota RPM model dasar, gemini-1.0 pro.

  • Permintaan ke gemini-1.0-pro-001 dan permintaan ke model yang disesuaikan yang didasarkan pada gemini-1.0-pro-001 dihitung sebagai dua permintaan terhadap kuota RPM model dasar, gemini-1.0-pro.

• Kuota default untuk setiap model dan untuk setiap wilayah dapat ditemukan dalam dokumentasi Google Cloud.

Pada dasarnya, Anda dapat menganggap kuota API ini sebagai kuota "total" untuk semua pengguna (yang menggunakan fitur AI di aplikasi Anda yang mengandalkan model tertentu dan di wilayah tertentu).

Kuota ini harus cukup tinggi untuk mengakomodasi jumlah total pengguna akhir di wilayah tertentu yang mungkin mengakses fitur AI Anda yang mengandalkan model tertentu. Karena ini adalah kuota per menit, kemungkinan semua pengguna Anda di suatu wilayah akan menggunakan kumpulan fitur yang sama secara bersamaan dan menghabiskan kuota ini relatif kecil. Namun, setiap aplikasi berbeda, jadi sesuaikan kuota ini.

Catatan: Untuk Vertex AI in Firebase, saat melakukan inisialisasi layanan Vertex AI, Anda dapat secara opsional menentukan lokasi untuk menjalankan layanan dan mengakses model. Jika Anda tidak menentukan lokasi, defaultnya adalah us-central1. Setelan "lokasi" ini adalah "region" untuk kuota API Vertex AI.

Memahami kuota API Vertex AI in Firebase

Kuota Vertex AI in Firebase API didasarkan pada opsi "Membuat permintaan konten" per pengguna, per wilayah, dan per menit.

Berikut adalah beberapa detail penting tentang kuota ini (khususnya, permintaan per menit):

• Kebijakan ini berlaku di tingkat project dan berlaku untuk semua aplikasi dan alamat IP yang menggunakan project Firebase tersebut.

• Hal ini berlaku untuk panggilan apa pun yang secara khusus melalui SDK Vertex AI in Firebase apa pun.

• Kuota default adalah 100 RPM per pengguna.
  Perhatikan bahwa Anda masih perlu mempertimbangkan batas kuota untuk Vertex AI API, terutama jika lebih rendah dari 100 RPM ini.

Pada dasarnya, Anda dapat menganggap kuota API ini sebagai kuota "per pengguna" untuk fitur AI yang mengandalkan Vertex AI in Firebase.

Kuota ini harus cukup tinggi untuk mengakomodasi satu pengguna yang mengakses fitur AI yang mengandalkan Vertex AI in Firebase secara wajar. Karena API ini bertindak sebagai gateway ke Vertex AI API, Anda dapat menggunakan kuota Vertex AI in Firebase API untuk memastikan tidak ada satu pengguna pun yang menghabiskan kuota Vertex AI API Anda (yang dimaksudkan untuk dibagikan oleh semua pengguna Anda).

Catatan: Kuota API ini ditetapkan cukup tinggi secara default agar dapat digunakan untuk kasus penggunaan aplikasi apa pun. Sebaiknya Anda menyesuaikan kuota ini untuk memenuhi kebutuhan aktual aplikasi dan kasus penggunaan Anda.

Melihat kuota untuk setiap API

Anda dapat melihat kuota untuk setiap API di konsol Google Cloud.

1. Di konsol Google Cloud, buka halaman untuk API yang diinginkan: Vertex AI API atau Vertex AI in Firebase API.

2. Klik Manage.

3. Di bagian bawah halaman, klik tab Quotas &System Limits.

4. Filter tabel untuk menampilkan kuota yang diinginkan.

   Perlu diperhatikan bahwa untuk membuat filter Dimension, Anda harus menggunakan alat filter, bukan hanya menyalin dan menempel nilai dalam contoh berikut.

   • Untuk Vertex AI API: Tentukan kemampuan (permintaan untuk membuat konten), nama model, dan region.

     Misalnya, untuk melihat kuota guna membuat permintaan konten dengan Gemini 1.5 Flash di salah satu wilayah Uni Eropa yang didukung, filter Anda akan terlihat seperti ini:
     Generate content requests + Dimension:base_model:gemini-1.5-flash + Dimension:region:eu

   • Untuk Vertex AI in Firebase API: Tentukan kemampuan (permintaan untuk membuat konten) dan wilayah.

     Misalnya, untuk melihat kuota per pengguna dalam membuat permintaan konten di wilayah Asia yang didukung, filter Anda akan terlihat seperti ini:
     Generate content requests + Dimension:region:asia

     Perhatikan bahwa kuota API Vertex AI in Firebase tidak didasarkan pada model tertentu. Selain itu, baris kuota (default) tidak berlaku untuk Vertex AI in Firebase.

Mengedit kuota atau meminta penambahan kuota

Sebelum beralih ke produksi atau jika Anda mendapatkan error 429 kuota terlampaui, Anda mungkin perlu mengedit kuota atau meminta peningkatan kuota. Pastikan Anda menyesuaikan kuota setiap API sebagaimana mestinya (lihat Memahami kuota untuk setiap API sebelumnya di halaman ini untuk pertimbangan).

Untuk mengedit kuota, Anda harus memiliki izin serviceusage.quotas.update, yang disertakan secara default dalam peran Pemilik dan Editor.

Catatan: Kedua model Gemini 1.5 (khusus versi -002) mendukung kuota bersama dinamis, yang dapat membantu mengurangi kebutuhan untuk meminta peningkatan kuota.

Berikut cara mengedit kuota atau meminta penambahan kuota:

1. Ikuti petunjuk di subbagian sebelumnya untuk melihat kuota setiap API.

2. Pilih kotak centang di sebelah kiri setiap kuota minat.

3. Di akhir baris kuota, klik menu tiga titik, lalu pilih Edit quota.

4. Dalam formulir Perubahan kuota, lakukan hal berikut:

   1. Masukkan penambahan kuota di kolom Nilai baru.

      Kuota ini berlaku di tingkat project dan digunakan bersama oleh semua aplikasi dan alamat IP yang menggunakan project Firebase tersebut.

   2. Lengkapi kolom tambahan apa pun di formulir, lalu klik Selesai.

   3. Klik Kirim permintaan.