Memantau biaya, penggunaan, dan metrik lainnya

Memantau biaya, penggunaan, dan metrik lainnya dari fitur AI Anda adalah bagian penting dalam menjalankan aplikasi produksi. Anda perlu mengetahui seperti apa pola penggunaan normal untuk aplikasi dan memastikannya tetap berada dalam batas yang penting bagi Anda.

Halaman ini menjelaskan beberapa opsi yang direkomendasikan untuk memantau biaya, penggunaan, dan metrik lainnya di Firebase console dan Google Cloud console.

Memantau biaya

Di dasbor Usage and Billing Firebase console, Anda dapat melihat biaya project untuk memanggil Vertex AI Gemini API dan Gemini Developer API (jika Anda menggunakan paket harga Blaze).

Biaya yang ditampilkan di dasbor tidak harus spesifik untuk panggilan menggunakan Firebase AI Logic client SDKs. Biaya yang ditampilkan terkait dengan panggilan apa pun ke "Gemini APIs" tersebut, baik menggunakan the Firebase AI Logic client SDKs, the Google GenAI server SDKs, Genkit, the Firebase Extensions for the Gemini API, panggilan REST, salah satu AI Studio, atau klien API lainnya.

Pelajari lebih lanjut harga untuk produk yang terkait dengan penggunaan Firebase AI Logic.

Menyiapkan pemberitahuan

Untuk menghindari tagihan yang tidak terduga, pastikan Anda menyiapkan pemberitahuan anggaran jika menggunakan paket harga Blaze.

Perhatikan bahwa pemberitahuan anggaran bukan merupakan batas anggaran. Notifikasi akan mengirimkan komunikasi saat Anda mendekati atau melampaui nilai minimum yang dikonfigurasi sehingga Anda dapat mengambil tindakan di aplikasi atau project.

Mengamati penggunaan fitur AI di Firebase console

Anda dapat mengaktifkan pemantauan AI di halaman Firebase AI Logic Firebase console sehingga dapat mengamati berbagai metrik dan penggunaan tingkat aplikasi untuk mendapatkan visibilitas yang komprehensif atas permintaan Anda dari Firebase AI Logic client SDKs. Dasbor ini lebih mendalam daripada jumlah token dasar yang Anda dapatkan dari panggilan ke Count Tokens API.

Catatan: Pemantauan AI di Firebase console tersedia untuk permintaan ke Gemini dan Imagen model saat menggunakan Firebase AI Logic client SDKs. Namun, pemantauan AI tidak mendukung panggilan ke model Gemini Live API.

Kemampuan utama pemantauan AI di Firebase console meliputi:

• Melihat metrik kuantitatif seperti volume permintaan, latensi, error, dan penggunaan token per modalitas untuk setiap aplikasi Anda.

• Memeriksa pelacakan untuk melihat atribut, input, dan output permintaan Anda, yang dapat membantu proses debug dan peningkatan kualitas.

• Mengelompokkan data berdasarkan dimensi seperti status permintaan, latensi minimum, nama model, dan lainnya.

Semua fitur ini dibuat menggunakan Google Cloud Observability Suite (lihat informasi produk mendetail di bawah).

Mengaktifkan pemantauan AI

Semua dokumen kami mengasumsikan bahwa Anda menggunakan versi terbaru dari Firebase AI Logic SDK.

Berikut cara mengaktifkan pemantauan AI di Firebase console:

• Saat Anda menjalani alur kerja penyiapan awal yang dipandu dari halaman AI Services > Firebase AI Logic

• Kapan saja di tab AI Services > AI Logic > Settings

Persyaratan untuk mengaktifkan dan menggunakan pemantauan AI:

• Anda harus menjadi Pemilik, Editor, atau Admin Firebase Vertex AI project.

• Aplikasi Anda harus menggunakan setidaknya versi library Firebase berikut:
  iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+

• Aplikasi Anda harus mengaktifkan pengumpulan data pilihan enabled (diaktifkan secara default).

Setelah aplikasi Anda memenuhi persyaratan ini dan Anda mengaktifkan pemantauan AI di console, Anda tidak perlu melakukan hal lain di aplikasi atau console untuk mulai melihat data mengisi dasbor di tab AI Services > AI Logic > AI monitoring. Mungkin ada sedikit penundaan (terkadang hingga 5 menit) sebelum telemetri dari permintaan tersedia di Firebase console.

Penggunaan lanjutan

Bagian ini menjelaskan konfigurasi frekuensi pengambilan sampel, serta berbagai opsi untuk melihat dan menggunakan data Anda.

Frekuensi pengambilan sampel

Jika Anda membuat banyak permintaan, sebaiknya manfaatkan konfigurasi frekuensi pengambilan sampel. Frekuensi pengambilan sampel menunjukkan proporsi permintaan yang detail pelacakannya benar-benar dikumpulkan.

Di tab AI Services > AI Logic > Settings Firebase console, Anda dapat mengonfigurasi frekuensi pengambilan sampel untuk project Anda ke nilai dari 1 hingga 100%, dengan 100% berarti pemantauan AI akan mengumpulkan pelacakan dari semua traffic Anda. Nilai defaultnya adalah 100%. Mengumpulkan lebih sedikit pelacakan akan mengurangi biaya, tetapi juga akan mengurangi jumlah pelacakan yang dapat Anda pantau. Perhatikan bahwa terlepas dari frekuensi pengambilan sampel, grafik yang ditampilkan di dasbor pemantauan akan selalu mencerminkan volume traffic yang sebenarnya.

Opsi tambahan di luar Firebase console

Selain pemantauan AI yang tersedia di Firebase konsol, pertimbangkan opsi berikut:

• Jelajahi Vertex AI Model Garden.
  Dasbor ini memberikan insight tren lebih lanjut tentang latensi dan throughput untuk model terkelola, yang melengkapi insight Anda dari pemantauan AI di konsol Firebase.

• Jelajahi dan gunakan data Anda dengan Google Cloud Observability Suite
  Karena data telemetri untuk pemantauan AI disimpan di Google Cloud Observability Suite yang terkait dengan project Anda, Anda dapat menjelajahi data di dasbornya, termasuk Trace Explorer dan Logs Explorer, yang ditautkan saat Anda memeriksa pelacakan individual di Firebase console. Anda juga dapat menggunakan data untuk membuat dasbor kustom, menyiapkan pemberitahuan, dan lainnya.

Informasi mendetail tentang produk yang digunakan untuk pemantauan AI

Pemantauan AI menyimpan data telemetri Anda di berbagai produk yang tersedia di Google Cloud Observability Suite, termasuk Cloud Monitoring, Cloud Trace, dan Cloud Logging.

• Cloud Monitoring: Menyimpan metrik, termasuk jumlah permintaan, tingkat keberhasilan, dan latensi permintaan.

• Cloud Trace: Menyimpan pelacakan untuk setiap permintaan Anda sehingga Anda dapat melihat detailnya satu per satu, bukan secara agregat. Pelacakan biasanya dikaitkan dengan log sehingga Anda dapat memeriksa konten dan waktu setiap interaksi.

• Cloud Logging: Mengambil metadata input, output, dan konfigurasi untuk memberikan detail yang lengkap tentang setiap bagian permintaan AI Anda.

Karena data telemetri Anda disimpan di produk ini, Anda dapat menentukan setelan retensi dan akses langsung dalam setiap produk (pelajari lebih lanjut dalam dokumentasi untuk Cloud Monitoring, Cloud Trace , dan Cloud Logging).

Perhatikan bahwa pemantauan AI menyimpan perintah sebenarnya dan output yang dihasilkan dari setiap permintaan sampel di Cloud Logging sehingga data ini dapat diakses di Firebase console. Anda dapat menonaktifkan penyimpanan perintah dan respons secara opsional .

Penting: Jika Anda menggunakan grounding dengan Google Penelusuran, Anda bertanggung jawab untuk memastikan bahwa periode retensi, atau periode kustom yang Anda tetapkan, sepenuhnya selaras dengan kasus penggunaan spesifik Anda dan persyaratan kepatuhan tambahan untuk penyedia Gemini API yang Anda pilih: Gemini Developer API atau Vertex AI Gemini API (lihat Persyaratan Layanan bagian dalam Persyaratan Khusus Layanan). Anda mungkin perlu menyesuaikan periode retensi di Cloud Logging untuk memenuhi persyaratan ini.

Harga

• Project dengan paket harga Spark tanpa biaya (hanya tersedia saat menggunakan Gemini Developer API): Penggunaan layanan yang mendasarinya untuk pemantauan AI tidak dikenai biaya.

• Project dengan paket harga Blaze bayar sesuai penggunaan: Anda akan dikenai biaya untuk penggunaan produk Google Cloud Observability Suite yang mendasarinya yang digunakan pemantauan AI (terlepas dari penyedia Gemini API yang Anda pilih). Namun, setiap produk Google Cloud Observability Suite memiliki paket tanpa biaya yang besar. Pelajari lebih lanjut dalam Google Cloud Observability Suite dokumentasi harga.

(Opsional) Menonaktifkan penyimpanan perintah dan respons

Secara default, pemantauan AI mengambil perintah sebenarnya yang dikirim ke model dan respons yang dihasilkan oleh model, termasuk informasi sensitif (seperti Informasi Identitas Pribadi (PII)) dalam perintah dan respons tersebut. Semua data ini disimpan di Cloud Logging sehingga dapat diakses di Firebase console.

Untuk menonaktifkan penyimpanan perintah dan respons, tambahkan filter pengecualian berikut ke Cloud Logging sink Anda (biasanya sink _Default): resource.type="firebasevertexai.googleapis.com/Model".

Melihat metrik API tingkat project di konsol Google Cloud

Untuk setiap API, Anda dapat melihat metrik tingkat project, seperti penggunaan, di Google Cloud konsol.

Perhatikan bahwa halaman Google Cloud console yang dijelaskan di bagian ini tidak menyertakan informasi seperti konten permintaan dan respons serta jumlah token. Untuk memantau jenis informasi tersebut, pertimbangkan untuk menggunakan pemantauan AI di Firebase console (lihat bagian sebelumnya).

1. Di Google Cloud console, buka halaman Metrics API yang ingin Anda lihat:

   • Vertex AI API: Lihat penggunaan yang terkait dengan permintaan apa pun ke Vertex AI Gemini API.

     • Mencakup permintaan menggunakan Firebase AI Logic client SDKs, Google GenAI server SDKs, Genkit, Firebase Extensions untuk Gemini API, REST API, Vertex AI Studio, dll.

   • Gemini Developer API: Lihat penggunaan yang terkait dengan permintaan apa pun ke Gemini Developer API.

     • Mencakup permintaan menggunakan the Firebase AI Logic client SDKs, the Google GenAI server SDKs, Genkit, the Firebase Extensions for the Gemini API, REST API, Google AI Studio, dll.
     • Nama tampilan API ini di Google Cloud konsol adalah "Generative Language API".

   Jika Anda berada di "halaman ringkasan" untuk API, klik Manage, lalu klik tab Metrics.

   Catatan: Di Google Cloud console, Anda juga dapat melihat metrik tingkat project untuk Firebase AI Logic API, yang merupakan layanan proxy untuk Firebase AI Logic. Metrik ini akan mencerminkan permintaan hanya dari Firebase AI Logic client SDKs.

2. Gunakan menu drop-down untuk melihat metrik yang diinginkan, seperti traffic menurut kode respons, error menurut metode API, latensi keseluruhan, dan latensi menurut metode API.