Memantau biaya, penggunaan, dan metrik lainnya

Memantau biaya, penggunaan, dan metrik lainnya dari fitur AI Anda adalah bagian penting dalam menjalankan aplikasi produksi. Anda perlu mengetahui seperti apa pola penggunaan normal untuk aplikasi dan memastikannya tetap berada dalam batas yang penting bagi Anda.

Halaman ini menjelaskan beberapa opsi yang direkomendasikan untuk memantau biaya, penggunaan, dan metrik lainnya di konsol Firebase dan konsol Google Cloud.

Memantau biaya

Di dasbor Usage and Billing Firebase console, Anda dapat melihat biaya project untuk memanggil Vertex AI Gemini API dan Gemini Developer API (jika Anda menggunakan paket harga Blaze).

Biaya yang ditampilkan di dasbor tidak harus khusus untuk panggilan yang menggunakan SDK klien Firebase AI Logic. Biaya yang ditampilkan dikaitkan dengan panggilan apa pun ke "Gemini API" tersebut, baik menggunakan SDK klien Firebase AI Logic, SDK server Google GenAI, Genkit, Firebase Extensions untuk Gemini API, panggilan REST, salah satu AI Studio, atau klien API lainnya.

Pelajari lebih lanjut harga untuk produk yang terkait dengan penggunaan Firebase AI Logic oleh Anda.

Menyiapkan pemberitahuan

Untuk menghindari tagihan tak terduga, pastikan Anda menyiapkan pemberitahuan anggaran saat menggunakan paket harga Blaze.

Perhatikan bahwa pemberitahuan anggaran bukan batas anggaran. Notifikasi akan mengirimkan komunikasi saat Anda mendekati atau melampaui nilai minimum yang dikonfigurasi sehingga Anda dapat mengambil tindakan di aplikasi atau project.

Mengamati penggunaan fitur AI Anda di Firebase console

Hanya tersedia saat menggunakan Vertex AI Gemini API sebagai penyedia API Anda.

Anda dapat mengaktifkan pemantauan AI di halaman Firebase AI Logic di console Firebase sehingga Anda dapat mengamati berbagai metrik dan penggunaan tingkat aplikasi untuk mendapatkan visibilitas yang komprehensif tentang permintaan Anda dari SDK klien Firebase AI Logic. Dasbor ini lebih mendalam daripada jumlah token dasar yang Anda dapatkan dari panggilan ke Count Tokens API.

Kemampuan utama pemantauan AI di Firebase console meliputi:

  • Melihat metrik kuantitatif seperti volume permintaan, latensi, error, dan penggunaan token per modalitas untuk setiap aplikasi Anda.

  • Memeriksa rekaman aktivitas untuk melihat atribut, input, dan output permintaan Anda, yang dapat membantu proses debug dan peningkatan kualitas.

  • Memotong data menurut dimensi seperti status permintaan, latensi minimum, nama model, dan lainnya.

Semua fitur ini dibuat menggunakan Google Cloud Observability Suite (lihat informasi produk mendetail di bawah).

Mengaktifkan pemantauan AI

Berikut cara mengaktifkan pemantauan AI di konsol Firebase:

Persyaratan untuk mengaktifkan dan menggunakan pemantauan AI:

  • Anda harus menjadi Pemilik, Editor, atau Admin Firebase Vertex AI project.

  • Project Firebase Anda harus menggunakan paket harga Blaze bayar sesuai penggunaan (lihat informasi produk mendetail di bawah).

  • Anda harus menggunakan Vertex AI Gemini API sebagai penyedia API (dukungan untuk Gemini Developer API akan segera hadir).

  • Aplikasi Anda harus menggunakan setidaknya versi library Firebase berikut:
    iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+

  • Aplikasi Anda harus mengaktifkan pengumpulan data keikutsertaan (ini diaktifkan secara default).

Setelah aplikasi memenuhi persyaratan ini dan Anda mengaktifkan pemantauan AI di konsol, Anda tidak perlu melakukan tindakan lain di aplikasi atau konsol untuk mulai melihat data mengisi dasbor di Firebase AI Logic tab Pemantauan AI. Mungkin ada sedikit keterlambatan (terkadang hingga 5 menit) sebelum telemetri dari permintaan tersedia di konsol Firebase.

Penggunaan lanjutan

Bagian ini menjelaskan konfigurasi frekuensi sampling, serta berbagai opsi untuk melihat dan menggunakan data Anda.

Frekuensi pengambilan sampel

Jika Anda membuat permintaan dalam jumlah besar, sebaiknya manfaatkan konfigurasi frekuensi sampling. Frekuensi sampling menunjukkan proporsi permintaan yang datanya benar-benar dikumpulkan.

Di tab Settings Firebase AI Logic Firebase console, Anda dapat mengonfigurasi frekuensi sampling untuk project ke nilai dari 1 hingga 100%, dengan 100% akan mengirim semua traffic Anda ke pemantauan AI. Secara default, nilainya adalah 100%. Mengirim lebih banyak traffic akan meningkatkan akurasi metrik Anda; tetapi, hal ini juga akan meningkatkan biaya pemantauan. Perlu diingat bahwa grafik yang ditampilkan di dasbor pemantauan didasarkan pada frekuensi sampling, jadi jika frekuensi sampling Anda adalah 50%, Anda harus melipatgandakan jumlah permintaan, penggunaan token, dll. untuk memperkirakan volume sebenarnya.

Opsi tambahan di luar konsol Firebase

Selain pemantauan AI yang tersedia di konsol Firebase, pertimbangkan opsi berikut:

  • Jelajahi Vertex AI Model Garden.
    Dasbor ini memberikan insight tren lebih lanjut tentang latensi dan throughput untuk model terkelola, yang melengkapi insight Anda dari pemantauan AI di konsol Firebase.

  • Jelajahi dan gunakan data Anda dengan Google Cloud Observability Suite
    Karena data telemetri untuk pemantauan AI disimpan di Google Cloud Observability Suite yang terkait dengan project Anda, Anda dapat menjelajahi data di dasbor, termasuk Trace Explorer dan Logs Explorer, yang ditautkan saat Anda memeriksa setiap rekaman aktivitas di konsol Firebase. Anda juga dapat menggunakan data untuk membuat dasbor kustom, menyiapkan pemberitahuan, dan lainnya.

Informasi mendetail tentang produk yang digunakan untuk pemantauan AI

Pemantauan AI menyimpan data telemetri Anda di berbagai produk yang tersedia di Google Cloud Observability Suite, termasuk Cloud Monitoring, Cloud Trace, dan Cloud Logging.

  • Cloud Monitoring: Menyimpan metrik, termasuk jumlah permintaan, rasio keberhasilan, dan latensi permintaan.

  • Cloud Trace: Menyimpan rekaman aktivitas untuk setiap permintaan sehingga Anda dapat melihat detail satu per satu, bukan secara gabungan. Rekaman aktivitas biasanya dikaitkan dengan log sehingga Anda dapat memeriksa konten dan waktu setiap interaksi.

  • Cloud Logging: Merekam metadata input, output, dan konfigurasi untuk memberikan detail lengkap tentang setiap bagian permintaan AI Anda.

Karena data telemetri Anda disimpan di produk ini, Anda dapat menentukan setelan retensi dan akses secara langsung dalam setiap produk (pelajari lebih lanjut dalam dokumentasi untuk Cloud Monitoring, Cloud Trace, dan Cloud Logging). Perhatikan bahwa perintah sebenarnya dan output yang dihasilkan dari setiap permintaan sampel disimpan bersama dengan metrik.

Harga

Google Cloud Observability Suite adalah layanan berbayar, sehingga project Firebase Anda harus menggunakan paket harga Blaze bayar sesuai penggunaan. Namun, setiap produk memiliki tingkatan tanpa biaya yang cukup besar. Pelajari lebih lanjut di dokumentasi harga Google Cloud Observability Suite.

Melihat metrik API tingkat project di konsol Google Cloud

Untuk setiap API, Anda dapat melihat metrik tingkat project, seperti penggunaan, di Google Cloud console.

Perhatikan bahwa halaman konsol Google Cloud yang dijelaskan di bagian ini tidak menyertakan informasi seperti konten permintaan dan respons serta jumlah token. Untuk memantau jenis informasi tersebut, pertimbangkan untuk menggunakan pemantauan AI di Firebase console (lihat bagian sebelumnya).

  1. Di konsol Google Cloud, buka halaman Metrics dari API yang ingin Anda lihat:

    • Vertex AI API: Lihat penggunaan yang terkait dengan permintaan apa pun ke Vertex AI Gemini API.

      • Mencakup permintaan yang menggunakan SDK klien Firebase AI Logic, SDK server Google GenAI, Genkit, Firebase Extensions untuk Gemini API, REST API, Vertex AI Studio, dll.

    • Gemini Developer API: Lihat penggunaan yang terkait dengan permintaan apa pun ke Gemini Developer API.

      • Mencakup permintaan yang menggunakan SDK klien Firebase AI Logic, SDK server Google GenAI, Genkit, Firebase Extensions untuk Gemini API, REST API, Google AI Studio, dll.
      • Nama tampilan API ini di konsol Google Cloud adalah "Generative Language API".

    Jika Anda berada di "halaman ringkasan" untuk API, klik Kelola, lalu klik tab Metrik.

  2. Gunakan menu drop-down untuk melihat metrik yang diinginkan, seperti traffic berdasarkan kode respons, error berdasarkan metode API, latensi secara keseluruhan, dan latensi berdasarkan metode API.