Memantau biaya, penggunaan, dan metrik lainnya

Memantau biaya, penggunaan, dan metrik lainnya dari fitur AI Anda adalah bagian penting dalam menjalankan aplikasi produksi. Anda perlu mengetahui seperti apa pola penggunaan normal untuk aplikasi Anda dan memastikan Anda tetap berada dalam batas yang penting bagi Anda.

Halaman ini menjelaskan beberapa opsi yang direkomendasikan untuk memantau biaya, penggunaan, dan metrik lainnya di konsol Firebase dan konsol Google Cloud.

Memantau biaya

Di dasbor Penggunaan dan Penagihan di Firebase console, Anda dapat melihat biaya project untuk memanggil Vertex AI Gemini API dan Gemini Developer API (jika Anda menggunakan paket harga Blaze).

Biaya yang ditampilkan di dasbor tidak selalu spesifik untuk panggilan menggunakan SDK klien Firebase AI Logic. Biaya yang ditampilkan terkait dengan panggilan apa pun ke "Gemini API" tersebut, baik menggunakan SDK klien Firebase AI Logic, SDK server GenAI Google, Genkit, Firebase Extensions untuk Gemini API, panggilan REST, salah satu AI Studio, atau klien API lainnya.

Pelajari lebih lanjut harga untuk produk yang terkait dengan penggunaan Firebase AI Logic Anda.

Menyiapkan pemberitahuan

Untuk menghindari tagihan yang tidak terduga, pastikan Anda menyiapkan pemberitahuan anggaran jika Anda menggunakan paket harga Blaze.

Perhatikan bahwa pemberitahuan anggaran bukan batas anggaran. Notifikasi akan mengirimkan komunikasi saat Anda mendekati atau melampaui nilai minimum yang dikonfigurasi sehingga Anda dapat mengambil tindakan di aplikasi atau project.

Amati penggunaan fitur AI Anda di Firebase console

Hanya tersedia saat menggunakan Vertex AI Gemini API sebagai penyedia API Anda.

Anda dapat mengaktifkan pemantauan AI di halaman Firebase AI Logic di Firebase console sehingga Anda dapat mengamati berbagai metrik dan penggunaan tingkat aplikasi untuk mendapatkan visibilitas yang komprehensif terhadap permintaan Anda dari SDK klien Firebase AI Logic. Dasbor ini lebih mendalam daripada jumlah token dasar yang Anda dapatkan dari panggilan ke Count Tokens API.

Kemampuan utama pemantauan AI di konsol Firebase meliputi:

  • Melihat metrik kuantitatif seperti volume permintaan, latensi, error, dan penggunaan token per modalitas untuk setiap aplikasi Anda.

  • Memeriksa rekaman aktivitas untuk melihat atribut, input, dan output permintaan Anda, yang dapat membantu proses debug dan peningkatan kualitas.

  • Mengelompokkan data berdasarkan dimensi seperti status permintaan, latensi minimum, nama model, dan lainnya.

Semua fitur ini dibuat menggunakan Google Cloud Observability Suite (lihat informasi produk mendetail di bawah).

Mengaktifkan pemantauan AI

Berikut cara mengaktifkan pemantauan AI di konsol Firebase:

Persyaratan untuk mengaktifkan dan menggunakan pemantauan AI:

  • Anda harus menjadi Pemilik, Editor, atau Admin Firebase Vertex AI project.

  • Project Firebase Anda harus menggunakan paket harga Blaze bayar sesuai penggunaan (lihat informasi produk mendetail di bawah).

  • Anda harus menggunakan Vertex AI Gemini API sebagai penyedia API (dukungan untuk Gemini Developer API akan segera hadir).

  • Aplikasi Anda harus menggunakan setidaknya versi library Firebase berikut:
    iOS+: v11.13.0+ | Android: v16.0.0+ (BoM: v33.14.0+) | Web: v11.8.0+ | Flutter: v2.0.0+ (BoM: v3.11.0+) | Unity: v12.9.0+

  • Aplikasi Anda harus mengaktifkan pengumpulan data keikutsertaan (ini diaktifkan secara default).

Setelah aplikasi Anda memenuhi persyaratan ini dan Anda mengaktifkan pemantauan AI di konsol, Anda tidak perlu melakukan tindakan lain di aplikasi atau konsol untuk mulai melihat data mengisi dasbor di tab Firebase AI Logic Pemantauan AI. Mungkin ada sedikit penundaan (terkadang hingga 5 menit) sebelum telemetri dari permintaan tersedia di konsol Firebase.

Penggunaan lanjutan

Bagian ini menjelaskan konfigurasi rasio pengambilan sampel, serta berbagai opsi untuk melihat dan menggunakan data Anda.

Frekuensi pengambilan sampel

Jika Anda membuat sejumlah besar permintaan, sebaiknya manfaatkan konfigurasi rasio pengambilan sampel. Frekuensi sampling menunjukkan proporsi permintaan yang datanya benar-benar dikumpulkan.

Di tab Firebase AI Logic Setelan di konsol Firebase, Anda dapat mengonfigurasi rasio pengambilan sampel untuk project ke nilai dari 1 hingga 100%, dengan 100% akan mengirimkan semua traffic Anda ke pemantauan AI. Nilainya adalah 100% secara default. Mengirim lebih banyak traffic akan meningkatkan akurasi metrik Anda, tetapi juga akan meningkatkan biaya pemantauan Anda. Perlu diingat bahwa grafik yang ditampilkan di dasbor pemantauan didasarkan pada rasio pengambilan sampel Anda, jadi jika rasio pengambilan sampel Anda adalah 50%, Anda harus menggandakan jumlah permintaan, penggunaan token, dll. untuk memperkirakan volume sebenarnya.

Opsi tambahan di luar konsol Firebase

Selain pemantauan AI yang tersedia di konsol Firebase, pertimbangkan opsi berikut:

  • Jelajahi Vertex AI Model Garden.
    Dasbor ini memberikan insight tren lebih lanjut tentang latensi dan throughput untuk model terkelola, yang melengkapi insight Anda dari pemantauan AI di konsol Firebase.

  • Jelajahi dan gunakan data Anda dengan Google Cloud Observability Suite
    Karena data telemetri untuk pemantauan AI disimpan di Google Cloud Observability Suite yang terkait dengan project Anda, Anda dapat menjelajahi data di dasbornya, termasuk Trace Explorer dan Logs Explorer, yang ditautkan ke saat Anda memeriksa setiap rekaman aktivitas di konsol Firebase. Anda juga dapat menggunakan data untuk membuat dasbor kustom, menyiapkan pemberitahuan, dan lainnya.

Informasi mendetail tentang produk yang digunakan untuk pemantauan AI

Pemantauan AI menyimpan data telemetri Anda di berbagai produk yang tersedia di Google Cloud Observability Suite, termasuk Cloud Monitoring, Cloud Trace, dan Cloud Logging.

  • Cloud Monitoring: Menyimpan metrik, termasuk jumlah permintaan, rasio keberhasilan, dan latensi permintaan.

  • Cloud Trace: Menyimpan rekaman aktivitas untuk setiap permintaan Anda sehingga Anda dapat melihat detailnya satu per satu, bukan secara gabungan. Rekaman aktivitas biasanya dikaitkan dengan log sehingga Anda dapat memeriksa konten dan waktu setiap interaksi.

  • Cloud Logging: Mengambil metadata input, output, dan konfigurasi untuk memberikan detail lengkap tentang setiap bagian permintaan AI Anda.

Karena data telemetri Anda disimpan di produk ini, Anda dapat menentukan setelan retensi dan akses langsung dalam setiap produk (pelajari lebih lanjut dalam dokumentasi untuk Cloud Monitoring, Cloud Trace, dan Cloud Logging). Perhatikan bahwa perintah dan output yang dihasilkan dari setiap permintaan sampel disimpan bersama dengan metrik.

Harga

Google Cloud Observability Suite adalah layanan berbayar, jadi project Firebase Anda harus menggunakan paket harga Blaze bayar sesuai penggunaan. Namun, setiap produk memiliki tingkat tanpa biaya yang besar. Pelajari lebih lanjut di dokumentasi harga Google Cloud Observability Suite.

Melihat metrik API tingkat project di konsol Google Cloud

Untuk setiap API, Anda dapat melihat metrik tingkat project, seperti penggunaan, di konsol Google Cloud.

Perhatikan bahwa halaman konsol Google Cloud yang dijelaskan di bagian ini tidak mencakup informasi seperti konten permintaan dan respons serta jumlah token. Untuk memantau jenis informasi tersebut, pertimbangkan untuk menggunakan pemantauan AI di konsol Firebase (lihat bagian sebelumnya).

  1. Di konsol Google Cloud, buka halaman Metrics API yang ingin Anda lihat:

    • Vertex AI API: Lihat penggunaan yang terkait dengan permintaan apa pun ke Vertex AI Gemini API.

      • Mencakup permintaan menggunakan SDK klien Firebase AI Logic, SDK server GenAI Google, Genkit, Firebase Extensions untuk Gemini API, REST API, Vertex AI Studio, dll.

    • Gemini Developer API: Melihat penggunaan yang terkait dengan permintaan apa pun ke Gemini Developer API.

      • Mencakup permintaan menggunakan SDK klien Firebase AI Logic, SDK server GenAI Google, Genkit, Firebase Extensions untuk Gemini API, REST API, Google AI Studio, dll.
      • Nama tampilan API ini di konsol Google Cloud adalah "Generative Language API".

    Jika Anda berada di "halaman ringkasan" untuk API, klik Kelola, lalu klik tab Metrik.

  2. Gunakan menu drop-down untuk melihat metrik yang diinginkan, seperti traffic menurut kode respons, error menurut metode API, latensi keseluruhan, dan latensi menurut metode API.