Melihat resource AI dengan Pemantauan Aplikasi

Dokumen ini menjelaskan cara melihat telemetri untuk resource AI yang digunakan oleh aplikasi, layanan, dan workload yang terdaftar di App Hub.

Untuk membuat metrik seperti rasio error, latensi, dan penggunaan token, Pemantauan Aplikasi akan membuat kueri data rekaman aktivitas Anda untuk label khusus aplikasi dan peristiwa yang mengikuti konvensi semantik OpenTelemetry GenAI. Metrik ini mengukur kesehatan, performa, dan biaya resource AI Anda, dan tersedia sebagai data gabungan untuk aplikasi atau sebagai data terperinci untuk layanan dan workload individual.

Dasbor berikut menampilkan informasi resource AI untuk aplikasi terdaftar:

Dasbor yang menampilkan informasi resource AI.

Sebelum memulai

Prosedur dalam dokumen ini memerlukan Google Cloud project dengan resource AI aktif untuk dianalisis. Prosedur ini juga mengharuskan resource AI Anda dikaitkan dengan aplikasi, layanan, dan workload yang terdaftar di App Hub. Pemantauan Aplikasi memerlukan data telemetri dan rekaman aktivitas untuk menghasilkan hasil yang bermakna.

Mengonfigurasi peran, API, dan menyiapkan Pemantauan Aplikasi

  1. Selesaikan langkah-langkah yang ditentukan dalam Menyelidiki aplikasi, layanan, dan workload: Sebelum memulai.

  2. Aktifkan API Observability, Cloud Trace, dan Telemetry.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

    Aktifkan API

  3. Untuk mendapatkan izin yang Anda perlukan untuk melihat informasi penggunaan resource AI, minta administrator Anda untuk memberi Anda peran IAM berikut:

    Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mengembangkan dan mendaftarkan aplikasi, layanan, dan workload

Untuk menampilkan data resource AI yang digunakan oleh aplikasi, layanan, dan workload Anda, data rekaman aktivitas Anda harus berisi peristiwa dan label khusus aplikasi yang mengikuti konvensi semantik OpenTelemetry GenAI. Anda bisa mendapatkan label ini dengan menyelesaikan langkah-langkah berikut:

  1. Daftarkan aplikasi Anda serta layanan dan workload-nya ke App Hub.
  2. Gunakan framework Agent Development Kit (ADK) atau instrumentasikan aplikasi Anda dengan OpenTelemetry dan kirim data rekaman aktivitas Anda ke Telemetry API. Untuk contoh instrumentasi, lihat Menginstrumentasikan aplikasi ADK dengan OpenTelemetry dan Ringkasan contoh instrumentasi berbasis pengumpul.

Melihat resource AI untuk aplikasi

Untuk melihat resource AI yang terkait dengan aplikasi, lakukan hal berikut:

  1. Di Google Cloud Konsol, buka halaman Application monitoring:

    Buka Application monitoring

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Di toolbar Konsol, pilih project host App Hub atau project pengelolaan Anda. Google Cloud

  3. Pilih tab Applications, lalu pilih aplikasi dari daftar.

  4. Pilih tab Dashboards.

  5. Di Table of contents dasbor, pilih AI resources.

    Sistem akan membuat entri AI resources jika Anda memiliki setidaknya satu agen AI yang terkait dengan aplikasi Anda yang aktif. Jika Anda tidak memiliki agen atau semua agen tidak aktif, opsi ini tidak akan tercantum.

Dasbor akan membuka bagian AI resources, yang menampilkan informasi seperti berikut:

  • Total kueri per detik dan jumlah token.
  • Rasio error rata-rata, latensi, dan rasio error panggilan alat.
  • Penggunaan token.
  • Rasio error dan latensi untuk agen.

Melihat resource AI untuk layanan atau workload

Untuk melihat resource AI yang terkait dengan layanan atau workload, lakukan hal berikut:

  1. Buka dasbor untuk layanan atau workload:

    1. Di Google Cloud Konsol, buka halaman Application monitoring:

      Buka Application monitoring

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

    2. Pilih tab Services and Workloads , lalu pilih layanan atau workload.

    Dasbor untuk layanan atau workload akan terbuka. Table of contents mencantumkan bagian di dasbor, yang mungkin bergantung pada jenis resource AI.

  2. Untuk membuka bagian dasbor dengan informasi tentang resource AI Anda, gunakan Table of contents dasbor:

    • Agen: Tersedia untuk agen. Bagian ini menampilkan informasi tentang sesi, pemanggilan agen, dan penggunaan token.

    • Tools: Tersedia untuk agen. Bagian ini menampilkan informasi tentang panggilan alat, termasuk rasio error, jumlah panggilan, dan latensi P95.

    • Model: Tersedia untuk beberapa agen. Bagian ini menampilkan informasi tentang jumlah panggilan model yang dilakukan oleh agen, rasio error, dan penggunaan token.

Menjelajahi telemetri

Kueri SQL terhadap data rekaman aktivitas Anda menentukan data yang ditampilkan pada diagram resource AI. Kueri ini memfilter data rekaman aktivitas berdasarkan label khusus aplikasi dan peristiwa AI generatif yang mengikuti konvensi semantik OpenTelemetry GenAI.

Untuk melihat kueri diagram, di toolbar diagram, pilih More chart options, lalu pilih Explore in Observability Analytics.

Observability Analytics akan terbuka dan menampilkan kueri SQL yang menghasilkan data untuk diagram. Anda memiliki opsi berikut ini:

  • Periksa kueri, lalu kembali ke Pemantauan Aplikasi.
  • Jalankan kueri.
  • Ubah kueri, lalu jalankan kueri yang diubah.
  • Buat diagram yang menampilkan hasil kueri.
  • Simpan diagram yang menampilkan hasil kueri ke dasbor kustom.

Untuk mempelajari lebih lanjut, lihat dokumen berikut: