Consulta los recursos de IA con la Supervisión de la aplicación

En este documento, se describe cómo ver la telemetría de los recursos de IA que usan tus aplicaciones, servicios y cargas de trabajo registrados en App Hub.

Para generar métricas como la tasa de errores, la latencia y el uso de tokens, Application Monitoring consulta tus datos de seguimiento en busca de etiquetas y eventos específicos de la aplicación que siguen las convenciones semánticas de OpenTelemetry GenAI. Estas métricas cuantifican el estado, el rendimiento y el costo de tus recursos de IA, y están disponibles como datos agregados para las aplicaciones o como datos detallados para los servicios y las cargas de trabajo individuales.

En el siguiente panel, se muestra la información de los recursos de IA para una aplicación registrada:

Es un panel que muestra información sobre los recursos de IA.

Antes de comenzar

Los procedimientos que se describen en este documento requieren un Google Cloud proyecto con recursos de IA activos para analizar. También requieren que tus recursos de IA estén asociados con aplicaciones, servicios y cargas de trabajo registrados en App Hub. La supervisión de aplicaciones necesita datos de telemetría y de seguimiento para producir resultados significativos.

Configura roles y APIs, y configura la supervisión de aplicaciones

  1. Completa los pasos definidos en Investiga aplicaciones, servicios y cargas de trabajo: Antes de comenzar.

  2. Habilita las APIs de Observability, Cloud Trace y Telemetry.

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

    Habilitar las API

  3. Para obtener los permisos que necesitas y ver la información sobre el uso de recursos de IA, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Desarrolla y registra aplicaciones, servicios y cargas de trabajo

Para mostrar datos de los recursos de IA que usan tus aplicaciones, servicios y cargas de trabajo, tus datos de seguimiento deben contener etiquetas y eventos específicos de la aplicación que sigan las convenciones semánticas de OpenTelemetry GenAI. Para obtener estas etiquetas, completa los siguientes pasos:

  1. Registra tu aplicación, sus servicios y cargas de trabajo en App Hub.
  2. Usa el framework del Kit de desarrollo de agentes (ADK) o instrumenta tu aplicación con OpenTelemetry y envía tus datos de seguimiento a la API de Telemetry. Para ver muestras de instrumentación, consulta Instrumenta aplicaciones del ADK con OpenTelemetry y Descripción general de las muestras de instrumentación basadas en el recopilador.

Cómo ver los recursos de IA de una aplicación

Para ver los recursos de IA asociados a una aplicación, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página Supervisión de aplicaciones:

    Ir a Monitoring de aplicaciones

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.

  2. En la barra de herramientas de la consola de Google Cloud , selecciona tu proyecto host o de administración de App Hub.

  3. Selecciona la pestaña Aplicaciones y, luego, la aplicación de la lista.

  4. Selecciona la pestaña Paneles.

  5. En el Índice del panel, selecciona Recursos de IA.

    El sistema crea la entrada Recursos de IA cuando tienes al menos un agente de IA asociado con tu aplicación que está activo. Si no tienes ningún agente o todos están inactivos, la opción no aparecerá en la lista.

El panel se dirige a la sección Recursos de IA, en la que se muestra información como la siguiente:

  • Cantidad total de consultas por segundo y recuento de tokens.
  • Tasa de errores promedio, latencia y tasa de errores de llamadas a herramientas.
  • Uso de tokens.
  • Tasas de errores y latencia de los agentes

Visualiza los recursos de IA para un servicio o una carga de trabajo

Para ver los recursos de IA asociados a un servicio o carga de trabajo, haz lo siguiente:

  1. Abre el panel del servicio o la carga de trabajo:

    1. En la consola de Google Cloud , ve a la página Supervisión de aplicaciones:

      Ir a Monitoring de aplicaciones

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.

    2. Selecciona la pestaña Servicios y cargas de trabajo y, luego, el servicio o la carga de trabajo.

    Se abrirá el panel del servicio o la carga de trabajo. El Índice enumera las secciones del panel, que pueden depender del tipo de recurso de IA.

  2. Para ir a la sección del panel que contiene información sobre tus recursos de IA, usa el Índice del panel:

    • Agente: Disponible para agentes. En esta sección, se muestra información sobre las sesiones, las invocaciones de agentes y el uso de tokens.

    • Herramientas: Están disponibles para los agentes. En esta sección, se muestra información sobre las llamadas a herramientas, como la tasa de error, el recuento de llamadas y la latencia de P95.

    • Modelos: Disponibles para algunos agentes. En esta sección, se muestra información sobre la cantidad de llamadas al modelo que realizó el agente, la tasa de errores y el uso de tokens.

Explora la telemetría

Las consultas en SQL que se ejecutan en tus datos de seguimiento determinan los datos que se muestran en los gráficos de recursos basados en IA. Estas consultas filtran los datos de seguimiento por etiquetas específicas de la aplicación y eventos de IA generativa que siguen las convenciones semánticas de OpenTelemetry GenAI.

Para ver la consulta de un gráfico, en su barra de herramientas, selecciona Más opciones del gráfico y, luego, Explorar en Observability Analytics.

Se abrirá Observability Analytics y se mostrará la consulta en SQL que genera los datos para el gráfico. Tienes las siguientes opciones:

  • Inspecciona la consulta y, luego, regresa a Supervisión de aplicaciones.
  • Ejecuta la consulta.
  • Modifica la consulta y, luego, ejecútala.
  • Crea un gráfico que muestre el resultado de la consulta.
  • Guarda en un panel personalizado un gráfico que muestre el resultado de la consulta.

Para obtener más información, consulta los siguientes documentos: