Realiza un seguimiento del linaje de datos con Knowledge Catalog

En esta página, se explica cómo hacer un seguimiento del linaje de datos de tu instancia de Looker (Google Cloud Core) con Knowledge Catalog.

El linaje de datos es el proceso de hacer un seguimiento de cómo fluyen los datos a través de tus sistemas. Si integras Looker (Google Cloud Core) con Knowledge Catalog, puedes visualizar el recorrido integral de tus datos, desde su fuente en BigQuery hasta el consumo posterior en los paneles y Looks, pasando por la capa semántica de Looker (vistas de LookML y Explorar).

Esta visibilidad ayuda a los ingenieros y administradores de datos a realizar un análisis de impacto. Por ejemplo, antes de descartar una columna en una tabla de BigQuery, puedes consultar el gráfico de linaje para ver exactamente qué paneles de Looker se dañarían con el cambio.

Antes de comenzar

Para usar el linaje de datos con Looker (Google Cloud Core), debes cumplir con los siguientes requisitos previos:

  1. Looker (Google Cloud Core): El linaje de datos es compatible con todos los tipos de edición de las instancias de Looker (Google Cloud Core). Las instancias de Looker (original) no se integran con Knowledge Catalog.
  2. Permisos requeridos: Para ver los gráficos de linaje, necesitas los siguientes roles de IAM:
    • Visor de esquemas de Looker (roles/looker.schemaViewer) en el proyecto que aloja la instancia de Looker (Google Cloud Core)
    • Visualizador de Dataplex (roles/dataplex.viewer) o permisos equivalentes para ver los recursos de Knowledge Catalog
    • Visualizador de linaje de datos (roles/datalineage.viewer) para leer datos de linaje

Habilita el linaje de datos

Para habilitar el linaje de datos, completa cada uno de los siguientes pasos:

  1. Habilita la integración de Universal Catalog para Looker (Google Cloud Core): La integración entre tu instancia de Looker (Google Cloud Core) y Knowledge Catalog está habilitada de forma predeterminada en la consola de Google Cloud . Si la integración se inhabilitó, debes volver a habilitarla. Consulta Habilita la integración para obtener instrucciones.
  2. Habilita la función de vista previa de Knowledge Catalog Lineage en Looker: La función de vista previa de Knowledge Catalog Lineage está inhabilitada de forma predeterminada en la página Funciones de vista previa del panel Administrador de tu instancia de Looker (Google Cloud Core).
  3. Habilita la API de Data Lineage: Debes habilitar la API de Data Lineage (datalineage.googleapis.com) en todos los proyectos de Google Cloud que alojan tu instancia de Looker (Google Cloud Core) y tus datos de BigQuery.

    Habilita la API de Data Lineage

  4. Habilita la transferencia de metadatos de linaje a nivel del servicio: Ensure de que la integración a nivel del servicio de Looker (Google Cloud Core) y el linaje estén habilitados. El linaje a nivel del servicio se ajusta a los siguientes estados predeterminados:
    • Para evitar implicaciones futuras en los precios, la transferencia de linaje a nivel de servicio de Looker (Google Cloud Core) está inhabilitada de forma predeterminada para los proyectos que, en la fecha de lanzamiento de la versión preliminar de esta función, tenían habilitada la API de Data Lineage y alojaban al menos una instancia de Looker (Google Cloud Core).
    • La transferencia de metadatos de linaje a nivel del servicio está habilitada de forma predeterminada para las instancias de Looker (Google Cloud Core) creadas después de la fecha de lanzamiento de la versión preliminar de esta función en proyectos con la API de Data Lineage habilitada.

Para ver la configuración del linaje de un proyecto Google Cloud , consulta la documentación de Obtén la configuración actual. Si la integración con Looker (Google Cloud Core) está inhabilitada, el comando devolverá un resultado similar al siguiente:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

El ID del proyecto en la respuesta reflejará el ID de tu solicitud. El campo etag es una suma de comprobación que genera el servidor y que se basa en el valor actual de la configuración.

Cómo ver el linaje de datos

Una vez que se habilite la integración y se complete la sincronización inicial (lo que puede tardar hasta 24 horas), podrás ver el linaje en la consola de Knowledge Catalog.

  1. En la consola de Google Cloud , ve a la página Knowledge Catalog.

    Ir a Knowledge Catalog

  2. Haz clic en Buscar en el panel de navegación izquierdo.
  3. Busca una tabla de BigQuery o un activo de Looker (Google Cloud Core), como un panel o una función Explorar.
    • Puedes usar el panel Filtros para filtrar por Sistema > Looker.
  4. Haz clic en el nombre del activo para abrir su página de detalles.
  5. Haz clic en la pestaña Linaje.

El gráfico de linaje muestra el activo como un nodo central, con las fuentes ascendentes a la izquierda y los consumidores descendentes a la derecha.

Cómo interpretar el gráfico de linaje

El gráfico de linaje consta de nodos y vínculos:

  • Nodos: Representan recursos de datos. Los recursos compatibles de Looker (Google Cloud Core) incluyen los siguientes:
    • Panel de Looker
    • Elemento del panel de Looker (tarjeta)
    • Looker Look
    • Exploración de LookML
    • Vista de LookML
  • Vínculos: Representan el flujo de datos. Por ejemplo, un vínculo de una tabla de BigQuery a una vista de LookML indica que la vista selecciona datos de esa tabla.

Identifica a los propietarios de los recursos

Para saber quién es el propietario de un recurso secundario que podría verse afectado por un cambio, sigue estos pasos:

  1. En el gráfico de linaje, haz clic en el nodo del recurso (por ejemplo, un panel de Looker).
  2. Se abrirá un panel de información en el lado derecho de la pantalla.
  3. Busca la sección Aspectos para encontrar el Propietario (dirección de correo electrónico).

Cómo filtrar la lista de linaje

Cuando estás en la vista de Lista del linaje, puedes filtrar entidades por nombre o valor de la propiedad. Por ejemplo, los modelos complejos de LookML pueden generar gráficos de linaje grandes con muchas entidades intermedias. Para enfocarte en el impacto en el negocio, puedes filtrar por tipo de entidad siguiendo estos pasos:

  1. En la pestaña Linaje, cambia a la vista Lista.
  2. Ubica las opciones de Filtro en la barra de herramientas.
  3. En el filtro Entidad, ingresa Panel de Looker y Look de Looker para filtrar los tipos intermedios, como Vista de LookML y Explorar de Looker.

La lista de entidades se actualiza para mostrar solo los tipos de recursos seleccionados, lo que facilita la identificación del contenido visible para el usuario.

Limitaciones

La integración de linaje de Looker (Google Cloud Core) tiene las siguientes limitaciones durante el lanzamiento de la versión preliminar:

  • Fuentes de datos: En la versión preliminar, el linaje solo se admite para las fuentes de datos de BigQuery.
  • Nivel de detalle: El linaje se proporciona a nivel del objeto (tabla, vista, Explorar, panel). El linaje a nivel de columna no es admitido.
  • Latencia: Los datos de linaje no son en tiempo real. El proceso de sincronización suele tardar cuatro horas. Sin embargo, la sincronización puede tardar hasta ocho horas, según el momento de las exportaciones de metadatos de Looker y el consumo de datos de linaje. Es posible que los cambios realizados en Looker o BigQuery tarden en aparecer en el gráfico de linaje.
  • SQL complejo: Es posible que el LookML definido con SQL personalizado complejo (por ejemplo, plantillas de Liquid, tablas derivadas con uniones complejas) no se analice por completo, lo que podría generar nodos desconectados.

Precios

Durante la versión preliminar, no se aplican cargos por las funciones de linaje de datos que se usan con esta integración.

Cuando el linaje de datos esté disponible para el público en general, se aplicarán los precios. Para evitar implicaciones futuras en los precios, la transferencia del linaje de Looker (Google Cloud Core) está inhabilitada de forma predeterminada para los proyectos que, en la fecha de lanzamiento de la versión preliminar de esta función, tenían habilitada la API de Data Lineage y alojaban al menos una instancia de Looker (Google Cloud Core).

Para obtener más información, consulta la página de precios de Knowledge Catalog.

¿Qué sigue?