Configura entornos altamente resilientes

Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)

En esta página, se describe cómo configurar entornos de Managed Airflow de alta resiliencia (alta disponibilidad).

Acerca de los entornos de alta resiliencia (alta disponibilidad)

Un entorno de alta resiliencia es multizonal y se ejecuta en al menos dos zonas de una región seleccionada. Managed Airflow distribuye automáticamente los componentes de tu entorno entre las zonas.

Por ejemplo, una interrupción zonal interrumpe las tareas de Airflow que se ejecutan en una zona específica. Luego, un entorno de alta resiliencia se recupera, reinicia sus componentes afectados en una zona diferente y cambia su base de datos a una zona secundaria. Por lo tanto, Airflow puede reprogramar y reiniciar las tareas de Airflow fallidas, al mismo tiempo que conserva el historial de ejecuciones de DAG y otros parámetros de configuración.

Acerca de la base de datos de alta disponibilidad de tu entorno

En los entornos de Managed Airflow con alta disponibilidad, el componente de Cloud SQL que almacena la base de datos de tu entorno se ejecuta en el modo de alta disponibilidad. Una instancia principal y una instancia en espera de Cloud SQL se distribuyen entre las zonas.

En caso de una interrupción, la instancia de Cloud SQL de tu entorno realiza la conmutación por error automática de la base de datos a la instancia de Cloud SQL en espera. No es necesario que realices ninguna acción adicional en tu entorno de Managed Airflow. Una vez que la zona principal vuelve a estar operativa, el entorno vuelve a tener dos zonas (principal y secundaria). En algunos casos, se pueden intercambiar las zonas principal y secundaria. La instancia de Cloud SQL en modo de alta disponibilidad usa la misma dirección IP después de una conmutación por error.

Acerca de los componentes de Airflow de alta disponibilidad

Un entorno de alta resiliencia es multizonal y se ejecuta en al menos dos zonas de una región seleccionada. Los siguientes componentes se ejecutan en zonas separadas:

• Exactamente dos programadores de Airflow

• Al menos dos activadores (si la cantidad de activadores no está establecida en cero)

• Dos servidores web

La cantidad mínima de trabajadores se establece en dos, y el clúster de tu entorno distribuye instancias de trabajador entre las zonas. En caso de una interrupción zonal, las instancias de trabajador afectadas se reprograman en una zona diferente.

Para obtener más información sobre la arquitectura de los entornos de alta resiliencia, consulta Arquitectura del entorno de alta resiliencia.

Antes de comenzar

• En Managed Airflow (2ª gen.), la alta resiliencia solo está disponible en entornos de IP privada.

• Los entornos de alta resiliencia se ofrecen con un cargo incremental en comparación con los entornos normales.

• Los entornos de alta resiliencia están disponibles en Managed Airflow versión 2.2.0 y versiones posteriores.

• Si quieres actualizar un entorno estándar a uno de alta resiliencia, asegúrate de que cumpla con los siguientes requisitos de configuración. Si tu entorno no cumple con estos requisitos, puedes actualizar sus parámetros de escalamiento y rendimiento.

  • La cantidad mínima de trabajadores de Airflow es de dos o más.

  • La cantidad de programadores de Airflow es exactamente dos.

  • Si usas operadores diferibles en tus DAG, entonces al menos dos activadores.

Crea un entorno de alta resiliencia

Para crear un entorno de alta resiliencia, habilita el modo de alta resiliencia cuando crees un entorno.

Actualiza un entorno estándar al modo de alta resiliencia

  gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --enable-high-resilience

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.resilienceMode

{
 "config": {
   "resilience_mode": { "HIGH_RESILIENCE" }
   }
 }

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    resilience_mode = "HIGH_RESILIENCE"

  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    resilience_mode = "HIGH_RESILIENCE"

}

Cambia un entorno de alta resiliencia al modo de resiliencia estándar

Puedes cambiar tu entorno al modo de resiliencia estándar en cualquier momento. Esta operación hace lo siguiente:

• Reduce la cantidad de servidores web en tu entorno a uno.
• Desactiva el modo de alta disponibilidad de la base de datos de Airflow de tu entorno.

• No cambia la configuración de la cantidad mínima de trabajadores, programadores o activadores de Airflow.

  gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-high-resilience

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.resilienceMode

{
 "config": {
   "resilience_mode": { "RESILIENCE_MODE_UNSPECIFIED" }
   }
 }

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    resilience_mode = "STANDARD_RESILIENCE"

  }
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    resilience_mode = "STANDARD_RESILIENCE"

}

Verifica si tu entorno se ejecuta en el modo de alta resiliencia

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.resilienceMode)"

¿Qué sigue?

• Realiza pruebas de conmutación por error para tu entorno de alta resiliencia.
• Recuperación ante desastres con instantáneas de entorno