Programa del Curso

Resumen de Apache Airflow Fundamentos

  • Conceptos básicos: DAG, operadores y flujo de ejecución
  • Arquitectura y componentes del flujo de aire
  • Descripción de los casos de uso avanzados y los flujos de trabajo

Creación de operadores personalizados

  • Comprender la anatomía de un operador de flujo de aire
  • Desarrollo de operadores personalizados para tareas específicas
  • Prueba y depuración de operadores personalizados

Ganchos y sensores personalizados

  • Implementación de ganchos para la integración de sistemas externos
  • Creación de sensores para la supervisión de activadores externos
  • Mejora de la interactividad del flujo de trabajo con sensores personalizados

Desarrollo de plugins de flujo de aire

  • Entendiendo la arquitectura del plugin
  • Diseño de plugins para ampliar la funcionalidad de Airflow
  • Prácticas recomendadas para administrar e implementar complementos

Integración del flujo de aire con sistemas externos

  • Conexión de Airflow a bases de datos, API y servicios en la nube
  • Uso de Airflow para flujos de trabajo ETL y procesamiento de datos en tiempo real
  • Gestión de dependencias entre Airflow y sistemas externos

Depuración y supervisión avanzadas

  • Uso de registros y métricas de Airflow para solucionar problemas
  • Configuración de alertas y notificaciones para problemas de flujo de trabajo
  • Aprovechar las herramientas de monitoreo externas con Airflow

Optimización del rendimiento y la Scalaabilidad

  • Escalado del flujo de aire con apio y Kubernetes ejecutores
  • Optimización de la utilización de recursos en flujos de trabajo complejos
  • Estrategias para alta disponibilidad y tolerancia a errores

Estudios de casos y aplicaciones en el mundo real

  • Exploración de casos de uso avanzados en ingeniería de datos y DevOps
  • Estudio de caso: Implementación de operador personalizado para ETL a gran escala
  • Prácticas recomendadas para administrar flujos de trabajo de nivel empresarial

Resumen y próximos pasos

Requerimientos

  • Sólida comprensión de los conceptos básicos de Apache Airflow, incluidos los DAG, los operadores y la arquitectura de ejecución
  • Competencia en Python programación
  • Experiencia en la integración de sistemas de datos y orquestación de flujos de trabajo

Audiencia

  • Ingenieros de datos
  • DevOps ingenieros
  • Arquitectos de software
 21 Horas

Número de participantes


Precio por Participante​

Testimonios (1)

Próximos cursos

Categorías Relacionadas