Curso de Unified Batch and Stream Processing with Apache Beam

Introducción

• Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Tormenta y Flink

Instalación y configuración Apache Beam

Descripción general de Apache Beam Características y arquitectura

• Modelo de vigas, SDK, correderas de tuberías de vigas
• Back-ends de procesamiento distribuido

Descripción del modelo Apache Beam Programming

• Cómo se ejecuta una canalización

Ejecución de una canalización de ejemplo

• Preparación de una canalización WordCount
• Ejecución de la canalización localmente

Diseño de una canalización

• Planificación de la estructura, elección de las transformaciones y determinación de los métodos de entrada y salida

Creación de la canalización

• Escribir el programa del controlador y definir la canalización
• Uso de clases Apache Beam
• Conjuntos de datos, transformaciones, E/S, codificación de datos, etcétera.

Ejecución de la canalización

• Ejecución de la canalización localmente, en máquinas remotas y en una nube pública
• Elegir un corredor
• Configuraciones específicas del corredor

Pruebas y depuración Apache Beam

• Uso de sugerencias de tipo para emular la tipificación estática
• Administración de Python dependencias de canalización

Procesamiento de conjuntos de datos delimitados y no enlazados

• Ventanas y disparadores

Hacer que sus tuberías sean reutilizables y fáciles de mantener

Creación de nuevos orígenes y receptores de datos

• Apache Beam API de origen y receptor

Integración Apache Beam con otros sistemas Big Data

• Apaches Hadoop, Apache Spark, Apache Kafka

Solución de problemas

Resumen y conclusión