Curso de Implementación de una Data Pipeline con AWS EMR y PySpark

En este curso exploramos los conceptos relacionados con la ejecución de cargas de trabajo en un clúster de AWS EMR optimizado, y utilizaremos PySpark para realizar las agregaciones necesarias, logrando implementar un pipeline de datos una arquitectura de AWS.

Es una formación adecuada tanto para perfiles de desarrollo de software avanzados con conocimientos previos en procesamiento de datos, como para perfiles intermedios o avanzados en ingeniería de datos o ciencia de datos que quieren aprender a automatizar procesos utilizando las herramientas de la nube de AWS.

Para completar el curso de forma adecuada, comprendiendo todo lo que se explica en el mismo, es necesario tener conocimientos a nivel intermedio de la consola de AWS, además de conocimientos avanzados en bases de datos y SQL, en Python, y también sobre conceptos de flujos de datos en Data Lake y Data Warehouse.

Comenzamos el curso con una introducción a AWS EMR, explicando los conceptos fundamentales de la herramienta, cómo configurarla inicialmente y cómo levantar un clúster y un ecosistema de EMR desde cero. Además, se introducirá PySpark, que también se utilizará a lo largo de esta formación.

Seguidamente entramos en el bloque dedicado a la administración del clúster EMR que se había creado previamente, desde la configuración de la seguridad del mismo hasta cómo lanzar una aplicación y un job con EMR Serverless y la monitorización con EMR Jobs.

Finalmente, en el último apartado del curso, se abordará el uso de Athena para complementar nuestro ecosistema de EMR, que en este caso se utilizará para cargar datos. Aquí aprenderás las características de esta aplicación, cómo cargar los datos y también veremos algunos diseños de casos reales en los que se utilizó AWS EMR.