Curso de Spark SQL: Programación de Scripts

Realizando este curso aprenderás a programar scripts de procesamientos de datos capaces de ejecutarse de forma clusterizada con Spark SQL, el módulo de Apache Spark para el tratamiento de la información incluida en bases de datos, una de las herramientas clave en el tratamiento del Big Data.

La formación se divide en tres partes claramente diferenciadas. La primera es una introducción a Apache Spark, dónde se explicará qué es, cuál es su arquitectura de ejecución, sus componentes y los componentes de su ecosistema y finalmente las ventajas de su uso.

Completando este bloque introductorio se realiza un acercamiento al modelo de programación de Spark, detallando las APIs que están disponibles para esta programación, en qué lenguajes se puede programar y también cómo se submiten las tareas al clúster.

El segundo bloque lo dedica el tutor de la formación a desarrollar los fundamentos de programación de scripts en Apache Spark. Es un bloque dividido en varias lecciones, en las que se desglosan estos fundamentos, de modo que puedas ir comprendiendo los mismos y continuar avanzando según asimiles bien lo anterior.

Se comienza realizando la instalación y configuración del entorno necesario para trabajar con Apache Spark, de una forma práctica para que se pueda ir haciendo al mismo tiempo. Este proceso se realiza tanto en sistemas Windows como en Linux, para que cada alumno pueda seguir el que le interese según sea su caso.

Finalizada la instalación y configuración necesaria para trabajar con Spark SQL, te explicaremos cómo funciona el flujo de tratamiento de datos en el mismo, qué formatos se pueden utilizar en el mismo, tanto de ficheros como de bases de datos, ya sean relacionales o no relacionales. Tras el desarrollo teórico de este flujo de tratamientos de datos, realizaremos unos interesantes ejemplos prácticos de escritura y lectura en Spark.

En la siguiente lección vas a aprender las diferencias entre las tres APIs de las que dispone Apache Spark, con ejemplos de ejecución para cada una de ellas, y por qué preferentemente se utiliza DataFrame sobre las otras dos disponibles.

Para finalizar este segundo bloque te proponemos ver el cálculo de agregaciones, que es la parte más aplicada de Spark. Aprenderás en este segmento cuales son las agregaciones disponibles y también las diferencias entre hacer agregaciones sobre Dataframes frente a utilizar queries de tipo SQL.

De esta forma finalizaría el bloque teórico del curso y podrías continuar el mismo entrando en el bloque número tres, en el que se desarrollará el supuesto práctico en el que veremos cómo aplicar todo lo aprendido hasta ese momento.

Este bloque está divido también en diferentes secciones, de forma que el desarrollo quede bien dividido y puedas avanzar sobre el mismo según lo vayas necesitando. Se comenzará realizando la configuración del proyecto, instalando IntelliJ con SBT, creando el proyecto Scala, importando Spark al proyecto y creando una clase de aplicación con sesión de Spark.

Después se realizarán unos ejemplos de cálculo de agregaciones y joins, para después realizar el análisis de los datos de ejemplo, a través de UDFs y filtros. A continuación veremos cómo utilizar librerías externas en las UDFs, incluyendo una librería Java y después incluyendo la misma en nuestro proyecto Scala.

Y para acabar este proyecto práctico realizaremos la creación de un jar con las tareas de Spark y cómo submitirlo al clúster. De esta forma habrás podido ver paso a paso todo lo necesario para aplicar la teoría del curso de una forma práctica y guiada, realizando un proyecto completo.