OpenWebinars
Spark

Curso de Spark SQL: Programación de Scripts

Aprende a programar scripts de procesamiento de datos capaces de ejecutarse de forma clusterizada mediante el framework Apache Spark.


Icono de la tecnología

No solo ofrecemos cursos; facilitamos un camino hacia la excelencia tecnológica para empresas que aspiran a liderar el cambio.

  • Relación continua de asesoramiento con especialistas.
  • Dashboards intuitivos y un LMS que se integra sin fisuras.
  • Formación práctica con líderes del sector.
  • Itinerarios que se adaptan a tus metas empresariales.
  • Acceso 24/7 a 1.450 cursos especializados y actualizados.

Para profesionales que necesitan mejorar sus habilidades y acelerar su carrera profesional.

  • Acceso 24/7 a 1.050 cursos tecnológicos y digitales para que siempre estés al día.
  • Certificados para agregar valor a tu CV.
  • Tutores y profesores con experiencia real.
  • Rutas de aprendizaje para avanzar más rápido.
  • Test de aptitudes para medir tu progreso.
Comenzar Prueba Gratis

Disfruta de 15 días de acceso total sin coste y sin compromiso.

Curso impartido por

Avatar:Pedro Santos González

Pedro Santos González

EXPERTO ANALISTA DE DATOS

Contenido del Curso

3 Secciones · 16 Lecciones · 1 h. y 48 min. en total

Introducción

15 min.

Fundamentos de programación

49 min.

Supuesto práctico

42 min.

Habilidades que obtendrás

  • Instalar Apache Spark en Windows y Linux
  • Lanzar localmente un shell de Spark
  • Gestión de dependencias de proyectos Scala mediante SBT.
  • Ejecución de scripts programados en Scala sobre Apache Spark mediante el IDE IntelliJ.
  • Los objetos RDD y Dataframe.
  • Funciones de agregación en Spark SQL.
  • Funciones definidas de usuario (UDF).
  • Crear y submitir un jar con las tareas a ejecutar por Apache Spark.

Requisitos mínimos

El curso está orientado a personas con conocimientos de programación en Java o Scala y deseos de formarse en tecnologías Big Data. Aunque se haga uso del lenguaje de programación Scala, no es necesario un conocimiento previo de dicho lenguaje para poder seguir el curso.

Valoración de nuestros alumnos

4
183 valoraciones
  • 5
  • 4
  • 3
  • 2
  • 1
Probablemente, deberiamos adaptar los contenido a ambas plataformas. tanto en linux, como windows.
Joan Vargas
Muy bien explicado, bien enseñado
FABIAN CAMILO FORERO ACOSTA

Completa tu formación con estos contenidos

Icono de la tecnología
Curso

Fundamentos de DAX

Principiante
4 h. y 40 min.

En esta formación aprenderás los aspectos esenciales del uso de DAX como lenguaje de análisis y expresiones de...

Layla Scheli
4.5
Icono de la tecnología
Curso

Conociendo PySpark

Intermedio
3 h. y 10 min.

En esta formación aprenderás los conceptos fundamentales para el uso del framework y la librería de PySpark de...

Layla Scheli
4.2
Apache Spark VS Hadoop Map Reduce
Blog

Apache Spark VS Hadoop Map Reduce

Conoce las principales diferencias que existen entre Apache Spark y Hadoop para procesamientos Big Data.

Pedro Santos González
Icono de la tecnología
Curso

Procesos Big Data con Spark

Intermedio
5 h. y 52 min.

Métete de lleno en el ecosistema Big Data con este curso de Apache Spark y aprende a ...

Abraham Requena Mesa
4.2

FORMACIÓN EMPRESARIAL

Descubre cómo OpenWebinars puede ser el socio estratégico en el desarrollo profesional de tu equipo

Más de 300.000 profesionales de distintas industrias han encontrado en nuestra metodología y contenidos la clave para su transformación digital. Únete a líderes del sector que ya han elevado la formación de sus equipos con nosotros.

CetelemLogo
TelefonicaLogo
VassLogo
AccentureLogo
IbermaticaLogo
MapfreLogo
OpenWebinars

/ business

La formación que tu equipo merece, los resultados que tu empresa necesita

Asesoría Personalizada

Una relación continua de asesoramiento con especialistas dedicados a maximizar el impacto formativo en tu equipo.

Herramientas Avanzadas

Dashboards intuitivos y un LMS que se integra sin fisuras con tu infraestructura actual a través de SSO.

Itinerarios Personalizados

Diseñamos un mapa de las rutas formativas de tus equipos que se alinea con los objetivos estratégicos y operativos de tu empresa.

Expertos de la Industria

Los profesores de OpenWebinars son líderes en sus campos, brindando conocimientos prácticos que transforman la teoría en habilidades aplicables.

Formación On-Demand

Accede a un catálogo de contenidos que evoluciona al ritmo de la tecnología, disponible 24/7, para que nunca dejes de avanzar.

Desarrollo Profesional Continuo

Más de 1.450 cursos especializados y actualizados, diseñados para mantener a tu empresa a la delantera de la innovación tecnológica.

Experimenta cómo nuestra metodología ya ha potenciado a más de 300.000 profesionales en diversas industrias.
Conviértete en el experto que el mercado tecnológico busca

Amplia Biblioteca de Cursos

Más de 1.050 cursos especializados en tecnología y negocios digitales, disponibles 24/7 para que aprendas a tu ritmo y según tus intereses.

Dominio en Tecnologías Emergentes

Acceso a formaciones de IA, Cloud, Data, Ciberseguridad y Desarrollo, para mantenerte a la vanguardia en las áreas más innovadoras.

Certificaciones Profesionales

Completa tu formación y obtén certificados que agreguen valor a tu CV, destacando en un mercado laboral competitivo.

Expertos de la Industria

Aprende de aquellos que no solo enseñan, sino que innovan, profesores que traen experiencias del mundo real a tu pantalla.

Rutas de Aprendizaje

Ya sea que estés empezando o buscando acelerar tu progreso, encuentra cursos alineados con tus aspiraciones y desafíos profesionales.

Evaluaciones Prácticas

Test de aptitudes y evaluaciones para seguir tu avance y enfocar tu desarrollo donde más lo necesitas.

Experimenta cómo nuestra metodología ya ha potenciado a más de 300.000 profesionales en diversas industrias. Comenzar Prueba Gratis
Elige el Plan de OpenWebinars que impulse tu transformación
La metodología, contenidos y plataforma de formación que se adapta al tamaño y ritmo de tu empresa, sea una gran Corporación, una Startup o una Empresa en crecimiento
OpenWebinars Business Soluciones escalables y personalizadas para tu empresa
Acceso 24/7 a 1.450 cursos especializados y actualizados
Automatizaciones y planificador de licencias
Itinerarios personalizados que se adaptan a tus metas empresariales
Creación de informes avanzados y personalizados
Dashboards intuitivos para gestionar la formación y analizar progresos
Customer Success dedicados a maximizar el impacto en tu equipo
Gestor de contenido propio (LMS): Total control en el contenido formativo
Personalización de la experiencia: Integración visual que refleja tu marca
Implementación de SSO: Integración perfecta con tus sistemas internos
Acceso a API: Conecta OpenWebinars con tus propias apps y flujos de trabajo
Básico Mensual

39,90€/mes

Ideal para profesionales con necesidades específicas a corto plazo o que prefieren una flexibilidad total.

Acceso 24/7 a 1.050 cursos especializados y actualizados
Formaciones de IA, Cloud, Ciberseguridad, Data y Desarrollo
Certificados para agregar valor a tu CV
Tutores y profesores con experiencia real
75 Rutas de aprendizaje para avanzar más rápido
Test de aptitudes para medir tu progreso
Suscríbete ahora
Experto Anual

225€/año

18,75€/mes (Ahorras 6 meses)

Para profesionales que buscan ahorrar en su formación continua y quieren convertirse en expertos demandados.

Acceso 24/7 a 1.050 cursos especializados y actualizados
Formaciones de IA, Cloud, Ciberseguridad, Data y Desarrollo
Certificados para agregar valor a tu CV
Tutores y profesores con experiencia real
75 Rutas de aprendizaje para avanzar más rápido
Test de aptitudes para medir tu progreso
Comenzar Prueba Gratis Disfruta de 15 días de acceso total sin coste y sin compromiso.

Preguntas frecuentes

Resuelve tus dudas o contacta con nosotros para más información.

En OpenWebinars no vendemos formaciones.

Tenemos diferentes tipos de suscripciones, que te dará acceso completo a todas las formaciones de la plataforma y a las nuevas que vamos lanzando, siempre y cuando tu suscripción esté activa (como Spotify con la música o Netflix con las películas y series).

¿Eres una empresa? Tenemos planes especiales para ti. Consúltanos aquí.

En OpenWebinars las formaciones no tienen fecha de inicio y de final.

Cada curso tiene una fecha de publicación y desde ese día estarán 100% disponible todos los contenidos del curso para los usuarios suscritos a alguno de nuestros planes.

En todos los cursos existe un examen final para evaluar tus conocimientos adquiridos. Si superas este examen con más de un 80% de preguntas correctas obtendrás el diploma de certificación. Puedes realizar un intento cada 24 horas.

Este diploma es un certificado privado emitido por OpenWebinars, y valorado en el mundo empresarial, ya que tenemos grandes compañías clientes que se forman con nosotros y valoran nuestras certificaciones.

No olvides poner tu certificación en tu perfil Linkedin y en tu currículum.

becasBannerImg
+90.000 ESTUDIANTES CADA AÑO

Becas OpenWebinars

Para Centros de FP y Universidades de España

Colaboramos con más de 750 centros de Formación Profesional en España para dotar a los estudiantes IT de los recursos necesarios para afrontar el mercado laboral con las máximas garantías.

logoBecas

Realizando este curso aprenderás a programar scripts de procesamientos de datos capaces de ejecutarse de forma clusterizada con Spark SQL, el módulo de Apache Spark para el tratamiento de la información incluida en bases de datos, una de las herramientas clave en el tratamiento del Big Data.

La formación se divide en tres partes claramente diferenciadas. La primera es una introducción a Apache Spark, dónde se explicará qué es, cuál es su arquitectura de ejecución, sus componentes y los componentes de su ecosistema y finalmente las ventajas de su uso.

Completando este bloque introductorio se realiza un acercamiento al modelo de programación de Spark, detallando las APIs que están disponibles para esta programación, en qué lenguajes se puede programar y también cómo se submiten las tareas al clúster.

El segundo bloque lo dedica el tutor de la formación a desarrollar los fundamentos de programación de scripts en Apache Spark. Es un bloque dividido en varias lecciones, en las que se desglosan estos fundamentos, de modo que puedas ir comprendiendo los mismos y continuar avanzando según asimiles bien lo anterior.

Se comienza realizando la instalación y configuración del entorno necesario para trabajar con Apache Spark, de una forma práctica para que se pueda ir haciendo al mismo tiempo. Este proceso se realiza tanto en sistemas Windows como en Linux, para que cada alumno pueda seguir el que le interese según sea su caso.

Finalizada la instalación y configuración necesaria para trabajar con Spark SQL, te explicaremos cómo funciona el flujo de tratamiento de datos en el mismo, qué formatos se pueden utilizar en el mismo, tanto de ficheros como de bases de datos, ya sean relacionales o no relacionales. Tras el desarrollo teórico de este flujo de tratamientos de datos, realizaremos unos interesantes ejemplos prácticos de escritura y lectura en Spark.

En la siguiente lección vas a aprender las diferencias entre las tres APIs de las que dispone Apache Spark, con ejemplos de ejecución para cada una de ellas, y por qué preferentemente se utiliza DataFrame sobre las otras dos disponibles.

Para finalizar este segundo bloque te proponemos ver el cálculo de agregaciones, que es la parte más aplicada de Spark. Aprenderás en este segmento cuales son las agregaciones disponibles y también las diferencias entre hacer agregaciones sobre Dataframes frente a utilizar queries de tipo SQL.

De esta forma finalizaría el bloque teórico del curso y podrías continuar el mismo entrando en el bloque número tres, en el que se desarrollará el supuesto práctico en el que veremos cómo aplicar todo lo aprendido hasta ese momento.

Este bloque está divido también en diferentes secciones, de forma que el desarrollo quede bien dividido y puedas avanzar sobre el mismo según lo vayas necesitando. Se comenzará realizando la configuración del proyecto, instalando IntelliJ con SBT, creando el proyecto Scala, importando Spark al proyecto y creando una clase de aplicación con sesión de Spark.

Después se realizarán unos ejemplos de cálculo de agregaciones y joins, para después realizar el análisis de los datos de ejemplo, a través de UDFs y filtros. A continuación veremos cómo utilizar librerías externas en las UDFs, incluyendo una librería Java y después incluyendo la misma en nuestro proyecto Scala.

Y para acabar este proyecto práctico realizaremos la creación de un jar con las tareas de Spark y cómo submitirlo al clúster. De esta forma habrás podido ver paso a paso todo lo necesario para aplicar la teoría del curso de una forma práctica y guiada, realizando un proyecto completo.