Big Data

Qué es y qué hace un especialista en Big Data

Un especialista en Big Data es un profesional que cuenta con amplios conocimientos en una serie de tareas involucradas en el ciclo de vida de la gestión de los datos tales como: identificar diversos orígenes de información, almacenar y extraer grandes volúmenes de datos, diseñar la arquitectura del ecosistema empresarial donde se procesa y consumirá los datos para su exploración, modelado, análisis, visualización y monitorización en tiempo real.

Dependiendo de sus funciones, un especialista en Big Data debe poseer habilidades empresariales, técnicas y analíticas para obtener el mayor provecho de la información.

Dado que el uso de plataformas de Big Data aumenta cada vez más para dar paso a la transformación digital, es común que las empresas desarrollen sus propios sistemas con componentes legacy, en la nube o en ambos, por lo que los expertos de Big Data deben tener dominio en diferentes lenguajes de programación, aplicaciones tecnológicas, pero además de herramientas en entornos cloud.

Diferentes perfiles en Big Data

Las empresas con proyectos de Big Data pueden necesitar por lo menos uno o dos Data Scientist para manejar el flujo de trabajo de un proyecto, pero existen diferentes perfiles con funciones y responsabilidades específicas que podrían variar según los requisitos de cada empresa.

Como ejemplos de los perfiles de Big Data con más demanda actualmente, se encuentran los siguientes:

Data Architect

• Posee conocimiento completo y experiencia práctica con las tecnologías del ecosistema de Big Data y sus casos de uso.
• Analiza los requisitos técnicos del sistema y selecciona las tecnologías a utilizar.
• Conceptualiza, planifica y diseña el sistema de Big Data.
• Diseña las arquitecturas técnicas y funcionales.
• Establece cómo se integran los dispositivos al sistema para almacenar y utilizar los datos.
• Implementa y administra las soluciones empresariales de Big Data y sus recursos.
• Gestiona el ciclo de vida completo de la solución de Big Data.
• Colabora con los administradores y desarrolladores de todas las soluciones.
• Crea medios de respaldo y almacenamiento de los datos en caso de surgir problemas.

Data Administrator

• Participa en la construcción y configuración de los entornos de trabajo.
• Diseña y configura el software de las bases de datos y estructuras de almacenamiento.
• Establece técnicas de alta velocidad para el respaldo de las transacciones de datos y reducir los tiempos de inactividad de la base de datos.
• Gestiona el rendimiento y funcionalidad del sistema.
• Participa en el desarrollo e implementación de pruebas periódicas para evaluar la seguridad, la integridad y la privacidad de los datos.
• Proporciona y administra los niveles de accesos.

Data Developer

• Comprende las fuentes de datos, las estructuras de datos y la relación entre ellas.
• Desarrolla el proceso ETL para obtener los datos en un formato comprensible.
• Desarrolla aplicaciones empresariales utilizando lenguajes de programación.
• Propone los estándares y mejores prácticas para el desarrollo e implementación de servicios web escalables.
• Traduce los requisitos técnicos y explica los conceptos de diseño a las partes interesadas.
• Posee habilidades analíticas, matemáticas, lógicas y de programación.

Data Engineer

• Recopila los requisitos de los datos para su mantenimiento.
• Identifica e implementa mejoras a los procedimientos internos.
• Colabora con la automatización de tareas.
• Crea y prueba ecosistemas de Big Data escalables.
• Actualiza las tecnologías y el sistema actual con nuevas versiones.
• Optimiza la eficiencia de la base de datos.
• Trabaja con equipos internos y externos para solucionar problemas con la gestión de datos.
• Posee conocimientos y experiencia práctica en herramientas tecnológicas.

Data Analyst

• Trabaja como enlace entre el equipo técnico y el equipo comercial.
• Analiza los datos y los contextualiza dentro de las necesidades del negocio.
• Transforma los datos en información significativa.
• Depura los datos corruptos y corrige los errores relacionados.
• Prepara informes sobre las tendencias, patrones y predicciones obtenidas.
• Identifica oportunidades de mejoras a los procesos con base a las nuevas necesidades del negocio.
• Posee un sólido conocimiento de los datos y la función empresarial.

Data Visualization Developer

• Comprende la estructura de datos y el flujo de datos entre sistemas.
• Trabaja en estrecha colaboración con los Data Analyst para garantizar la calidad e integridad de los datos.
• Crea informes operativos y analíticos, integrando múltiples conjuntos de datos.
• Desarrolla los dashboards de visualización de datos, presentando los hallazgos de forma lógica y fácil de interpretar por los equipos de Business Intelligence (BI).
• Ejecuta consultas recurrentes a las bases de datos para asegurar que los datos estén disponibles para los informes y análisis deseados.

Data Scientist

• Analiza, agrupa, clasifica y modela datos complejos para extraer información relevante en la toma de decisiones.
• Comprende la situación presente del negocio y desarrolla análisis predictivos.
• Estructura los datos según la necesidad e identifica deficiencias en los datos.
• Detecta las tendencias y patrones de los datos.
• Trabaja con los equipos de BI para presentar soluciones basadas en datos.
• Participa en el diseño de soluciones de ML (machine learning o aprendizaje automático).
• Posee fuertes habilidades en matemáticas, estadística y programación.

Data Steward

• Define y hace cumplir las políticas, auditorías y regulaciones en torno a los datos.
• Determina y garantiza que se implementen las políticas correctas de gestión de metadatos y datos maestros.
• Implementa y promueve la cultura analítica en toda la organización.
• Trabaja con los equipos comerciales para elaborar los procesos del uso y distribución de los datos.
• Gestiona los protocolos operativos y de seguridad establecidos para salvaguardar la plataforma de datos empresarial.

Machine Learning Engineer​

• Explora los datos e identifica los conjuntos de datos adecuados para entrenar los modelos de AI (artificial intelligence o inteligencia artificial).
• Crea, diseña y actualiza los algoritmos de ML.
• Desarrolla aplicaciones, prototipos y esquemas de ML.
• Implementa las herramientas de aprendizaje automático adecuadas.
• Ejecuta pruebas sobre los algoritmos, realiza análisis estadísticos y ajusta los modelos utilizando los resultados.
• Analiza los casos de uso de los algoritmos de ML y el rendimiento del modelo al implementarlo en escenarios reales.

Chief Data Officer

• Define el ciclo de vida completo de la gestión de los datos.
• Decide cuáles son los datos requeridos para satisfacer las necesidades del negocio.
• Define los propósitos de los datos y ayuda con las estrategias de negocio.
• Asegura tanto la disponibilidad de los datos como su integridad y confidencialidad.
• Establece las políticas de gobernanza de datos y su cumplimiento.
• Promueve la cultura Data-Driven (basada en datos) en la empresa.
• Garantiza la maximización del uso de los datos de la empresa.
• Posee tanto conocimiento técnico como habilidades empresariales y de liderazgo.

Empleo de Big Data en la actualidad

Big Data es más que un concepto de moda es una necesidad, debido a que el uso de las herramientas tradicionales de Business Intelligence, por sí solas, no ofrecen suficientes opciones y beneficios que aportan las plataformas de Big Data. Accede aquí para ampliar tus conocimientos sobre Qué es Big Data).

Actualmente, todas las industrias que generan y consumen datos de múltiples tipos y fuentes, necesitan profesionales y expertos de Big Data, por lo tanto, estos empleos son altamente solicitados.

En España alrededor de un 85% de las ofertas laborales publicadas en portales de empleo como Infojobs y LinkedIn, corresponden al sector de Informática y Telecomunicaciones, de acuerdo con el Análisis de talento en el sector de Big Data realizado por Hays Executive (parte del grupo Hays). A nivel mundial, cerca del 79% de las ofertas están relacionadas con trabajos de Big Data acorde a datos estadísticos recopilados en el portal de LinkedIn.

En materia de salarios, como punto de referencia he seleccionado la Guía del Mercado Laboral del 2021 preparado por la consultora Hays con un Análisis de sectores y salarios en España. Según el análisis, los dos perfiles de Big Data más solicitados son el Data Engineer y el Data Scientist. Los salarios varían según la ubicación geográfica de la empresa y los años de experiencia del profesional; por ejemplo, los salarios para el perfil de Data Engineer en Barcelona oscilan entre los €45.000 y €68.000 anuales, mientras que en Valencia, los salarios para este mismo perfil, oscilan entre los 33.000 € y 58.000 € anuales. Por su parte, para un Data Scientist los salarios oscilan entre los 42.000 € y 65.000 € anuales en Barcelona y entre los 28.000 € y 40.000 € anuales en Valencia.

Desde hace casi una década, en el 2012, en la web del Harvard Business Review se publicó un artículo donde el perfil del Data Scientist se etiquetó como “The sexiest job of the 21st Century” (traducido como, “El trabajo más sexy del siglo XXI”). Al presente, los especialistas de Data Scientist se encuentran en la lista de los “Top 15 Jobs on the Rise” (en español, el Top 15 de los puestos de trabajo en aumento) de LinkedIn según datos analizados durante abril y octubre del 2020. Las contrataciones para estos perfiles crecieron casi un 46% desde el 2019.

A modo general, los especialistas de Big Data obtienen salarios atractivos que varían por sector, tipo de industria, ubicación geográfica, experiencia y competencias del profesional.

En la web de Glassdoor, hay datos disponibles de los sueldos base promedio que ganan en España los perfiles de Big Data (actualizados a septiembre 2021). Veamos cuáles son:

• Chief Data Officer: 70.888 € /año
• Data Architect: 50.464 € /año
• Data Visualization Specialist: 45.858 € /año
• Data Developer: 39.773 € /año
• Data Engineer: 34.467 € /año
• Data Scientist: 33.545 € /año
• Data Analyst: 29.504 € /año
• Machine Learning Engineer: 31.559 € /año

Futuro del Big Data

El futuro del Big Data está estrechamente ligado a los procesos de digitalización e innovación en los que se encuentran inmersas empresas tanto del sector público como privado, lo cual producirán muchos beneficios en ámbitos políticos, económicos y medioambientales a nivel global.

Al momento, el uso de plataformas de Big Data parece no tener barreras, y esto se debe a las crecientes necesidades de la población, desde donde la salud, la movilidad, la educación, la difusión de información, la fabricación y elaboración de alimentos, la construcción y planificación de ciudades inteligentes son respaldadas por tecnologías como el Internet de las cosas (IoT) empleando dispositivos inteligentes que generan enormes flujos de datos.

Recientemente, hemos experimentado cómo a raíz de la pandemia del COVID-19, el uso de plataformas tecnológicas para fines no solo laborales (trabajar desde casa) sino personales (estudiar y divertirse) aumentó drásticamente, dando lugar a una mayor demanda de recursos para recopilar, almacenar y procesar el volumen de los datos recién creados. Acorde con las cifras reportadas por Statista acerca de la “Cantidad de datos creados, consumidos y almacenados 2010-2025” se prevé que la capacidad de almacenamiento de datos, alcanzará una tasa de crecimiento anual del 19.2% durante el período comprendido entre los años 2020 a 2025.

En vista de todo lo anterior, el Big Data continuará siendo un aliado estratégico para las empresas en el futuro, ayudándoles en el desarrollo de mejores productos y captación de nuevos mercados y clientes. Los futuros trabajadores que aporten las competencias digitales requeridas, y aún mejor si son especialistas en Big Data, serán muy valorados por las empresas.

Aprender Big Data desde cero

Ahora que ya sabes qué es un experto en Big Data y lo que hace, si tienes una titulación universitaria en Economía, Matemáticas, Estadística, Ingeniería Informática o carrera a fin, ya cuentas con una buena base para convertirte en un especialista en Big Data.

De otro modo, si piensas darle un giro a tu carrera profesional y empezar tu formación en Big Data desde cero, te invito a iniciar con el Curso de Big Data para principiantes. Al completarlo, continúa aprendiendo con más Cursos de Big Data en OpenWebinars y complementa tu formación con cursos de estadística, técnicas de analítica de datos, Machine Learning, Inteligencia Artificial, Cloud Computing, bases de datos, programación con Python, R, SQL, Spark, entre otros.

Cuanto más te prepares, mejores posibilidades tendrás de ser contratado por una empresa y ganar experiencia en el sector. Por mi propia experiencia sé, que cuanto más aprendes, más descubres lo mucho que te falta por aprender porque las tecnologías evolucionan y el aprendizaje es muy dinámico.

Por último, te animo a ser autodidacta y no dejar para mañana lo que puedes aprender hoy.