Big Data

Qué son big data y small data

Big data y small data son dos conceptos creados para diferenciar dos aproximaciones diferentes a la recopilación, tratamiento y uso de datos.

Big data hace referencia a conjuntos de datos masivos y extremadamente complejos que requieren de tecnologías especializadas y grandes recursos para poder ser utilizados.

Mientras tanto small data hace referencia a conjuntos de datos de alta calidad y volumen reducido que pueden llegar a analizarse con herramientas tradicionales como Excel, bases de datos Acces o herramientas de programación sencillas.

Por qué es importante elegir correctamente

Los datos son la base fundamental sobre la que se cimientan la mayor parte de los procesos empresariales, la inteligencia artificial y la mayor parte de campañas de marketing.

Los datos pueden venir en muchas formas, pero la primera forma de clasificarlos es en función del volumen, ya que la cantidad de datos disponibles es un factor fundamental para saber qué técnicas de análisis de datos podemos utilizar.

Diferencias clave entre big data y small data

Si bien la principal diferencia entre big data y small data es el volumen de datos no es la única disparidad clave. A continuación, vamos a analizar las 4 diferencias más significativas entre big data y small data.

Tamaño y volumen

La diferencia fundamental entre small data y big data es el tamaño de los conjuntos de datos. Las aproximaciones big data agrupan volúmenes inmensos de datos provenientes de distintas fuentes y generalmente multimodales, es decir, en un único conjunto de datos podemos encontrar datos en cualquier formato, por ejemplo, texto, imágenes, vídeos o audio.

Por el contrario, las aproximaciones de small data hace uso de conjuntos de datos muy pequeños, pero generalmente con datos de gran calidad.

Complejidad y variedad

La complejidad y variedad de los datos está fuertemente ligada con la cantidad de datos.

En los conjuntos big data podemos encontrar datos muy variados, ya que suelen provenir de diferentes orígenes. Además, la complejidad de los datos suele ser muy elevada, ya que suelen coexistir datos almacenados en diferentes formatos, de diferentes fuentes y muchas veces en crudo, es decir, no han sido preprocesados.

Los conjuntos de small data son todo lo contrario. Al ser conjuntos de datos reducidos la variedad de los datos es menor y resulta complicado encontrar datos complejos. A cambio obtenemos conjuntos de datos a los que resulta sencillo aplicar técnicas de preprocesamiento con el fin de aumentar su calidad de los datos.

Velocidad de procesamiento

El tamaño de los conjuntos de datos suele ser el factor más importante a la hora de determinar cómo de rápido se puede procesar un conjunto de datos, el segundo factor es la complejidad de los datos. Debido a esto el coste temporal de procesar un conjunto de datos big data es muy elevado, mientras que los conjuntos de datos de small data se pueden procesar rápidamente.

Accesibilidad y costos

Otra de las diferencias claves entre el big data y el small es la accesibilidad y el coste de los datos. Conseguir datos siempre es una de las tareas más complicadas en cualquier proceso que requiera entrenar modelos de inteligencia artificial. Y esta dificultad se acentúa conforma se necesita un mayor volumen de datos.

Además, una mayor cantidad de datos conlleva un mayor coste de almacenamiento, sin importar si usamos una aproximación basada en el almacenamiento local de nuestros dispositivos (incurriendo en el coste derivado de la compra de discos duros) o su almacenamiento en la nube (donde asumiremos los costes de alquiler de una base de datos alojada en los servidores de un proveedor online). Por todo esto las aproximaciones de small data son más accesibles y más baratas.

Ventajas y desventajas de big data

Como hemos dejado entrever en la sección anterior utilizar big data tiene asociadas una serie de ventajas y desventajas. Vamos a analizarlas en detalle.

Desventajas:

• Costes elevados: las aproximaciones basadas en big data incurren en elevados costes de almacenamiento y procesamiento.
• Tratamiento de datos complejos: la gran variabilidad presente en los conjuntos de datos big data complica en gran medida las técnicas de preprocesamiento de datos.

Ventajas:

• Mayor alcance de proyecto: utilizar big data permite asumir con garantías de éxito proyectos más grandes y complejos. El mayor ejemplo de esto es el desarrollo de ChatGPT por OpenAI.
• Proyectos multimodales: los conjuntos de datos de big data suelen contener datos en diferentes formatos, habilitando la creación de modelos de inteligencia artificial multimodales.
• Más representatividad: los conjuntos de datos de big data representan mejor el mundo gracias a su mayor variedad de datos.
• Análisis profundos: la mayor representatividad de datos junto con una gran cantidad de datos de estos permite realizar análisis de datos más profundos que permiten detectar los patrones intrínsecos en los datos.

Si quieres aprender a aprovechar estas ventajas derivadas del uso de big data te recomendamos nuestros cursos de Big Data en OpenWebinars.

Ventajas y desventajas de small data

Al igual que las aproximaciones big data las técnicas de small data tienen asociadas una serie de ventajas y desventajas. Vamos a analizarlas en detalle.

Las desventajas son:

• Análisis menos precisos: al utilizar conjuntos de datos de small data los análisis obtenidos son menos precisos, ya que nuestro conjunto de datos muchas veces no dispondrá de suficientes datos para representar todos los casos a analizar.
• Menor representación de los datos: emplear conjuntos de datos reducidos limita la representación de los datos, ya que es muy probable que los casos menos frecuentes no aparezcan en los datos y que las proporciones de casos representados en el dataset no representen adecuadamente la frecuencia de sucesos en el mundo real.

Mientras que las ventajas son:

• Simplicidad de los datos: los conjuntos de datos de small data son más pequeños y generalmente utilizan datos de menor cardinalidad, haciendo que los datos sean más simples y fáciles de entender.
• Tratamiento de datos sencillos: los datos presentes en small data suelen ser más sencillos, de manera que las técnicas de tratamiento de datos que se suelen emplear son más sencillas requiriendo menos recursos y tiempo.
• Coste reducido: este tipo de aproximaciones son más baratas tanto económica como temporalmente. Los procesamientos son más breves y los costes de almacenamiento de datos son menores. Estos dos hechos hacen que el tiempo de retorno de la inversión en el proyecto sea menor.

Cuándo elegir big data para tus proyectos

A continuación vamos a analizar los puntos claves para detectar cuando necesitamos utilizar técnicas de big data.

• Proyectos con grandes volúmenes de datos: Existen determinados proyectos en los que resulta sencillo disponer de muchos datos. Esto sucede cuando abordamos tareas que utilizan conjuntos de datos públicos que se llevan recopilando durante más de 20 años, por ejemplo, proyectos de predicción meteorológica o sistemas de reconocimiento de voz. Cuando abordemos este tipo de proyectos generalmente utilizaremos aproximaciones big data.
• Necesidad de análisis predictivo o modelos complejos: Las técnicas más avanzadas de inteligencia artificial requieren casi siempre de un gran número de datos, por ello la mayoría de las veces que vayamos a entrenar modelos de predicción o modelos complejos, por ejemplo, modelos de aprendizaje no supervisado o modelos multimodales utilizaremos big data.

Casos de uso típicos

Además de las situaciones previas existen algunos casos de uso típicos en los que se suele utilizar siempre big data. Los detallamos a continuación:

• Grandes modelo de lenguaje (LLM): los LLM son los modelos de inteligencia artificial más grandes actualmente, siempre se entrenan con conjuntos de datos masivos.
• Gestión de tráfico: los gestores de tráfico llevan más de dos décadas recopilando datos del funcionamiento de tráfico en diferentes formatos. Por este motivo obtener datos de tráfico es relativamente sencillo, así que en este sector casi siempre se utilizan aproximaciones de big data.
• Logística y transporte: las compañías de logística y transporte generan una gran cantidad de datos diariamente debido al gran tamaño de sus flotas de reparto. Al generar tantos datos pueden utilizar aproximaciones big data, obteniendo así análisis que permiten ahorrar millones de euros al año, tal y como hizo UPS al identificar que los camiones de reparto nunca deben girar a la derecha.

Cuándo optar por small data en tus proyectos

Ya hemos analizado en qué situaciones es preferible utilizar técnicas de big data. A continuación, vamos a realizar el mismo análisis para small data.

• Proyectos con datos simples o específicos: Utilizar small data es la aproximación perfecta para llevar a cabo proyectos sencillos y con alcance limitado. Al utilizar una cantidad menor de datos podemos realizar el proyecto más rápidamente y utilizando menos recursos. Además, cuando se desea abordar un proyecto extremadamente específico resulta complicado obtener un conjunto de datos grande, de manera que al no tener muchos datos nos vemos obligados a usar small data.
• Rapidez en la toma de decisiones: Las aproximaciones small data favorecen la toma de decisiones rápidas, al requerir de análisis de datos menos pesados son ideales para la creación de pruebas de concepto que permitan tomar rápidamente decisiones.

Casos de uso típicos

Existen un conjunto de casos de uso típicos muy marcados en los que se utiliza small data:

• Datos limitados: en ocasiones es complicado obtener conjuntos de datos amplios, de manera que siempre que se tienen pocos datos se utilizan aproximaciones small data.
• Imagen médica: generalmente cuando se desarrollan herramientas que permiten analizar imágenes médicas se utilizan aproximaciones small data ya que o los conjuntos de datos disponibles son muy limitados o estos conjuntos de datos son muy desbalanceados y deben preprocesarse muy cuidadosamente.
• Análisis de encuestas: realizar encuestas es un proceso costoso en el que resulta casi imposible obtener suficientes datos para emplear aproximaciones big data, por lo tanto, generalmente se usa small data.

Cómo tomar la decisión correcta entre big data y small data

A la hora de decidir si vamos a utilizar big data o small data en un proyecto debemos tener en cuenta dos detalles, el primero son los objetivos del proyecto y el segundo los recursos disponibles.

Definir los objetivos del proyecto

A la hora de decidir si utilizamos small data o big data es importante tener claro los objetivos y el tiempo disponible para alcanzarlos. Como norma general podemos seguir la siguiente guía.

Utilizaremos small data:

• El proyecto tiene una duración corta.
• El proyecto tiene como objetivo decidir si se va a desarrollar otro proyecto.
• Se dispone de una cantidad de datos limitada.

Utilizaremos big data cuando:

• El proyecto es extremadamente ambicioso.
• El proyecto tiene una duración larga.

Evaluar los recursos disponibles

Los recursos disponibles son un punto clave para saber si debemos utilizar una aproximación small data o una aproximación big data. Todas las aproximaciones big data requieren de abundantes recursos. Entre los recursos necesarios se encuentran los siguientes:

• Potencia de cálculo avanzada.
• Gran espacio de almacenamiento.
• Conocimiento técnico de técnicas avanzadas de procesamiento de datos.
• Disponibilidad temporal para realizar aplicar técnicas avanzadas de procesamiento de datos.

Comenzar con small data y escalar a big data

Es importante tener en cuenta que los proyectos evolucionan a lo largo del tiempo. Por eso es importante recordar que un proyecto puede iniciarse en fase de prueba de concepto utilizando una aproximación small data.

Una vez que la prueba de concepto tiene éxito se puede proceder a invertir más recursos en el proyecto y proceder a utilizar una aproximación big data.

Conclusiones

Los datos son uno de los activos más importantes para las empresas, permiten estudiar las acciones pasadas, tomar acciones presentes más informadas y gracias a la inteligencia artificial podemos incluso predecir el futuro. Por esto es importante conocer las distintas estrategias existentes para procesar los datos.

Small data y big data son las dos aproximaciones más comunes para procesar estos datos y cada día aparecen nuevas herramientas que permiten reducir el impacto de las desventajas de cada aproximación a la vez que facilitan el proceso, reduciendo la barrera técnica de entrada y destacando la importancia de los datos en el mundo actual.

¡Usa datos para abordar tu proyecto!