Inteligencia Artificial

Por qué los datasets son esenciales en inteligencia artificial

Los datos son el componente esencial para obtener buenos resultados en cualquier proyecto de inteligencia artificial. Pero ¿por qué son tan importantes? La razón es sencilla: los modelos de IA aprenden a partir de los datos que reciben. Si no disponemos de datos adecuados y representativos, los modelos no podrán generalizar correctamente ni ofrecer resultados fiables.

Piénsalo así: ¿serías capaz de reconocer una rosa si nunca has visto una, pero has observado miles de montañas? Probablemente no. De la misma forma, los algoritmos de aprendizaje necesitan ejemplos variados, etiquetados y relevantes para poder aprender de forma efectiva.

Base del aprendizaje supervisado

El aprendizaje supervisado incluye aquellas técnicas de machine learning que utilizan datos de entrada y salida etiquetados para entrenar modelos. Es decir, modelos que aprenden a partir de ejemplos. La mayoría de los sistemas actuales de IA se apoyan en este enfoque, lo que implica una necesidad constante de grandes volúmenes de datos correctamente etiquetados.

Sin embargo, cuando los datos son imperfectos o contienen errores, el rendimiento del modelo se resiente. Por eso es tan importante contar con datasets bien curados y adaptados a cada tarea.

Impacto directo en rendimiento y sesgos

Los modelos de IA reflejan lo que aprenden. Si los datos con los que se entrenan están sesgados o son incompletos, el modelo heredará esos defectos. Por ejemplo, si entrenamos un modelo para clasificar animales y en nuestro dataset hay muchas más imágenes de gatos naranjas que de otros colores, el modelo puede fallar al identificar gatos negros o blancos.

Esto no solo afecta a la precisión, sino que también puede generar problemas éticos, como discriminación o sesgos no deseados. Por eso, trabajar con datasets diversos, equilibrados y de calidad es clave para el desarrollo de sistemas de IA responsables.

Relación entre tipo de tarea y tipo de dataset

Cada tipo de tarea requiere un tipo específico de datos. Por ejemplo, para reconocer números manuscritos necesitaremos imágenes, como en el clásico dataset MNIST. Pero otras tareas permiten más de una opción: para identificar marcas de coches, podríamos usar imágenes, vídeos o incluso datos tabulares con características técnicas.

Elegir el tipo de dataset adecuado según la tarea es fundamental. También debemos considerar la disponibilidad de datos, el coste de su obtención y si existen alternativas open source que podamos reutilizar.

Datasets más relevantes según tipo de tarea de IA

Conseguir datasets de calidad es un reto clave en cualquier proyecto de inteligencia artificial. Afortunadamente, la comunidad ha creado y compartido miles de conjuntos de datos bajo licencias open source. A continuación, te presentamos algunos de los más destacados, organizados según el tipo de tarea que permiten abordar.

Visión por computador (Computer Vision)

Los datasets para visión artificial pueden incluir imágenes, vídeos o ambos. Algunos de los más populares y utilizados son:

• MNIST: Uno de los datasets clásicos para iniciarse en el reconocimiento de dígitos manuscritos (0-9). Ideal para pruebas básicas de clasificación.
• ImageNet: Gran repositorio con millones de imágenes etiquetadas, fundamental en tareas como clasificación y detección de objetos. Fue la base del famoso concurso ImageNet Large Scale Visual Recognition Challenge (ILSVRC).

Procesamiento de lenguaje natural (NLP)

El NLP requiere datasets de texto masivos y representativos. Aquí algunos ejemplos clave:

• Common Crawl: Incluye más de 12 petabytes de datos obtenidos de páginas web públicas. Es una base fundamental para modelos LLM como GPT.
• GLUE Benchmark: Conjunto de tareas para evaluar modelos de comprensión del lenguaje. Incluye clasificación, análisis de sentimientos y detección de inferencias.

Reconocimiento de voz y audio

Para tareas como transcripción o identificación de hablantes, estos datasets son esenciales:

• LibriSpeech: Más de 1000 horas de grabaciones de voz en inglés, extraídas de audiolibros.
• Common Voice: Proyecto de Mozilla con más de 26000 horas de voz en múltiples idiomas, útil para entrenar modelos inclusivos y diversos.

Datos tabulares y estructurados

Los datos organizados en tablas son ideales para tareas como predicción o clasificación tradicional:

• Housing Prices (Kaggle): Datos de propiedades con múltiples atributos como tamaño, número de habitaciones, etc. Ideal para regresión.
• Titanic Dataset: Clásico dataset de clasificación binaria para predecir la supervivencia de los pasajeros del Titanic.

Generación de texto o imagen

Los modelos generativos utilizan datos específicos del tipo de contenido a crear. Algunos destacados:

• LAION-5B: Más de 5.8 mil millones de pares imagen-texto. Base de entrenamiento para modelos como Stable Diffusion.
• CelebA: Dataset con más de 200.000 imágenes de rostros de celebridades, etiquetadas con atributos. Muy usado en generación de rostros sintéticos.

IA multimodal

Los sistemas que combinan texto, imagen, audio y otros tipos de datos se entrenan con datasets multimodales como:

• COCO Captions: Imágenes acompañadas de descripciones textuales, ideal para tareas como captioning o VQA (Visual Question Answering).
• AudioCaps: Conjunto de clips de audio con descripciones escritas generadas por humanos, útil para clasificación y generación multimodal.

Técnicas de preprocesamiento habituales en IA

Hemos visto previamente que la calidad de los datos es tan importante como la cantidad de ellos. Acabamos de ver conjuntos de datos con los que podemos obtener una gran cantidad de datos. A continuación, vamos a ver algunas técnicas para conseguir que dichos datos sean de gran calidad.

Limpieza y estandarización de datos

La técnica más básica que debemos aplicar siempre es la limpieza y estandarización de datos. Para ellos seguiremos los siguientes pasos:

• Eliminación de valores nulos: suprimir registros incompletos o imputar valores faltantes.
• Eliminación de valores duplicados: evitar repeticiones que puedan sesgar el modelo.
• Normalización de datos numéricos: escalar los datos para que tengan media 0 y desviación típica 1.
• Codificación de variables categóricas en números: convertir texto en formatos numéricos (por ejemplo, con one-hot encoding o label encoding).

Tokenización y truncamiento

Estas dos técnicas generalmente se aplican a las tareas de procesamiento del lenguaje natural. La tokenización consiste en dividir el texto en unidades más pequeñas, como pueden ser frases, palabras o grupos de letras. El truncamiento consiste en hacer que todos los tokens creados tengan la misma longitud, es especialmente útil cuando las cadenas de texto que debemos tokenizar no son divisibles entre la longitud de los tokens deseados.

Aumentación de datos

Esta técnica crea nuevas muestras de datos a partir de las existentes, introduciendo variaciones controladas. Es especialmente útil cuando el tamaño del dataset es limitado. Según el tipo de datos podemos aplicar diferentes modificaciones:

• Datos en forma de imágenes: rotaciones, volteos, recortes o modificaciones de brillo y contraste.
• Datos en forma de texto: sustitución de palabras por sinónimos, inserciones aleatorias o cambios gramaticales.
• Datos en forma de audio: adición de ruido, cambios de tono o velocidad de reproducción.

Conversión a tensores

Las técnicas más avanzadas de inteligencia artificial requieren representar los datos en forma de tensores. Los tensores son estructuras de datos de alta dimensionalidad (puedes imaginarte matrices con millones de dimensiones). Dichos tensores son representaciones en forma de números de los datos y se pueden utilizar para representar datos de cualquier tipo, desde imágenes o textos hasta audios.

Librerías Python que facilitan el acceso y uso de datasets

La comunidad open-source de Python ha creado muchas librerías para facilitar el proceso de obtención, gestión y preprocesamiento de datos. La mayoría de ellas tiene características en común, como la posibilidad de descargar conjuntos de datos mediante ellas, pero cada una tiene aspectos propios que las diferencian del resto.

TensorFlow Datasets (TFDS)

TensorFlow Datasets es una colección de conjuntos de datos listos para utilizar. Si bien la librería está especialmente pensada para combinar con TensorFlow como framework de trabajo es compatible con otros frameworks de machine learning como Jax.

Hugging Face Datasets

Hugging Face Datasets es una librería que tiene como objetivo facilitar el acceso a datasets de inteligencia artificial, concretamente con conjuntos de datos para realizar tareas de audio, visión por computador y procesamiento del lenguaje natural. Se caracteriza por la posibilidad de cargar conjuntos de datos con una sola línea de código y los métodos de streaming para procesar el conjunto de datos.

Scikit-learn y OpenML

Scikit-learn es una de las librerías más importantes para aplicar técnicas de aprendizaje automático. OpenML es una plataforma web creada para compartir conjuntos de datos, modelos y experimentos. Entre estas dos herramientas existe una sinergia clara, para entrenar modelos de aprendizaje automático con scikit-learn necesitas datos, los cuáles puedes extraer de OpenML. Con esta visión en mente en scikit-learn se creó un conector que permite utilizar de manera sencilla cualquier conjunto de datos que se encuentre en OpenML.

Torchvision y Torchaudio

Torchvision y Torchaudio son las librerías equivalentes a TensorFlow Datasets para el framework de inteligencia artificial PyTorch. Cada una de las librerías está especializada en un tipo de conjunto de datos, Torchvision se utiliza con modelos relacionados con tareas de visión por computador y Torchaudio para tareas relacionadas con tareas de audio.

Kaggle Datasets API

Kaggle es una comunidad de aprendizaje automático centradas en el proceso de aprendizaje de los usuarios, Para ello ha creado un gran repositorio de modelos de inteligencia artificial y de conjuntos de datos. El punto fuerte de esta plataforma es la gran comunidad activa que constantemente comparte sus conjuntos de datos, de manera que es el lugar adecuado para encontrar los conjuntos de datos para tus tareas más extrañas.

Cómo elegir el dataset adecuado para tu proyecto de IA

A lo largo del artículo hemos destacado la importancia crítica de contar con un buen conjunto de datos para lograr resultados sólidos en inteligencia artificial. Ahora abordaremos cuatro factores clave, menos técnicos pero igual de decisivos, que deberías tener en cuenta al seleccionar el dataset más adecuado para tu caso de uso.

• Adecuación al problema y contexto real: El primer criterio debe ser la relevancia del dataset respecto al problema real que queremos resolver. Es decir, cuánto se parecen los datos de entrenamiento a los que el modelo encontrará en producción. Un conjunto de datos mal alineado con el contexto real puede introducir sesgos significativos y deteriorar el rendimiento del modelo. Cuanto más fiel sea el dataset a la situación del mundo real, mejor capacidad tendrá el modelo para generalizar.

• Calidad y disponibilidad de las etiquetas: La precisión y consistencia del etiquetado es otro factor esencial. En conjuntos de datos masivos es normal que existan errores puntuales, pero un porcentaje elevado de etiquetas incorrectas puede comprometer seriamente el aprendizaje del modelo. Asegúrate de revisar si el dataset ha sido validado, curado o revisado por humanos, y si dispone de documentación que explique cómo se ha etiquetado cada clase o variable.

• Licencias y restricciones de uso: Antes de utilizar cualquier dataset, es imprescindible comprobar las condiciones legales de uso. Muchas licencias permiten su uso libre para fines educativos o de investigación, pero imponen restricciones cuando se trata de aplicaciones comerciales. Si tu proyecto tiene vocación de producto o negocio, asegúrate de que la licencia permite esa explotación y que estás cumpliendo con los requisitos de atribución o redistribución que se especifiquen.

• Actualización y posibilidad de ampliación: Un buen dataset no solo debe ser útil hoy, sino también escalable y actualizable en el futuro. Algunos repositorios ofrecen versiones periódicas con mejoras o nuevas muestras, lo que permite mejorar el rendimiento del modelo con el tiempo. Además, conviene elegir conjuntos de datos que puedan ser ampliados fácilmente con tus propios ejemplos o con nuevas fuentes externas, manteniendo así la vigencia y la precisión de tu sistema de IA.

Conclusiones

Los datasets son el alma de la inteligencia artificial. Sin ellos no podríamos entrenar ningún modelo de aprendizaje supervisado, no seríamos capaces de realizar ni las tareas más básicas de IA. Por ello elegir un dataset adecuado a tu tarea no es una tarea sencilla. Debemos tener en cuenta tanto aspectos técnicos (tamaño del dataset, adecuación a la tarea real, etc.) como aspectos no técnicos (licencias de uso, planes a futuro de los conjuntos de datos) para elegir el mejor dataset.

Con el objetivo de paliar estas dificultades se han creado herramientas que facilitan el crear, compartir y utilizar conjuntos de dato, antiguamente tenías que crearte tu propio dataset y si querías compartirlo tu mejor opción era un CD, ahora disponemos de muchas opciones para utilizar conjuntos de datos con una sola línea de código.

Esta tendencia sigue más viva que nunca, donde vemos sinergias entre plataformas y librerías y como las librerías más importantes de IA crean facilidades para utilizar datasets ya creados. Elegir y preprocesar el dataset adecuada siempre será uno de los grandes retos a la hora de afrontar retos de IA, pero día a día, gracias al esfuerzo de la comunidad open-source tenemos más facilidades para hacerlo.