Inteligencia Artificial

Qué es MLOps

MLOps (Machine Learning Operations) engloba todo un conjunto de prácticas y metodologías creadas para facilitar el trabajo con modelos de inteligencia artificial basados en el aprendizaje automático. Concretamente, MLOps busca automatizar, simplificar y estandarizar los flujos de trabajo requeridos para poner en producción un modelo de machine learning (ML). Algunas de las tareas englobadas en este conjunto de prácticas son:

• Análisis y preparación de datos.
• Entrenamiento de modelos.
• Validación de modelos.
• Fine-tunning de modelos.
• Despliegue de modelos.
• Evaluación continua de modelos.

Relación con DevOps aplicado a machine learning

MLOps es una metodología que hereda directamente de los principios de DevOps. Su propósito es integrar el desarrollo y las operaciones en el despliegue de sistemas, garantizando una implementación eficiente.

La diferencia clave entre las dos metodologías radica en el tipo de sistema que se pretende desplegar. Mientras que DevOps se encarga de gestionar el despliegue de sistemas de código estáticos MLOps abarca el despliegue de sistemas de machine learning, en los que los datos cambian constantemente, haciendo que sea necesario la monitorización y validación continua de los modelos desplegados.

Origen y relación con DevOps y DataOps

Tanto MLOps como DataOps (Data Operations) son dos metodologías derivadas de DevOps. Las tres metodologías tienen como objetivo definir un conjunto de procesos y buenas prácticas que permitan facilitar los procesos y flujos de trabajo en sus respectivas áreas.

La diferencia principal de las tres disciplinas radica en el área de impacto. DevOps se centra en la gestión y despliegue de aplicaciones, MLOps está diseñado para entornos que involucran modelos de inteligencia artificial, y DataOps se encarga de la gestión eficiente de los datos.

Principales objetivos de MLOps

Al igual que con la mayoría de las metodologías de trabajo los objetivos finales de MLOps son incrementar la eficiencia de los procesos, reducir los tiempos de desarrollo y costes y mejorar la escalabilidad de los sistemas.

Todos estos objetivos se logran gracias a los siguientes objetivos concretos.

• Automatización del ciclo de vida de los modelos de IA: Uno de los pilares de MLOps es la automatización de procesos. Los procesos automatizables comienzan en la recopilación y limpieza de datos, continúan existiendo en las tareas de entrenamiento y validación de modelos e incluso abarcan tareas relacionadas con las fases de despliegue y la monitorización. Al reducir la intervención manual se minimiza el número de errores humanos y se mejora la capacidad de añadir mejoras de manera continuada a nuestros modelos de IA.

• Gestión eficiente de datos y experimentación: El recurso principal para el desarrollo de cualquier sistema de aprendizaje automático son los datos. Sin embargo, disponer de ellos es necesario, pero no suficiente. Si queremos entrenar los mejores modelos de IA debemos recopilar los datos, pero también debemos analizarlos y prepararlos minuciosamente. Uno de los objetivos de las metodologías MLOps es promover el uso de procesos que permitan realizar estos tres procedimientos de forma eficiente, automática y rápida.

• Monitoreo y mantenimiento continuo: Los modelos de inteligencia artificial no son soluciones estáticas ni permanentes. Con el tiempo, su eficacia puede disminuir a causa de cambios en los datos o en el entorno que los genera y sobre el que actúa nuestro modelo. Para abordar este desafío, MLOps establece estrategias de monitoreo continuo que permiten detectar rápidamente cualquier reducción en la efectividad del modelo y aplicar las correcciones necesarias.

Fases del pipeline de MLOps

Para cumplir con todos los objetivos que acabamos de explicar MLOps establece una serie de procesos. Estos procesos conforman el pipeline de MLOps y ayudan a garantizar un ciclo de vida adecuado para los modelos de inteligencia artificial.

• Ingesta y procesamiento de datos: La primera fase y la más importante consiste en la recopilación y preprocesamiento de los datos. En esta fase se recopilan datos de las distintas fuentes disponibles, a continuación, se limpian los datos, se normalizan, etiquetan y se realiza cualquier otro preprocesamiento que requiera la tarea que se esté abordando.

• Entrenamiento y evaluación de modelos: Cuando tenemos los datos preparados procedemos a seleccionar que modelos de inteligencia artificial vamos a entrenar, a continuación, los entrenaremos y finalmente los evaluaremos. En esta fase podremos experimentar con diferentes modelos, algoritmos e hiperparámetros para encontrar el modelo y la configuración que generen mejores resultados.

• Despliegue y monitorización: Los pasos finales de la mayor parte de los proyectos de inteligencia artificial son la puesta en marcha de la solución creada y el monitoreo constante de esta. Para conseguir este objetivo integraremos nuestro modelo de IA en nuestra aplicación, ya sea mediante una interfaz de programación o una API. Una vez el modelo esté integrado estableceremos un sistema de monitorización continuo que levante alertas cuando nuestro modelo no se comporte correctamente.

Cómo optimiza la implementación de modelos en producción

Llegados a este punto tal vez te preguntes si las metodologías MLOps tienen tanto impacto en sistemas productivos como en la fase de desarrollo de las soluciones de inteligencia artificial. La respuesta es un rotundo sí, tan rotundo que en OpenWebinars hemos creado el Curso de implementación eficiente de MLOps. De hecho, los beneficios son aún mayores en la fase de producción, donde la estabilidad, eficiencia y escalabilidad del modelo son críticas.

• Automatización del flujo de trabajo:Uno de los principales desafíos en el desarrollo de soluciones de inteligencia artificial es transicionar un modelo de la fase de desarrollo a la fase productiva. Esto se debe a que los entornos de desarrollo y producción tienden a ser rotundamente diferentes, sin embargo mediante la metodología MLOps podemos automatizar la mayor parte de las tareas de despliegue, reduciendo así las diferencias entre entornos y disminuyendo así el tiempo necesario para pasar de una fase de desarrollo a una de despliegue.

• Reproducibilidad de modelos: Las soluciones que hacen uso de machine learning tienen un gran problema: los entornos creados tienden a ser no deterministas, es decir, para los mismos datos de entrada no podemos garantizar que el 100% de las veces obtendremos la misma solución. Esto provoca que evaluar estos sistemas y reproducir resultados sea extremadamente complejo. Por ello MLOps establece prácticas y herramientas que aseguran la reproducibilidad de los experimentos, lo cual permite validar resultados y realizar auditorías de las soluciones creadas.

• Monitorización y mantenimiento: Los sistemas de inteligencia artificial no son infalibles, las personas que los desarrollamos tampoco. En ocasiones los datos cambian y un modelo que ha funcionado genial durante meses comienza a tener un rendimiento mediocre, en otras ocasiones somos nosotros mismos, los desarrolladores los que introducimos un “bug” que sucede 1 vez cada cien mil ejecuciones del modelo. Sea como sea, es crucial monitorizar nuestros sistemas para detectar fallos en los modelos y poder solucionarlos rápidamente.

• Escalabilidad: Otro de los puntos cruciales de las metodologías MLOps es la atención que prestan al problema de la escalabilidad. Si queremos crear soluciones de calidad tenemos que diseñar sistemas que se adapten a las cargas de trabajo, de manera que cuando tengamos más peticiones de clientes dispongamos de más recursos y cuando tengamos menos clientes hagamos uso de menos recursos para disminuir costes. Por ello MLOps presta especial atención a todos los procesos que nos permiten escalar vertical y horizontalmente nuestras soluciones.

Herramientas clave en MLOps

A lo largo del tiempo han surgido muchas herramientas que tienen como objetivo facilitar la implementación de MLOps, a continuación, vamos a repasar algunas de las más útiles.

Gestión del ciclo de vida de modelos

Llamamos herramientas de gestión de ciclo de vida de modelos a aquellas herramientas que nos permiten supervisar, automatizar y optimizar el desarrollo de modelos de inteligencia artificial. Existen múltiples opciones tanto privadas como open-source. Algunas de las más destacadas son:

• MLFlow: Plataforma open-source creada por Databricks, la empresa estadounidense fundada por los creadores de Apache Spark. Es una de las plataformas más activas y que provee un gran número de funcionalidades para trabajar con inteligencia artificial generativa (GenAI).
• Kubeflow: es un proyecto open-source creado en 2017 por Google. Esta plataforma está especialmente diseñada para el despliegue y la gestión de procesos en Kubernetes.

Automatización de pipelines

Existen múltiples opciones que permiten automatizar las pipelines que utilizan nuestros proyectos. Existen tanto herramientas generales que ofrecen plugins para mejorar la experiencia de trabajar con modelos de machine learning como herramientas especializadas. Algunas de las más populares son:

• Gitlab CI: GitLab ofrece GitLab Machine Learning Operations (MLOps), un conjunto de herramientas diseñadas para facilitar todas las tareas relacionadas con modelos de aprendizaje automático. Destaca por su capacidad de rastrear experimentos, registrar modelos y automatizar las tareas que permiten gestionar el ciclo de vida de los modelos.
• Jenkins: Una de las plataformas open-source más utilizada para automatizar pipelines orientadas a tareas de integración y despliegue continuo (CI/CD). Si bien no es una herramienta diseñada específicamente para MLOps es una herramienta tan avanzada que permite gestionar correctamente todas las necesidades de un modelo de inteligencia artificial.

Orquestación y contenedores

A la hora de desarrollar proyectos de inteligencia artificial debemos crear módulos reutilizables e intercambiables. Esto se consigue separando el entorno de producción del entorno de ejecución y aislando cada una de las pipelines, de manera que sean independientes entre sí.

Las dos herramientas más utilizadas que permiten realizar esto son Docker y Kubernetes.

Monitoreo y experimentación

Las herramientas de monitoreo y experimentación se enfocan en supervisar el rendimiento de los modelos a lo largo de todo el ciclo de vida de nuestra aplicación. Algunas de las herramientas encargadas de esto son:

• Neptune.ai: Es la plataforma de experimentación open-source más escalable. Permite almacenar versiones de modelos, guardar experimentos, hiperparámetros y además, ofrece herramientas que permiten aumentar la reproducibilidad de experimentos que realicemos.
• MLFlow: MLFlow es una de las herramientas MLOps más completas del mercado, entre sus capacidades está la de monitorizar el rendimiento del modelo y disparar alarmas definidas por el usuario cuando si el modelo monitorizado sufre algún fallo.

Conclusiones

Conocer e utilizar metodologías MLOps es un aspecto clave a la hora de llevar a cabo un proyecto complejo que haga uso de modelos de inteligencia artificial. Estas metodologías nos guían a la hora de desarrollar, implementar y mantener los sistemas complejos que nos permiten aprovechar la IA al máximo.

Una prueba de esto son los movimientos de las grandes empresas como Google, las cuales invierten dinero y tiempo de desarrollo en crear plataformas que facilitan la implementación de las metodologías MLOps. Además, existen otros grandes proyectos como Jenkins, los cuáles dirigen partes de sus esfuerzos en ampliar el abanico herramientas de utilidad para MLOps.

Gracias a todo esto podemos augurar un panorama muy alentador para aquellos profesionales que tengan conocimientos de MLOps, ya que conocer estas buenas prácticas y metodologías les permitirá afrontar retos complejos con garantía de éxito.