Phi-2: Un modelo de Microsoft pequeño pero matón
Microsoft ha dado un paso adelante en lo que respecta a la IA y ha lanzado Phi-2. Y ojo, porque a pesar de que es un modelo de lenguaje pequeño o SLM, dará qué hablar.
Y es que para empezar, los que saben de esto dicen que que va a superar en potencia a Llama 2 de Meta, que ya de por sí es bastante elevada.
Siendo más concretos, Phi dispone de 2.700 millones de parámetros y Llama 2 de 70.000 millones. Aún así, se ha demostrado que el rendimiento de la primera es superior, por ejemplo, en tareas de programación y matemáticas.
A esto hay que añadir que la capacidad de razonamiento y comprensión de Phi-2 es igual o superior a modelos que son hasta 25 veces más grandes.
Sin duda, estamos ante un gran hito que merece la pena destacar.
Pero, ¿qué hay detrás de ello?
Los desarrolladores cuentan que este modelo ha tenido un entrenamiento más estratégico. O dicho de otro modo, más enfocado en la calidad de los datos que se han usado para ello.
Lo que se pretendía era entrenar al modelo con datos que pudieran dotarle sentido en común y conocimientos generales.
Es más, dicen que se emplearon un conjunto de datos compuesto por documentos de programación neurolingüística sintéticos, contenido web curado por su valor educativo, fragmentos de código de Stack Overflow y una variedad de libros de texto.
Respecto a los datos web, estos fueron seleccionados con precisión y detalle para no perder ni un ápice de calidad.
En total, el modelo se entrenó durante 14 días con 96 tarjetas gráficas A100 de Nvidia.
Esta combinación de información fue la que dotó al modelo de la gran capacidad de la que estamos hablando.
Como consecuencia, tiene un mejor comportamiento en lo que a respuestas tóxicas y sesgos de información se refiere, comparado con Llama 2.
Para quién está diseñado
Es preciso mencionar que el modelo es de código abierto y está dirigido a personal de investigación, mejoras de seguridad y temas de interpretación mecanicista.
Según Microsoft, se trata de un modelo compacto que se presenta como una opción ideal para proyectos de investigación. Se puede acceder desde la suite Azure AI Studio
Phi: bueno, bonito y verde
Por otro lado, la propuesta de Microsoft se presenta como un modelo pequeño, pero de gran rendimiento y, además, verde. Y es que los algoritmos que utiliza son más eficientes y compactos.
El modelo ha sido creado aprovechando al máximo la eficiencia energética de las infraestructuras y operan con menos recursos. Con ello, se reduce la huella de carbono y se genera un menor impacto ambiental.
Como ves, el sector de la IA no para de crear nuevas herramientas cada vez más potentes y más efectivas.
El futuro parece bastante prometedor, pues todo ello nos permitirá ser más ágiles y productivos en nuestro día a día.
También te puede interesar...
