Datos Sintéticos: Detrás del Impresionante Rendimiento de Phi-3
Luis Camilo Jimenez Alvarez
M.Sc., Solution Architect and ML & AI Practice Leader
Gracias por leer mi artículo Datos Sintéticos: Detrás del Impresionante Rendimiento de Phi-3. Para seguir explorando temas de machine learning e inteligencia artificial, te invito a suscribirte a mi newsletter IA & Data Insights y seguirme en LinkedIn y X. Tu interacción enriquece la conversación en estos campos apasionantes.
Introducción
El reciente artículo "Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone" presenta hallazgos sorprendentes y alentadores en el campo de los modelos de lenguaje. Los investigadores lograron crear un modelo de lenguaje altamente capaz, llamado Phi-3-mini, que rivaliza con modelos mucho más grandes como GPT-3.5, pero con la ventaja de ser lo suficientemente pequeño como para ejecutarse localmente en un teléfono móvil. Este logro se atribuye enteramente a las innovaciones en el conjunto de datos utilizado para el entrenamiento, que consiste en una versión ampliada del utilizado para el modelo anterior, Phi-2, compuesto por datos web fuertemente filtrados y datos sintéticos.
Reducción del tamaño del modelo y mejora del rendimiento
Uno de los aspectos más destacados del estudio es la capacidad de reducir significativamente el tamaño del modelo sin comprometer su rendimiento. Phi-3-mini, con solo 3.8 mil millones de parámetros, logra resultados comparables a modelos mucho más grandes como GPT-3.5, que tiene alrededor de 175 mil millones de parámetros. Esta reducción drástica en el tamaño del modelo se logra mediante el uso de datos de entrenamiento optimizados, específicamente datos web altamente filtrados y datos sintéticos generados por modelos de lenguaje más grandes.
Los resultados son impresionantes. Phi-3-mini alcanza un 69% en la prueba MMLU y 8.38 en MT-bench, métricas que miden la capacidad de razonamiento y el rendimiento general del modelo. Estos puntajes son comparables a los obtenidos por modelos significativamente más grandes, como Mixtral 8x7B y GPT-3.5, lo que demuestra que un modelo pequeño puede alcanzar un rendimiento similar al de modelos más grandes cuando se entrena con datos de alta calidad.
El poder de los datos sintéticos
Tradicionalmente, ha habido cierta resistencia a trabajar con datos sintéticos en el entrenamiento de modelos de lenguaje, debido a la preocupación de que podrían aumentar los sesgos e incluso afectar negativamente el rendimiento. Sin embargo, los resultados presentados en este artículo desafían esa noción y demuestran que los datos sintéticos, cuando se generan y filtran adecuadamente, pueden mejorar significativamente el rendimiento de un modelo pequeño, permitiéndole alcanzar resultados comparables a los de modelos más grandes.
Una de las ventajas de utilizar datos sintéticos es que son más fáciles de recopilar y se pueden generar variaciones para cubrir una amplia gama de escenarios. Esto permite entrenar modelos con datos diversos y representativos, lo que a su vez mejora su capacidad de generalización y robustez.
Hipótesis sobre las mejoras
Para entender mejor cómo los datos sintéticos contribuyen a la mejora del rendimiento de los modelos pequeños, se pueden plantear varias hipótesis basadas en conceptos establecidos en el aprendizaje automático y la teoría de la información.
Una posible explicación es que un modelo de lenguaje gigante puede generar datos sintéticos que capturen las salidas más relevantes y proporcionen la mayor cantidad de información diferenciada. Al entrenar un modelo más pequeño con estos datos optimizados, se puede lograr un rendimiento equivalente al del modelo más grande. Este concepto no es completamente nuevo y se ha utilizado en técnicas como la destilación de modelos, donde se entrena un modelo más pequeño para imitar el comportamiento de un modelo más grande.
Otra hipótesis se basa en el principio de reducción de dimensionalidad, similar a técnicas como el Análisis de Componentes Principales (PCA). Aunque PCA y otras técnicas relacionadas no son directamente aplicables a los modelos de lenguaje, debido a su naturaleza no lineal y de alta dimensionalidad, los principios subyacentes pueden aplicarse a través de la generación de datos sintéticos. Al generar datos que capturen las características más relevantes y distintivas, se puede lograr un efecto similar a la reducción de dimensionalidad, permitiendo que un modelo más pequeño aprenda de manera más eficiente.
Además, desde la perspectiva de la teoría de la información, se sabe que una información más rica y estructurada puede conducir a mejores resultados en el aprendizaje. Los datos sintéticos generados por un modelo grande pueden proporcionar una información más densa y significativa, lo que permite que un modelo más pequeño aprenda de manera más efectiva.
De esta manera, se puede argumentar que los datos sintéticos generados por modelos grandes actúan como una forma de "sobreajuste positivo", permitiendo que un modelo más pequeño replique el comportamiento del modelo grande utilizando menos parámetros. Al entrenar el modelo pequeño con los datos más probables y representativos del modelo grande, se puede lograr un rendimiento similar con una fracción del tamaño.
El futuro de la industria de los modelos de lenguaje
Los hallazgos presentados en el artículo de Phi-3 nos hacen pensar en un posible cambio de paradigma en la industria de los modelos de lenguaje. En lugar de centrarse únicamente en la creación de modelos cada vez más grandes y potentes, es probable que veamos un enfoque de dos vías.
Recomendado por LinkedIn
Por un lado, las empresas líderes en tecnología seguirán desarrollando modelos gigantes, que ya han sobrepasado los billones de parámetros. Estos modelos serán entrenados con cantidades masivas de datos y tendrán capacidades cada vez más impresionantes. Sin embargo, debido a su enorme tamaño y requisitos computacionales, estos modelos gigantes serán operados principalmente por un pequeño número de empresas con los recursos suficiente para hacerlo.
Por otro lado, se espera que estos modelos gigantes se utilicen cada vez más para generar datos sintéticos de alta calidad, que a su vez se emplearán para entrenar modelos más pequeños y eficientes. Estos modelos pequeños, como Phi-3-mini, tendrán un rendimiento comparable al de los modelos gigantes, pero serán mucho más accesibles y podrán ejecutarse en dispositivos locales.
En este sentido, la industria se dividirá en dos frentes principales. El primero se centrará en la creación de los mejores modelos gigantes posibles, con el objetivo de minimizar los sesgos, maximizar el rendimiento y la diversidad, y ofrecer las mejores características. Sin embargo, estos modelos no serán utilizados directamente para brindar servicios a los usuarios finales. En cambio, su propósito principal será generar datos sintéticos de la más alta calidad para alimentar los modelos más pequeños.
El segundo frente de la industria se dedicará a la optimización de los modelos pequeños y la generación de la mejor data sintética posible. El objetivo será crear modelos cada vez más pequeños y eficientes que mantengan el rendimiento de los modelos grandes. Las empresas se esforzarán por encontrar el equilibrio óptimo entre el tamaño del modelo y la calidad de los datos sintéticos utilizados para el entrenamiento.
Aplicación en ICL y RAG
Aunque los resultados de Phi-3 son emocionantes, la realidad es que la mayoría de las empresas no tienen la capacidad de desarrollar sus propios modelos de lenguaje, ni siquiera los más pequeños. En cambio, muchas empresas están adoptando enfoques como el In-Context Learning (ICL) y el Retrieval Augmented Generation (RAG) para aprovechar los modelos de lenguaje existentes.
En el ICL y el RAG, los datos o textos de la empresa se utilizan para crear embeddings que se almacenan como vectores. Luego, se realiza un retrieval de los vectores más relevantes para construir una ventana de contexto o prompt que se proporciona a un modelo de lenguaje preentrenado. El modelo genera respuestas basadas en la información proporcionada en la ventana de contexto.
Sin embargo, al igual que en el entrenamiento de modelos pequeños, la calidad de los datos utilizados en el ICL es crucial. Muchos de los datos generados por las empresas pueden ser irrelevantes, redundantes o poco diversos, lo que limita la eficacia del modelo.
Los hallazgos del artículo de Phi-3 pueden arrojar luz sobre cómo mejorar los procesos de ICL y RAG. Una posibilidad es generar datos sintéticos como fuente para RAG, utilizando un modelo de lenguaje para crear datos que tengan las mismas cualidades deseables que se utilizan para entrenar modelos pequeños de alto rendimiento. Esto podría incluir la generación de metadatos relevantes, la aplicación de filtros para seleccionar la información más significativa y la obtención de una mayor diversidad de información mediante técnicas de re-ranking.
Al generar datos sintéticos de alta calidad para alimentar los modelos de ICL y RAG, las empresas pueden mejorar significativamente la eficacia de estos enfoques. La información generada por un modelo de lenguaje podría proporcionar un valor agregado que no se encuentra fácilmente en la documentación original creada manualmente.
Conclusión
Los resultados presentados en el artículo "Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone" tienen implicaciones significativas para la industria de los modelos de lenguaje y el aprendizaje automático en general. Demuestran que la generación de datos sintéticos de alta calidad puede permitir la creación de modelos pequeños con un rendimiento comparable al de los modelos más grandes, lo que abre nuevas posibilidades para la eficiencia y la accesibilidad.
Estos hallazgos también desafían la noción preconcebida de que los datos sintéticos son inherentemente problemáticos y deben evitarse. En cambio, sugieren que, cuando se generan y filtran adecuadamente, los datos sintéticos pueden ser un valioso recurso para mejorar el rendimiento de los modelos, independientemente de su tamaño.
Para las empresas que no tienen la capacidad de desarrollar sus propios modelos de lenguaje, estos descubrimientos ofrecen una valiosa lección. En lugar de depender únicamente de los modelos proporcionados por terceros, las empresas pueden y deben invertir en la generación de datos sintéticos de alta calidad para alimentar sus procesos de ICL y RAG. Al hacerlo, pueden obtener un rendimiento superior y resultados más relevantes, incluso con modelos más pequeños.
En última instancia, los resultados del artículo de Phi-3 nos recuerdan que el futuro de la inteligencia artificial no se trata solo de crear modelos cada vez más grandes y potentes. También se trata de ser inteligentes y estratégicos en cuanto a los datos que utilizamos para entrenar y alimentar estos modelos. Al abrazar el potencial de los datos sintéticos y aplicar los principios de filtrado, diversidad y relevancia en todos los niveles del proceso de aprendizaje automático, podemos desbloquear nuevos niveles de eficiencia y rendimiento.
Referencias