RAG vs Fine-tuning

El artículo que vamos a desentrañar explora el impacto de las técnicas de recuperación y el ajuste en el rendimiento de los modelos de lenguaje grande (LLM).

El paper realizado por un grupo de investigadores de Microsoft se titula " RAG VS FINE-TUNING: PIPELINES, TRADEOFFS, AND A CASE STUDY ON AGRICULTURE” y propone un canal para la aplicación de generación aumentada de recuperación (RAG) y técnicas de ajuste fino (fine-tuning) en LLM, y evalúa la efectividad de estas técnicas utilizando conjuntos de datos de referencia de los principales países productores agrícolas. El documento proporciona información valiosa sobre las fortalezas y limitaciones de los LLM dentro del ámbito agrícola y sirve como un paso pionero en el establecimiento de un canal para la aplicación de RAG y técnicas de ajuste en los LLM, fomentando la innovación y la colaboración en múltiples industrias.

Para que nadie se pierda, empecemos por lo más básico: ¿qué son las técnicas de recuperación y el ajuste aplicado a los LLM?

Los LLM son todos aquellos modelos de IA generativa que tantísima fama han obtenido gracias a la salida de GPT-3.5 por medio de ChatGPT, es decir, ¡¡¡ChatGPT no es una IA en sí!!! Es una versión específica de GPT-3.5 finamente ajustada para conversaciones. Por tanto, el fine-tuning y el RAG son técnicas de mejora y adaptación de modelos de lenguaje para solucionar posibles problemáticas o carencias de estos.

Vamos a simplificarlo con un ejemplo:

•  Retrieval-Augmented Generation (RAG):

Imagina que estás usando un modelo de lenguaje grande para responder preguntas. Con RAG, en lugar de solo depender de lo que ya "sabe" el modelo, le das acceso a información adicional. Sería como si estás haciendo un examen y puedes usar un libro de referencia para encontrar respuestas. El modelo toma la pregunta, busca información relevante externa y la combina con su conocimiento para darte una respuesta mejorada.

Por ejemplo, si le preguntas al modelo, "¿Qué tiempo hace hoy en Barcelona?" Con RAG, el modelo podría buscar en una base de datos externa y decirte " El tiempo en Barcelona es de 17 grados con cielos soleados." basándose tanto en su conocimiento previo como en la información que encontró. ¿Ahora entendéis esas IAs mágicas que tienen conexión a Internet?

• Fine-tuning (Ajuste Fino):

Ahora, considera que deseas enseñar al modelo sobre un tema específico que no conoce bien. En lugar de ajustar todo el modelo, solo haces un "ajuste fino" en una parte específica para que sea experto en ese tema. Sería como personalizar una herramienta para que sea perfecta para una tarea específica.

Por ejemplo, si el modelo es bueno en general, pero quieres que sea excelente en responder preguntas sobre agricultura, haces un ajuste fino en ese aspecto. Le das muchos ejemplos y le dices: "¡Oye, presta atención a la agricultura y aprende de estos datos!" Después de eso, el modelo será mucho mejor respondiendo preguntas relacionadas con la agricultura.

En conclusión, la clave y principal diferencia de estas dos técnicas está en el reentrenamiento del modelo base, en el RAG en ningún momento se realiza un nuevo entrenamiento mientras que en el fine-tuning sí que se hace, aunque en ambos casos “dopas” o mejoras al modelo inicial.

Una vez entendidos los conceptos básicos nos adentramos en la realización del propio artículo. Este comienza explicando las principales diferencias de ambos métodos al incorporar datos externos en modelos de lenguaje grandes. La técnica RAG mejora la consulta con datos externos, mientras que el fine-tuning incorpora el conocimiento adicional directamente en el modelo. Los pros y contras de ambos enfoques no se comprenden completamente y es por ello por lo que se realiza este artículo. El RAG es conocido por mejorar la precisión en modelos grandes y es altamente efectivo cuando los datos son contextualmente relevantes. El ajuste fino ofrece una salida precisa y concisa, adaptada a la brevedad y presenta oportunidades para aprender nuevas habilidades en un dominio específico. Sin embargo, el coste inicial es alto debido al extenso trabajo necesario para ajustar finamente el modelo con nuevos datos.

En el segundo bloque del paper se realiza una propuesta de pipeline detallando cuáles son las etapas involucradas en el proceso. Este se compone de:

1.       Extracción de información de PDFs: En esta etapa se extrae información relevante de documentos en PDF, que sirve como fuente de conocimiento para las etapas siguientes.

2.       Generación de preguntas y respuestas: Utilizando la información extraída para generar preguntas y respuestas, que luego se utilizan para el ajuste fino.

3.       Ajuste fino: Incorporación del conocimiento adicional directamente en el modelo, lo que implica un trabajo extenso para adaptar el modelo a nuevos datos.

4.       Aprovechamiento de GPT-4 para evaluar los resultados: Utilización del modelo GPT-4 para evaluar el rendimiento y la efectividad del pipeline de ajuste fino y RAG.

El pipeline tiene como objetivo integrar datos externos en LLMs de manera efectiva, proporcionando un enfoque estructurado para aprovechar tanto las técnicas de RAG como de ajuste fino para mejorar las capacidades de los modelos.

Por último y lo más importante del artículo, se explican los conocimientos y resultados obtenidos del estudio y se detallan cómo podrían estos hallazgos potencialmente alterar la industria. El estudio arrojó varios conocimientos y resultados como una evaluación extensa de LLMs, incluyendo LlaMa2-13B, GPT-4 y Vicuna, al responder preguntas relacionadas con la agricultura utilizando conjuntos de datos de referencia de importantes países productores de alimentos. Los hallazgos proporcionaron una comprensión crucial del rendimiento de estos modelos en el contexto agrícola. Además, la investigación explica que esto representa un paso pionero para establecer un pipeline de aplicación de técnicas de RAG y ajuste fino en LLMs, fomentando la innovación y la colaboración en múltiples industrias. Los conocimientos obtenidos demuestran cómo estas estrategias pueden llevar a modelos más eficientes, comenzando desde el proceso de generación de preguntas y respuestas. Las cuales tienen el potencial de alterar la industria agrícola al aprovechar el poder de los LLMs para proporcionar información específica de ubicación a agricultores y partes interesadas. Al utilizar técnicas de RAG y ajuste fino, la industria puede beneficiarse de respuestas más precisas y contextualmente relevantes, lo que conduce a avances en áreas como predicciones de rendimiento de cultivos, optimización de horarios de riego según patrones climáticos y mejora general de las prácticas agrícolas.

Pero… ¿entonces qué es mejor el RAG o el fine-tuning?

Finalmente, centrándonos en el impacto de ambas técnicas sacamos las siguientes conclusiones:

El estudio encontró que tanto RAG como el ajuste son técnicas efectivas para mejorar el desempeño de los LLM. El RAG demostró ser muy eficaz en casos donde los datos son contextualmente relevantes, como en la interpretación de datos agrícolas. Conduce a respuestas más concisas que el modelo base, lo que lo convierte en una técnica útil para manejar grandes conjuntos de datos. Sin embargo, es importante tener en cuenta que el tamaño del token de entrada puede aumentar el tamaño del mensaje, y el tamaño del token de salida tiende a ser más detallado y difícil de controlar.

Por otro lado, se descubrió que el ajuste fino era útil para enseñar al modelo nuevas habilidades específicas del ámbito agrícola y proporcionar respuestas más precisas y concisas. Sin embargo, el alto coste inicial debido al extenso trabajo requerido para ajustar el modelo con nuevos datos es una consideración importante.

El estudio concluyó que, si bien tanto RAG como el ajuste fino son técnicas efectivas, su idoneidad dependería de la aplicación específica, la naturaleza y el tamaño del conjunto de datos y los recursos disponibles para el desarrollo del modelo. El documento también propuso un canal para la aplicación de RAG y técnicas de ajuste en LLM, fomentando la innovación y la colaboración en múltiples industrias.