Los Modelos de Lenguaje No Piensan, Imitan: Nuevo Estudio de Apple

En los últimos años, los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés), como GPT-4 y Claude Sonnet 3.5, han impactado por su capacidad para mantener conversaciones naturales, resolver problemas matemáticos complejos e incluso escribir creativamente. Nos han dejado preguntándonos: ¿Piensan realmente o solo repiten patrones aprendidos?

Un reciente estudio de Apple plantea una inquietante cuestión: aunque estos LLMs han mejorado en pruebas de razonamiento, eso no implica que realmente piensen como humanos. Vamos a desmenuzar lo que esto significa y cómo podría cambiar el destino de la inteligencia artificial (IA).

¿Qué Dice el Estudio de Apple?

Apple ha publicado un artículo titulado "GSM Symbolic Understanding" , en el cual se cuestiona si estos avanzados modelos realmente razonan o si simplemente imitan estructuras previamente vistas. En lugar de comprender profundamente los problemas, los modelos de IA podrían estar limitándose a reconocer y replicar patrones.

Razonamiento Humano vs. Imitación Patrones

Uno de los puntos centrales del estudio es la diferencia crucial entre razonamiento verdadero y reconocimiento de patrones. Imagine que los LLMs son como músicos copiando una melodía que han oído cientos de veces; tocan de manera impecable, pero no están componiendo una nueva pieza musical. Esto contrasta con lo que esperamos del razonamiento humano: crear soluciones o estrategias inéditas basadas en el entendimiento genuino del contexto.

¿Cómo Lo Ponen a Prueba?

Para investigar esto, Apple utilizó varios modelos de lenguaje vanguardistas como GPT-3.5, GPT-4, Claude, y PaLM 2, y les plantearon una serie de pruebas de razonamiento. Una de las más importantes fue el conjunto de pruebas matemáticas GSM8K, diseñado para medir la resolución lógica .

Modelos como GPT-3, que en sus inicios no superaban una puntuación del 35%, ahora alcanzan más del 85% con versiones recientes, como GPT-4. Esto plantea una pregunta lógica: ¿Estos avances representan mejoras reales en el razonamiento o simplemente una capacidad más refinada de reconocer patrones matemáticos ya vistos?

GSM-Symbolic: Un Test Más Allá de las Matemáticas

Para desafiar a los modelos, los investigadores de Apple introdujeron una variación de esta prueba, llamada GSM-Symbolic , que consta de tres versiones: GSM-Basic, GSM-Hard y GSM-Trap. Estas fueron diseñadas para evaluar cuán fácilmente pueden verse afectados los modelos por cambios superficiales o información irrelevante.

Por ejemplo, en GSM-Basic se hicieron cambios simples en los problemas, como ajustar nombres o números. Mientras que GSM-Hard añadió distracciones irrelevantes , como descripciones que no alteraban la matemática. GSM-Trap fue más agresivo, introduciendo trampas con información engañosa. Estos tests demostraron que los modelos de IA son más frágiles de lo que parecían. Incluso variaciones superficiales en los problemas generaron degradaciones significativas en su rendimiento.

Un Resbalón Inesperado

Los resultados fueron alarmantes . Cuando solo se cambian aspectos superficiales de los problemas (en GSM-Basic), GPT-4 perdió un 10.9% de su precisión. En GSM-Hard, donde se introducían distracciones irrelevantes, la caída fue aún más dramática, llegando a 44.2% Esto sugiere que, a pesar de su aparente inteligencia, los LLMs siguen siendo vulnerables a trampas lógicas simples.

Un ejemplo notable involucró problemas que incluían detalles irrelevantes, como comparar el tamaño de objetos en una descripción. Aunque estos detalles no afectaban la matemática del problema, la IA los procesaba mal, cometiendo errores en cálculos que deberían haber sido sencillos.

El "No-Op Test": Una Piedra de Toque para el Razonamiento

Otro momento crucial del estudio fue el No-Op Test . Aquí, se introducían declaraciones irrelevantes o engañosas dentro de un problema matemático. Los LLMs más avanzados, incluido GPT-4, fallaron de manera significativa , con caídas de hasta un 32% en precisión. Este tipo de fracaso sugiere que, a menudo, los modelos no son tan buenos como parecen en ignorar información irrelevante – un rasgo esencial del razonamiento humano.

Lecciones del Estudio: ¿Estamos Confiando Demasiado en los LLMs?

Este estudio subraya que los LLMs no están "razonando" como un ser humano. Más bien, están "imitando" patrones aprendidos. Esto tiene serias implicaciones, especialmente en áreas críticas como la salud o la toma de decisiones autónoma. En estos casos, confiar completamente en estas IAs puede ser peligrosamente imprudente si no entendemos sus limitaciones.

En contraste con lo que podría sugerirse, escalar el tamaño de los modelos o añadir más datos de entrenamiento no resolverá este problema. En lugar de eso, Apple aconseja una estrategia más creativa para desarrollar capacidades auténticas de razonamiento.

El Futuro de los Modelos de Lenguaje: ¿Reconocimiento o Razonamiento?

Apple sugiere que simplemente entrenar a las IA con más datos solo perfecciona su habilidad de imitar. Pero lo que realmente necesitamos son sistemas capaces de trascender el reconocimiento de patrones y avanzar hacia un verdadero razonamiento. Este estudio también arroja luz sobre la necesidad de desarrollar pruebas más sofisticadas que distingan entre razonamiento genuino y trucos estadísticos.

Razonamiento Simulado o Genuino

El estudio de Apple demuestra que los modelos de IA han mejorado en las pruebas de razonamiento, pero no debemos dejar que estas mejoras nos engañen. Los avances actuales se basan más en el refinamiento de patrones estadísticos que en la incorporación de cualquier tipo de razonamiento significativo .

En el futuro, tanto investigadores como desarrolladores tendrán que enfrentar el desafío de llevar a los LLMs más allá de su actual estado de "imitación inteligente". Mientras tanto, queda claro que en áreas clave como la medicina , la toma de decisiones automatizada y la educación , es más crítico que nunca reconocer las limitaciones de estas tecnologías para prevenir consecuencias no deseadas.

¿Qué próximos pasos tomarán los investigadores para resolver este desafío? Solo el tiempo lo dirá.

Te recomiendo conocer el Paper del estudio de Apple "GSM Symbolic Understanding"

Espero tus comentarios, saludos!