El universo en expansión de los modelos generativos

El Foro Económico de Davos acaba de terminar y, por supuesto, la IA ha ocupado un lugar destacado en las conversaciones de la semana. Si estás interesado en el tema, te recomiendo ver este video con invitados de renombre como Yann LeCun, Andrew Ng y Daphne Koller, quienes comparten su visión sobre la evolución de los modelos generativos que todos hemos aprendido a conocer y utilizar en el último año.

Durante esta mesa redonda, los panelistas compartieron sus reflexiones sobre la inteligencia artificial (IA) y los límites actuales de los modelos de lenguaje (LLM). Aquí hay un resumen de las partes más interesantes de la discusión:

Daphne Koller destaca que los datos actualmente disponibles en la web ya han sido casi completamente explotados para entrenar los modelos actuales, y según ella, los límites de los LLM están principalmente relacionados con el uso de datos disponibles públicamente, lo que explica en parte el estancamiento alcanzado por los LLM.

Yann LeCun confirma que los LLM han alcanzado un punto de estancamiento en términos de los datos en los que se basan, en comparación con la "inteligencia" humana. Para comprender mejor estos límites, menciona que los datos provenientes únicamente de la capacidad visual acumulada de un niño de 4 años (equivalente a 20 Mb/segundo que pasan por el nervio óptico) son 50 veces más grandes que la "potencia" de los modelos avanzados actuales. Sin embargo, destaca que los LLM pueden seguir evolucionando para comprender cómo interactuar con el mundo a través de sistemas de IA encarnados capaces de interactuar con el mundo real. Sin embargo, aún no hemos llegado a ese punto.

Kai-Fu Lee, desde su posición como emprendedor, destaca el valor actual de los LLM de generación de texto (como ChatGPT) y la enorme oportunidad de cambio y creación de valor que ofrecen sin siquiera pensar en su evolución. Aunque el progreso se está desacelerando, el potencial actual de aprovechamiento ya es enorme.

Aidan Gomez menciona que su trabajo se centra ahora en cómo los modelos pueden mejorar automáticamente.

Andrew Ng agrega que es importante crear y proporcionar herramientas a los modelos de LLM para que puedan mejorar por sí mismos, lo que permitirá una nueva evolución de lo existente.

Cuando se plantea la pregunta de si deberíamos construir IA más inteligente que los humanos, Yann LeCun sugiere que la primera pregunta debería ser: ¿qué es la inteligencia? Daphne Koller agrega que los modelos de IA actuales no nos ayudan a comprender la inteligencia humana, ya que se limitan a un tipo de inteligencia, y destaca que los modelos de IA actuales realmente pueden ayudarnos a comprender problemas que los humanos no pueden resolver, ya que tienen una "forma diferente de pensar".

Para terminar, surge la gran pregunta sobre la naturaleza de los modelos, específicamente entre modelos cerrados (como los de OpenAI) y abiertos (como los diseñados, entre otros, por Meta). En cuanto a los modelos de código abierto, Yann LeCun afirma que son más seguros que los modelos cerrados. Destaca que nuestras vidas estarán cada vez más influenciadas por los agentes de IA y que confiar esto a empresas privadas y no transparentes no es deseable. Menciona el ejemplo de los agentes de "régimen digital", donde es mejor para el usuario que no caiga en manos de empresas cerradas y no transparentes.

En conclusión, todos los participantes coinciden en que los modelos abiertos no deben ser limitados o cerrados, sino que deben permanecer accesibles para todos con el fin de fomentar el progreso, y que el futuro seguramente estará hecho de una combinación de algunos modelos cerrados, otros abiertos o híbridos.

Y LeCun insiste en un ejemplo concreto: OpenAI (el editor de ChatGPT) no tiene el monopolio de las buenas ideas. Utilizan sistemas abiertos, investigaciones públicas, etc., para construir lo que hacen.