ARC Challenge : la première étape vers l'AGI

Nous savons que les entreprises de la tech travaillent pour atteindre l'AGI, cette première étape dans la course à l'IA. Traditionnellement, pour mesurer les capacités des modèles de langage, on utilise des benchmarks de type QCM dans différents domaines. Ces benchmarks permettent de vérifier les capacités des modèles de retenir des informations (on parle de mémorisation), et d'utiliser des patterns connus pour résoudre des problèmes, mais ne sont pas très bons pour mesurer les capacités de raisonnement des LLM : au fur et à mesure du temps, les données des tests sont ingérées lors de l'entraînement des modèles.

L'ARC Challenge (Abstraction and Reasoning Corpus), lancé par François Chollet, se distingue comme une initiative pour pousser l'IA au-delà de ses capacités actuelles, en lui demandant de résoudre des problèmes qui nécessitent bien plus que de simples compétences de mémorisation. Ce challenge vise à benchmarker les modèles sur leur capacités de raisonnement.

Selon François Chollet, l'ARC Challenge se concentre sur la capacité des IA à généraliser et à raisonner, ce qui en fait un test beaucoup plus rigoureux et significatif pour évaluer leur véritable intelligence.

Contrairement aux benchmarks traditionnels qui évaluent souvent la capacité de mémorisation des IA, l'ARC Challenge est conçu pour être résistant à ces techniques. Il oblige les systèmes d'IA à aborder chaque tâche avec une approche nouvelle, en cherchant des patterns et des solutions sans s'appuyer sur des exemples précédemment rencontrés, ce qui reflète une véritable capacité de raisonnement.

Les problèmes posés dans le cadre de ce défi sont spécifiquement conçus pour être faciles pour les humains, mais extrêmement complexes pour les machines. Ils exigent une abstraction et une adaptation que les IA actuelles peinent à maîtriser, illustrant ainsi l'écart entre l'intelligence humaine et artificielle.

François Chollet, créateur de ce défi, est une figure influente dans le domaine de l'IA, notamment grâce à son développement de Keras, une bibliothèque de deep learning largement utilisée. Son travail avec l'ARC Challenge met en lumière la nécessité d'explorer de nouvelles voies pour atteindre l'AGI, en dépassant les limites des approches centrées sur la mémorisation massive.

Pour réussir ce défi, une IA doit non seulement résoudre les tâches proposées, mais aussi démontrer une capacité à apprendre et à s'adapter rapidement à des situations inédites. Cela implique de sortir des sentiers battus de la simple accumulation de données et de développer des systèmes capables d'apprentissage et d'adaptation en temps réel, de manière similaire à l'intelligence humaine.

L'ARC Challenge est assorti d'un prix d'un million de dollars, reflétant l'importance cruciale de ce projet pour l'avenir de l'IA. Ce prix vise à inciter les chercheurs à se concentrer sur des innovations véritablement disruptives qui pourraient marquer un tournant dans le développement de l'IA et rapprocher l'humanité d'une véritable intelligence artificielle générale.

Si une IA parvient à relever l'ARC Challenge, cela pourrait représenter une avancée majeure vers la création de systèmes capables de penser et d'innover aux côtés des humains. Un tel succès ouvrirait la voie à des applications révolutionnaires dans divers domaines, transformant potentiellement notre interaction avec la technologie et repoussant les limites actuelles de ce que l'IA peut accomplir.