Prédictibilité et analyse de données

On m'a demandé il y a quelques temps si l'analyse de données permettait d'améliorer la prédictibilité d'un système et de prendre des meilleures décisions. J'ai été naturellement enclin a répondre que oui, bien sûr, le champ de l’imprévisible peut se réduire grâce aux données, parce qu’elles permettent de mieux comprendre notre monde et de mieux décider.

Mais après un petit moment de réflexion, j'ai réalisé que la réponse pouvait être plus nuancée. En effet, dans certains cas il faut dissocier les notions de compréhension et de décision. Il arrive qu'un modèle basé des données puisse prendre des décisions, parfois très bonnes, mais complètement imprévisibles, parce qu’il n’est plus compréhensible par un homme. Plus précisément, une situation va devenir prédictible pour une machine, mais la machine imprédictible pour un homme…

Typiquement, c’est ce dont on parle quand on parle de modèles « boite noire », par exemples des modèles très non-linéaires ou en très hautes dimensions, qui dépassent les capacités d’entendement de l’homme. Pour rappel, on dit parfois qu’un homme avec un QI de 200 peut concevoir 9 dimensions en simultané – en ce qui me concerne, je suis limité à 3 –… en apprentissage machine aujourd’hui, il n’est pas rare de traiter des milliers de dimensions en même temps.

Un exemple assez frappant est la célèbre partie de Go en 2016 jouée en entre Lee Sedol, un des meilleurs joueurs mondial, et AlphaGo, un programme d’intelligence artificielle (qui n'est pas basé que sur de l'apprentissage statistique) développé par Deepmind, une société de Google . C’est un moment d’anthologie de l’histoire de l’intelligence artificielle. A un moment, précisément au 37ème coup de la deuxième partie, la machine prend une décision complètement imprédictible pour l’homme. La vidéo est vraiment déroutante : les commentateurs de la partie sont confus, ils pensent d'abord qu'Alphago a fait une erreur. De même, quand Lee Sedol voit le coup, il a l’air complètement perdu. A la fin de la partie, Alphago gagne, et il s’avère que c’est grâce à ce fameux coup 37 imprédictible, qui a eu des conséquences essentielles sur la suite de la partie… Tous les experts affirment qu’aucun joueur de Go professionnel n’aurait joué un tel coup. Il est désormais même étudié par les joueurs humains ! En quelque sorte, la machine a anticipé un déroulé de partie inaccessible à l’entendement humain.

Cette imprévisibilité est telle aujourd’hui avec les algorithmes très complexes qu'on conçoit et déploie, dans des environnements eux-mêmes très complexes, qu’un chercheur de l’institut Max Planck, Iyad Rahwan, pose les contour d’une nouvelle science (le « machine behavior »). Elle vise a étudier le comportement des machines dans leurs environnements « naturels » d’opérations.

Cette situation pose des questions essentielles sur l’usage de l’intelligence artificielle et de la donnée. Comment évaluer la qualité de la prédiction d’un algorithme complexe et quelle autonomie lui laisser ? Plus généralement, comment intégrer efficacement la rationalité algorithmique dans une prise de décision humaine, sans doute moins rationnelle mais aussi plus riche ? Je rappelle que l’homme a beaucoup de qualités encore peu présentes dans l'intelligence artificielle contemporaine : empathie, sociabilité, sens commun, raisonnement systémique, capacité à traiter des objectifs non modélisables par une fonction de coût… (j'en ai parlé dans cet article)

C’est d’ailleurs pour apporter des réponses concrètes à ces questions que les sociétés les plus en pointe en apprentissage machine mettent en place des postes de Chief Decision Officer, comme Cassie Kozyrkov chez Google. L’objectif est d’enrichir la science des données avec des approches issues de la psychologie, des neurosciences, de l’économie et du management, pour optimiser les processus décisionnels dans l’entreprise.

Chez Total, nous n’en sommes pas encore à nommer un Chief Decision Officer. Cependant nous sommes confrontés à beaucoup de domaines à décisions critiques, avec de forts enjeux de sécurité. Nous ne pouvons pas accepter de prendre des décisions non maîtrisées. C’est pourquoi nous avons beaucoup de projets en cours visant à améliorer l’intelligibilité des modèles avant toute mise en production. On cherche à améliorer leur explicabilité ou à les coupler avec la connaissance (scientifique ou pratique) qu’on nos experts de nos activités. Selon moi (voir par exemple cet article), c'est absolument essentiel pour faire de l'intelligence artificielle un vrai levier de transformation d'une organisation.