Sujets aux hallucinations !

Sujets aux hallucinations ! L’expression est savoureuse. Elle n’est pas le fait d’un psychiatre, mais de NewsGuard à qui la Maison blanche a demandé, début août à la veille de la conférence DEF CON, de tester deux modèles d'IA -en l’occurrence Bard de Google et ChatGPT d’OpenAI. L’objet du teste : leur demander d'écrire de courts textes à partir de « fake news » au départ de sa base de données « Misinformation Fingerprints ». Pratiquement, au lieu de faire le tri dans ces fausses informations, ChatGPT-4 a fourni des textes avec des affirmations erronées dans 98 % des cas et Bard dans 80 %. 

Les conclusions de NewsGuard sont conformes aux rapports antérieurs de chercheurs selon lesquels ChatGPT et Bard restent sujets aux « hallucinations ». Par exemple, lorsque deux scientifiques ont demandé à ChatGPT d'écrire un article sur le diabète, le chatbot a réussi à en produire un en une heure. Cependant, le document contenait « de fausses citations et des informations inexactes ». De son côté, lors de son lancement, Bard s’est tout de suite fait remarquer en générant de fausses informations sur le télescope James Webb.

En mars, au cours d’un autre test public, ChatGPT-4 avait répondu par des fausses affirmations dans 100 % des cas et 76 % pour Bard. Un taux d'autant plus alarmant qu'en avril dernier, la société OpenAI avait assuré qu'en exploitant les commentaires des utilisateurs, elle était parvenue à « améliorer l'exactitude factuelle » de la quatrième version de ChatGPT. Si, quant à lui, le géant Google reconnaissait sur sa page d'accueil que son agent conversationnel peut « donner des réponses inexactes ou inappropriées », il invite lui aussi les utilisateurs à l'améliorer « en laissant des commentaires ».

Vite dit ! Et sur quelles bases, d’abord ? Selon la formulation des questions, la même IA générative peut tout aussi bien affirmer -sans toutefois citer ses sources- que l’homme a marché sur La Lune… ou qu’il ne l’a jamais fait !

Alain de Fooz