Chatbot, parle moi des fables de La Fontaine !

Pourquoi les LLM et le RAG ne répondent pas toujours comme on l’attend ?

« Quels sont les animaux les plus souvent mentionnés dans les fables de Jean de La Fontaine ? »

C’est une question intéressante, non ? Et pourtant, avec un modèle de type RAG (Retrieval-Augmented Generation) et toutes les fables indexées, il est peu probable que votre chatbot arrive à vous répondre. Surprenant ? Pas tant que ça.

Lorsqu’on parle des promesses des LLM (Large Language Models), on imagine des systèmes capables de répondre à toutes nos questions à partir de documents intégrés. En réalité, la capacité des LLM, même augmentée par le RAG, dépend fortement de la manière dont les données sont structurées et indexées.

Comment fonctionne un système RAG ?

Le principe du RAG est de découper les données source en petits morceaux (chunks), un peu comme si on rangeait un texte dans des casiers. Lorsque vous posez une question, le système cherche les casiers les plus pertinents et utilise leur contenu pour générer une réponse.

Mais cette méthode a ses limites. Par exemple, si votre question nécessite d’analyser l’intégralité des données (comme dans mon exemple sur La Fontaine), un RAG standard ne peut pas faire le travail. Pourquoi ? Parce que la réponse demande une vision globale des documents, et non une recherche ciblée dans des morceaux spécifiques.

Vers des solutions plus sophistiquées : les graphes et les bases de données intelligentes

Pour dépasser ces limites, des approches innovantes émergent. Parmi elles, les bases de données graphes offrent un potentiel prometteur. Elles permettent de créer des liens transversaux entre les morceaux d’information, facilitant une analyse plus globale et contextuelle. Dans notre exemple, un graphe pourrait relier toutes les occurrences des animaux dans les fables. Il suffirait ensuite d'adapter le mode de récupération des données pour que le LLM reçoive des informations lui permettant d'avoir la bonne réponse.

J'ai fait quelques tests, avec HippoRAG quand il a fait son petit buzz par exemple. J'ai regardé d'assez près ce que propose Microsoft avec GraphRAG. Pas sûr que ça réponde à ma question hélas sans aller faire pas mal de modifications.

Mais pourquoi ?

Principalement pour deux raisons :

• Problème 1 : De nombreux outils de ce type demandent souvent une déclaration en amont des propriétés que l'on doit prendre en compte dans le graphe. C'est pour moi contre intuitif, je veux justement que ces propriétés soit déduites des textes analysés !
• Problème 2 : Les solutions sont souvent conçues pour l’anglais et reposent sur des prompts. Vous voyez venir le souci, ces prompts ne sont pas assez pertinents en français.

Et donc, la réponse à ma question ?

Je n’ai pas encore trouvé la méthode parfaite, mais je ne baisse pas les bras. Il y a d'autres challenge encore à relever avec nos LLMs, c'est ce qui rend cet écosystème si intéressant !

En attendant, si vous avez des expériences ou des solutions sur ce sujet, partagez-les en commentaire ! 🙌