L'OWASP met en garde contre le risque croissant d'exposition des données par l'IA dans sa nouvelle liste des 10 meilleurs programmes de LLM
Dr Philippe VYNCKIER
Expert en Sécurité Digitale, Retraité, Expert Cyber Menaces (Réserviste) Office Anti Cybercriminalité - OFAC
La divulgation d'informations sensibles via de grands modèles de langage (LLM) et l'IA générative est devenue un risque plus critique à mesure que l'adoption de l'IA augmente, selon l'Open Worldwide Application Security Project (OWASP)
À cette fin, la « divulgation d'informations sensibles » a été désignée comme le deuxième plus grand risque pour les LLM et GenAI dans la liste actualisée des 10 meilleurs LLM de l'OWASP, contre le sixième dans la version originale de 2023 de la liste .
Cela concerne le risque que les LLM exposent des données sensibles détenues par une organisation lors d’interactions avec des employés et des clients, y compris des informations personnellement identifiables et de la propriété intellectuelle.
S'adressant à Infosecurity , Steve Wilson, chef de projet pour le projet OWASP Top 10 for LLM, a expliqué que la divulgation d'informations sensibles est devenue un problème plus important à mesure que l'adoption de l'IA a augmenté.
« Les développeurs supposent souvent que les LLM protègent intrinsèquement les données privées, mais nous avons constaté des incidents répétés où des informations sensibles ont été involontairement exposées via des sorties de modèles ou des systèmes compromis », a-t-il déclaré.
Les risques liés à la chaîne d'approvisionnement augmentent dans les LLM
Un autre changement important dans la liste concerne les « vulnérabilités de la chaîne d’approvisionnement », passant du cinquième au troisième risque le plus critique pour ces outils.
L'OWASP a souligné que les chaînes d'approvisionnement LLM sont sensibles à diverses vulnérabilités, qui peuvent affecter l'intégrité des données de formation, des modèles et des plateformes de déploiement.
Cela peut entraîner des résultats biaisés, des failles de sécurité ou des défaillances du système.
Wilson a observé que lorsque l'OWASP a publié la première version de la liste, les risques liés aux vulnérabilités de la chaîne d'approvisionnement étaient principalement théoriques. Cependant, il est désormais devenu évident que les développeurs et les organisations doivent rester vigilants quant à ce qui est intégré dans les technologies d'IA open source qu'ils utilisent.
« Il est désormais évident que la chaîne d’approvisionnement spécifique à l’IA est un véritable désastre aux proportions épiques. Nous avons vu des exemples concrets de modèles de base empoisonnés et d’ensembles de données corrompus qui ont fait des ravages dans des scénarios réels », a souligné Wilson.
L'injection rapide reste le risque numéro un pour les organisations qui utilisent les outils LLM et GenAI. L'injection rapide implique que les utilisateurs manipulent le comportement ou les résultats de LLM via des invites, ce qui entraîne le contournement des mesures de sécurité et conduit à des résultats tels que la génération de contenu nuisible et l'autorisation d'accès non autorisés.
L'OWASP a déclaré que les mises à jour sont le résultat d'une meilleure compréhension des risques existants et de mises à jour critiques sur la manière dont les LLM sont utilisés dans les applications du monde réel aujourd'hui.
Nouveaux risques ajoutés au LLM
La liste actualisée des 10 meilleurs programmes de LLM inclut un certain nombre de nouveaux risques liés à ces technologies.
Le huitième poste est occupé par les « vecteurs et les intégrations ». Cela concerne la façon dont les faiblesses dans la manière dont les vecteurs et les intégrations sont générés, stockés ou récupérés peuvent être exploitées par des actions malveillantes pour injecter du contenu nuisible, manipuler les résultats des modèles ou accéder à des informations sensibles.
Cette entrée est une réponse aux demandes de conseils de la communauté sur la sécurisation de la génération augmentée de récupération (RAG) et d'autres méthodes basées sur l'intégration, désormais des pratiques de base pour la mise à la terre des sorties de modèles.
Wilson a décrit l'entrée des vecteurs et des intégrations comme le développement le plus important de la nouvelle liste, avec une certaine forme de RAG désormais l'architecture par défaut pour les applications LLM d'entreprise.
« Cette entrée était indispensable pour montrer à quel point les méthodes basées sur l’intégration sont désormais essentielles pour ancrer les résultats des modèles. Fournir des conseils détaillés sur la sécurisation de ces technologies aide les organisations à gérer les risques dans les systèmes qui deviennent l’épine dorsale de leurs déploiements d’IA », a-t-il commenté.
Une autre nouveauté est la « fuite d'invites système » en septième position. Cela fait référence au risque que les invites ou instructions système utilisées pour orienter le comportement du modèle puissent également contenir des informations sensibles qui n'étaient pas destinées à être découvertes.
Les invites système sont conçues pour guider la sortie du modèle en fonction des exigences de l'application, mais peuvent contenir par inadvertance des secrets qui peuvent être utilisés pour faciliter d'autres attaques.
Ce risque a été fortement demandé par la communauté suite à des incidents récents qui ont démontré que les développeurs ne peuvent pas supposer en toute sécurité que les informations contenues dans ces invites restent secrètes.
Optimisme en matière de sécurité GenAI
Wilson a déclaré que malgré les risques et les vulnérabilités importants des systèmes GenAI, il existe des raisons d’être optimiste quant à la sécurité future de ces outils.
Il a souligné le développement rapide de l'écosystème commercial pour la sécurité de l'IA/LLM depuis le printemps 2023, lorsque l'OWASP a commencé à établir la première liste des 10 meilleurs LLM.
À cette époque, il n’existait qu’une poignée d’outils open source et presque aucune option commerciale pour aider à sécuriser ces systèmes.
« Aujourd'hui, seulement un an et demi plus tard, nous constatons un paysage sain et croissant d'outils - à la fois open source et commerciaux - conçus spécifiquement pour la sécurité LLM », a déclaré Wilson.
« Bien qu'il soit toujours crucial pour les développeurs et les RSSI de comprendre les risques fondamentaux, la disponibilité de ces outils rend la mise en œuvre de mesures de sécurité beaucoup plus accessible et efficace. »
La liste des 10 meilleurs LLM de l'OWASP
La liste des 10 meilleurs programmes de 2025 constitue une mise à jour de la version 1.0 du Top 10 de l'OWASP pour le LLM, qui a été publiée en août 2023.
Cette ressource est conçue pour guider les développeurs, les professionnels de la sécurité et les organisations dans la priorisation de leurs efforts pour identifier et atténuer les risques critiques liés aux applications d’IA génératives.
Les risques sont répertoriés par ordre de criticité, et chacun est enrichi d'une définition, d'exemples, de scénarios d'attaque et de mesures de prévention.
Liste des 10 meilleurs LLM et Gen AI de l'OWASP
La liste complète des 10 meilleurs LLM et Gen AI de l'OWASP pour 2025 est la suivante :
L'OWASP est une organisation à but non lucratif qui produit du contenu et des outils open source pour aider à la sécurité des logiciels. Les Top 10 de l'OWASP sont des listes communautaires des problèmes de sécurité les plus courants dans un domaine conçu pour aider les développeurs à implémenter leur code en toute sécurité.
Source: James Coker