Adversarial Machine Learning [NIST AI 100-2e2023] Introduction

Kikala T.

Data Scientist | Strategic Innovator | Researcher | Pianist

Publié le 22 janv. 2024

+ Suivre

Traduction par l'équipe R&D de ComptaSecure dans le cadre de travaux de recherche sur #Luca

Les systèmes d'intelligence artificielle (IA) sont sur une trajectoire d'expansion mondiale et multi annuelle. Ces systèmes sont développés et largement déployés dans les économies de nombreux pays, entraînant l'émergence de services basés sur l'IA pour les personnes dans de nombreux domaines de leur vie, tant réels que virtuels.
Il existe deux grandes classes de systèmes d'IA, basées sur leurs capacités : l'IA prédictive (#PredAI) et l'IA générative (#GenAI). Alors que ces systèmes pénètrent l'économie numérique et deviennent des parties essentielles et indissociables de la vie quotidienne, la nécessité de leur fonctionnement sécurisé, robuste et résilient grandit. Ces attributs opérationnels sont des éléments critiques de l'IA fiable dans le cadre du NIST AI Risk Management et de la taxonomie de la fiabilité de l'IA.
Cependant, malgré les progrès significatifs que l'IA et l'apprentissage automatique (#ML) ont réalisés dans de nombreux domaines d'application différents, ces technologies sont également vulnérables aux attaques qui peuvent provoquer des échecs spectaculaires avec des conséquences funestes. Par exemple, dans les applications de #PredAI pour la vision par ordinateur et la classification, les perturbations adversaires des images d'entrée ont causé des véhicules autonomes de se rabattre sur la bande d'en face. La mauvaise classification des panneaux de stop en panneaux de limitation de vitesse a provoqué la disparition d'objets critiques des images, et même la mauvaise identification de personnes portant des lunettes dans des contextes à haut risque.
De même, dans le domaine médical où de plus en plus de modèles #ML sont déployés pour aider les médecins, il y a un risque de fuite de données médicales à partir de modèles #ML qui peut exposer des informations personnelles profondément intimes. Dans #GenAI, les modèles de langage grande échelle (#LLM) deviennent également une partie intégrante de l'infrastructure Internet et des applications logiciels.
Les #LLM sont utilisés pour créer des recherches plus puissantes sur Internet, aider les développeurs de logiciels à écrire du code et même alimenter des #chatbots pour aider au service client. Les #LLM sont intégrés avec des bases de données et des documents d'entreprise pour permettre des scénarios de génération par récupération augmentée (RAG) lorsque les #LLM sont adaptés à des domaines et des cas d'utilisation spécifiques. Ces scénarios exposent en réalité une nouvelle surface d'attaque pour les données potentiellement confidentielles et propriétaires des entreprises.
À l'exception de #BLOOM et #LLaMA, la plupart des entreprises qui développent de tels modèles ne divulguent pas d'informations détaillées sur les jeux de données utilisés pour construire leurs modèles de langage. Cependant, ces jeux de données incluent inévitablement certaines informations personnelles sensibles, telles que les adresses, les numéros de téléphone et les adresses e-mail. Cela crée des risques sérieux pour la confidentialité des utilisateurs en ligne. Plus souvent une pièce d'information apparaît dans un jeu de données, plus un modèle est susceptible de la fournir en réponse à des requêtes ou des invites aléatoires ou spécifiquement conçues. Cela pourrait perpétuer des associations erronées et nocives avec des conséquences dommageables pour les personnes concernées et apporter des préoccupations supplémentaires en matière de sécurité et de protection.
Les attaquants peuvent également manipuler les données d'apprentissage pour les systèmes #PredAI et #GenAI, rendant ainsi le système d'IA entraîné vulnérable aux attaques. Le scrapping des données d'apprentissage depuis Internet ouvre également la possibilité de #DataPoisoning à grande échelle par des pirates pour créer des vulnérabilités permettant des violations de sécurité tout au long de la chaîne.
Alors que les modèles d'apprentissage automatique (#ML) continuent de croître en taille, de nombreuses organisations font confiance à des modèles pré entraînés qui pourraient être utilisés directement ou fine tuné avec de nouveaux jeux de données pour permettre différentes tâches. Cela crée des opportunités pour des modifications malveillantes des modèles pré-entraînés en insérant des #trojans pour permettre aux attaquants de compromettre la disponibilité du modèle, de forcer un traitement incorrect ou de fournir les données lorsqu'ils sont instruits.
Historiquement, la technologie spécifique à la modalité AI a émergé pour chaque modalité d'entrée (par exemple, texte, images, parole, données tabulaires) dans les systèmes #PredAI et #GenAI, chacun étant susceptible d'attaques spécifiques à la domaine. Par exemple, les approches d'attaque pour les tâches de classification d'images ne se traduisent pas directement en attaques contre les modèles de traitement du langage naturel (#NLP).
Récemment, les architectures de #transformers, largement utilisées dans le #NLP, ont montré qu'elles avaient des applications dans le domaine de la vision par ordinateur. De plus, le #ML multimodal a connu des progrès intéressants dans de nombreuses tâches, y compris les tâches génératives et de classification, et il y a eu des tentatives pour utiliser l'apprentissage multimodal comme une potentialité de mitigation des attaques liées à une seule modalité. Cependant, des attaques puissantes et simultanées contre toutes les modalités d'un modèle multimodal ont également émergé.
Fondamentalement, la méthodologie d'apprentissage automatique utilisée dans les systèmes d'IA modernes est susceptible d'attaques par les API publiques qui exposent le modèle et contre les plateformes sur lesquelles ils sont déployés.

[...]

Pour les attaques contre les modèles, les attaquants peuvent enfreindre les protections de la confidentialité et de la vie privée des données et du modèle en exerçant simplement les interfaces publiques du modèle et en fournissant des entrées de données qui sont dans une fourchette acceptable.
Dans ce sens, les défis auxquels est confrontée l'Adversarial Machine Learning sont similaires à ceux auxquels est confrontée la #cryptographie moderne.