Efficacité et précision en Cyber Threat Intelligence (CTI) : L'impact d'AGIR sur la production de rapports

Introduction

L'étude AGIR: Automating Cyber Threat Intelligence Reporting with Natural Language Generation se penche sur AGIR (Automatic Generation of Intelligence Reports), un outil conçu pour automatiser la génération de rapports de renseignement sur les menaces cybernétiques (CTI). L'objectif de cette recherche est de répondre à la nécessité croissante d'efficacité dans la documentation des cybermenaces, un enjeu crucial pour les professionnels de la cybersécurité. Cette étude est particulièrement pertinente car elle propose une solution innovante pour réduire le temps et les ressources consacrés à la rédaction manuelle de rapports CTI.

Contexte

Dans un contexte marqué par une augmentation significative des cyberattaques, l'étude a été menée par des chercheurs de l'Université de Padoue et de la société Leonardo Cyber & Security. La recherche souligne l'importance de la CTI pour anticiper et contrer les menaces numériques. L'étude vise à résoudre le problème de la lourdeur de la rédaction manuelle des rapports de sécurité, qui nécessite une analyse approfondie et la synthèse de vastes ensembles de données.

Méthodes

Les méthodes employées pour évaluer AGIR sont rigoureuses et visent à mesurer l'efficacité de l'outil sous différents angles. D'abord, l'évaluation quantitative s'est concentrée sur la précision du contenu des rapports générés. Les chercheurs ont utilisé des indicateurs tels que les vrais positifs (informations correctement rapportées), les faux positifs (informations rapportées à tort) et les faux négatifs (informations omises) pour calculer des métriques telles que la précision, le rappel et le score F1. Ces métriques ont permis de quantifier la fidélité avec laquelle AGIR reproduit les informations contenues dans les données structurées d'entrée, en l'occurrence les graphes STIX au format JSON.

Ensuite, l'évaluation qualitative a porté sur la fluidité et l'utilité des rapports. La fluidité a été mesurée à l'aide du score SLOR (Syntactic Log-Odds Ratio), une métrique formelle qui évalue la qualité syntaxique du texte. Pour l'utilité, les chercheurs ont interrogé des analystes expérimentés en CTI sur leur perception de la rapidité avec laquelle ils pourraient rédiger un rapport final à partir des ébauches produites par AGIR. Ces analystes, tous employés de l'entreprise Leonardo S.p.A., ont évalué les rapports sur une échelle de Likert pour la fluidité et la justesse du contenu, et ont estimé le temps qu'ils économiseraient en utilisant AGIR par rapport à la rédaction manuelle.

Les rapports générés par AGIR ont été produits en deux étapes. La première étape a utilisé une méthode basée sur des modèles prédéfinis pour créer une ébauche de rapport à partir des graphes STIX. La deuxième étape a impliqué l'utilisation d'un modèle de langage étendu, comme ChatGPT, pour améliorer la fluidité du texte et le rendre plus naturel et humain. Cette approche hybride a permis de tirer parti de la structure et de la rigueur des modèles basés sur des templates tout en bénéficiant de la souplesse et de la capacité d'adaptation des modèles de langage neuronaux.

Résultats

Les résultats de l'étude sur AGIR (Automatic Generation of Intelligence Reports) sont très positifs et montrent une avancée notable dans la génération automatique de rapports de Cyber Threat Intelligence (CTI). L'outil a démontré sa capacité à reproduire fidèlement les informations contenues dans les graphes STIX (Structured Threat Information Expression) avec un taux de rappel de 0.99, ce qui signifie que presque toutes les informations pertinentes présentes dans les données d'entrée se retrouvent dans le rapport final, sans ajouter d'informations incorrectes ou non pertinentes, ce que l'on appelle des "hallucinations" dans le jargon de la génération de langage naturel.

Les graphes STIX sont une représentation structurée de l'intelligence sur les menaces cybernétiques, utilisant le standard STIX (Structured Threat Information Expression). STIX est un langage formel conçu pour décrire et échanger des informations sur les menaces de manière cohérente et normalisée. Dans un graphe STIX, chaque nœud représente une entité, comme un acteur de menace, une vulnérabilité, un indicateur de compromission (IOC), ou une tactique, technique et procédure (TTP), et chaque arête représente une relation entre ces entités. Ces graphes sont souvent exprimés sous forme de fichiers JSON, qui peuvent ensuite être utilisés par des outils comme AGIR pour générer automatiquement des rapports en langage naturel qui décrivent les entités et leurs relations, facilitant ainsi la compréhension et la communication des informations sur les menaces.

En termes de fluidité, les rapports générés par AGIR ont obtenu des scores SLOR (Syntactic Log-Odds Ratio) supérieurs à ceux des autres modèles de pointe, indiquant que le texte produit est plus naturel et facile à lire. Le score SLOR moyen pour AGIR dans sa forme finale est de 2.75, contre 2.13 pour le modèle Narrator et 2.16 pour AGIR dans sa première étape, qui ne comprend que le module basé sur des modèles. Cela montre que l'intégration de ChatGPT dans la phase finale de la génération de rapport améliore considérablement la qualité linguistique du texte.

Les scores SLOR, ou Syntactic Log-Odds Ratio, sont une métrique utilisée pour évaluer la fluidité d'un texte généré automatiquement. Cette métrique calcule la probabilité logarithmique d'une phrase donnée en utilisant un modèle de langue spécifique, et normalise ce score en soustrayant la probabilité logarithmique des unigrammes de la phrase et en divisant par la longueur de la phrase. Des scores SLOR plus élevés indiquent une meilleure fluidité du texte, ce qui signifie que le texte est plus naturel et plus facile à lire. Les scores SLOR sont particulièrement utiles dans les évaluations sans référence, où l'on ne compare pas le texte généré à un texte de référence, mais où l'on évalue sa qualité intrinsèque. Dans le contexte de l'étude sur AGIR, les scores SLOR ont été utilisés pour confirmer l'amélioration de la fluidité des rapports générés par l'outil, en particulier après l'intégration du module basé sur le modèle de langue neuronal, comme ChatGPT.

En ce qui concerne l'utilité, les analystes de la société Leonardo S.p.A. ont estimé que l'utilisation d'AGIR pourrait réduire le temps de production des rapports de 42,6%. Cela représente une diminution moyenne de 54 minutes par rapport au temps de base nécessaire pour rédiger un rapport, qui était de 127,3 minutes. Cette réduction significative du temps de rédaction est un avantage majeur pour les analystes en CTI, qui doivent souvent produire plusieurs rapports par jour. Pour résumer, AGIR s'est avéré être un outil efficace pour la génération de rapports CTI, surpassant les modèles existants en termes de précision, de fluidité et d'utilité, tout en offrant une réduction substantielle du temps nécessaire à la rédaction des rapports.

Discussion et conclusion

L'analyse des résultats démontre que AGIR représente une avancée significative dans l'automatisation des rapports CTI, avec des implications majeures pour l'efficacité opérationnelle des centres de cybersécurité. Bien que l'étude confirme l'efficacité d'AGIR, elle reconnaît également la nécessité de poursuivre les recherches pour valider davantage les résultats et explorer le potentiel d'un modèle d'apprentissage en profondeur local. Les implications pour la recherche future incluent le développement de modèles capables de fonctionner sans dépendre de services externes comme ChatGPT, pour des raisons de coût et de confidentialité. En résumé, AGIR se positionne comme un outil prometteur pour transformer la manière dont les rapports de renseignement sur les menaces cybernétiques sont générés, offrant une solution à la fois efficace et économique pour les professionnels de la cybersécurité.