I.A. et Cyber : risques et parades

J'ai participé de mercredi 6 juin à la rencontre "I.A. et Cyber : souveraineté, sécurité, information, quelles prospectives ?" organisée par IMTAA Alumni

Cette rencontre organisée à Rennes et en ligne par IMTA et IMTAA était fort intéressante, des exposés qui permettaient de se faire une idée de ce qui occupe les pros de la cybersécurité, de la défense et de l’IA, et comment tout ça s’articule.

Voici ce que j’en ai retenu, et les réflexions que ça m‘inspire.

On vit dans un monde de risques, et le cyber en crée de nouveaux, l’IA aussi, mais ça sert aussi à se prémunir d’autres risques, rendre plus efficaces les protections et la mise en conformité de systèmes etc… Bref on ne sait pas trop comment tout ça peut tourner, mais il y a plein de référentiels, de méthodes, de systèmes qui surveillent d’autres systèmes, de gens super-compétents (et super-formés) pour gérer ces questions super-complexes. J’ai souvent été perdu dans les sigles, et les ingénieurs parlent vite, mais on voit qu’ils et elles maîtrisent…

La Chaire « Cybersécurité des infrastructures critiques » est un bon exemple de cette maîtrise technique et méthodologique.

Sur la défense, j’ai compris que le système militaro-industriel – que je croyais avoir été remplacé dans les années 80 par une dynamique d’innovation tirée par les marchés civil et grand public – fait une réapparition assez nette, les « 3 armées » Terre-Mer-Air étant devenues 5, l’espace et les mondes virtuels devenant 2 nouveaux champs d’opération tout aussi importants.

Nous avons pu explorer un peu la place de l’IA dans nos vies, leur caractère invasif et surtout prédateur des données (personnelles mais aussi d’entreprises qui ne sont pas assez prudentes quant à leur usage des IA génératives), notre dépendance croissante, la perte de repères sur ce qui est réel ou fabriqué... Et le terme « IA », paradoxalement, peut plus rassurer voire fasciner le citoyen (ou le dirigeant, le politique ?) que le terme « statistiques » par exemple. Tout un univers de questionnements éthiques et sociétaux que peuvent partager les ingénieurs, mais des réflexions qui ne semblent pas être sur la même étagère (= examinées en même temps - voir le code déontologique du PMI) que les questions technico-organisationnelles.

Quand même, en reconnaissant que le maillon faible de la cybersécurité reste « entre la chaise et le clavier » (autrement dit, l’utilisateur), on arrive à une conclusion qui me plait bien :

Le meilleur rempart aux risques liés à l’IA, c’est d’augmenter le lien social en entreprise, renforcer les éléments de la culture collective. Partager des rituels, habitudes, comportements est une bonne façon de pouvoir détecter quand « quelque chose cloche ».

Du côté de l’éducation, l’une des intervenantes a également suggéré avec sagesse que la meilleure façon de permettre aux nouvelles générations de trouver le bon usage des IA n’était probablement pas de les « initier » au code dès la 6e comme certains l’envisagent, mais plutôt de les éloigner des écrans en leur proposant des travaux manuels ! Au-delà des bénéfices environnementaux, cela réduira d’autant « la surface d’attaque » des IA les plus intrusives.

Mais je suis reparti avec 2 questions qui feront peut-être l’objet de futures « rencontres de l’IA », le temps ne permettait sans doute pas d’y répondre en quelques minutes, en tout cas aucune contradiction forte ne s’est exprimée :

Garde-t-on un minimum de maitrise publique des transformations (économiques, sociales…) provoquées par la généralisation des IA, ou la partition est-elle exclusivement écrite par les acteurs qui servent d’abord des intérêts privés, orientés profits et contrôle de troupeaux de « consommateurs » ?

L’Etat ayant largement externalisé son intelligence depuis quelques décennies (cabinets conseil, audit, expertise technique), quelle part reste à la recherche / évaluation publique au service du bien commun ? Les choix en matière de déploiement des IA est aussi critique que celui des semences OGM et des pesticides sur l’alimentation. Ne prétend-on pas là aussi nourrir le monde tout en l’empoisonnant ?

Le haut niveau de technicité requis pour maîtriser le fonctionnement des IA, et pour répondre aux exigences réglementaires qui les encadrent (IA Act…), associé à leur besoin d’énormes masses de données (obtenues plus ou moins légalement) nécessitent des moyens humains et financiers qui augmentent le pouvoir des structures qui en ont déjà trop, sur les contenus et les processus, et empêchent la création d’activités IA moins prédatrices, plus transparentes… Cory Doctorow avait déjà signalé ce danger ici, à propos des GAFAM. L’IA démultiplie cette logique).

Je crains donc que l’IA ne puisse jamais être au service de la démocratie et de l’émancipation humaine, mais ne soit surtout qu’un outil de contrôle de nos vies, de nos pensées, d’altération de nos désirs. Saurons-nous créer des « zones blanches » à l’abri des IA, comme celles que les électrosensibles demandent aux opérateurs télécoms ? Quelles zones de nos cerveaux, de nos vies, vont pouvoir échapper à ceux qui veulent en faire encore plus des produits ?

Je note d’aller aller écouter le replay de la session « IA et politique », j’aurai peut-être des réponses ?

Oui, il y a probablement des IA utiles, "bienveillantes" (pardon pour l'anthropomorphisme), utilisées par des acteurs au service de l’intérêt général, et non polluées par les « fake data » créées par d’autres IA. Mais peuvent-elles exister autrement que comme des avatars d’autres développements moins recommandables ?

Quelques lectures suggérées pour continuer à y réfléchir :

• Technologies partout, démocratie nulle part
• L’hypothèse K (surtout sur les enjeux de la recherche)
• Et les réflexions plus radicales mais utiles du collectif anti-tech résistance

Je compte sur vous et sur nos experts (voir les intervenants sur la page de l'événement) pour continuer à alimenter le débat !