Saving Private rAIan

Vous trouverez le texte français ci-dessous

Hier sind die dV-News 06-2024 und eine Auswahl an Artikeln und Links. Ein ungewöhnlicher Titel, inspiriert von einem Artikel von PublicCitizen, der selber eine Anspielung auf die G.I. Joe-Serie ist – eine internationale militärische Gruppe, die sich für den Frieden einsetzt und über mächtige Technologien verfügt – und einem weiteren Titel eines Kultfilms, von dem wir den Namen der Hauptfigur abgewandelt haben. All dies dient der Einführung eines ernsten Themas: dem Einsatz von KI im Krieg.

Die digitale Mutation der Armeen vollzog sich nicht über Nacht. Seit Beginn des Konflikts in der Ukraine war jedoch die Präsenz und der Einfluss der Informations- und Kommunikationstechnologie (IKT) noch nie so prägnant. Aber es ist auch ein Krieg voller Paradoxien, mit viel very high Tech auf der einen Seite und Bildern auf der anderen Seite, von denen man dachte, dass sie für immer der Vergangenheit angehören würden: schlammige Schützengräben, in denen sich die Soldaten mit Ratten herumschlagen müssen.

IKT ist überall zu finden. Das Smartphone ersetzt nun den handgeschriebenen Brief, der zwischen den Artilleriesalven verfasst wurde, um eine vermeintliche Verbindung mit den Familien aufrechtzuerhalten. Aber diese Verbindung kann auch zur Falle werden und es dem Feind ermöglichen, die Position des verschanzten Soldaten zu orten und zu bombardieren. Drohnen ersetzen das Fernglas und ermöglichen es, hinter Hindernisse zu schauen, Minenfelder zu überqueren oder Gebäude zu erkunden, ohne das Leben von Aufklärungspatrouillen riskieren zu müssen. Aber wie der Falke, der sich auf das Kaninchen stürzt, das unvorsichtigerweise seinen Bau verlassen hat, kann eine andere Drohne – mit Streumunition – jederzeit still und leise den Tod aus der Luft bringen.

IKT ist überall zu finden. Die Bilder aus der Ukraine zeigten oft geniale Basteleien, aber immer häufiger handelt es sich um ausgeklügelte Systeme, die von ihren Entwicklern mit der grösstmöglichen Effizienz und/oder todbringender Wirkung ausgestattet wurden. Was könnte legitimer sein, wenn es um den Schutz vor einem Feind geht, der keine Gnade kennt? Seit Februar 2022 tobt die Innovation auf allen Ebenen, wie bei jedem Konflikt. Viele Staaten haben in den Kriegswirtschaftsmodus geschaltet oder sind auf dem Weg dazu. In einer kürzlichen Ansprache sagte zudem die stellvertretende US-Verteidigungsministerin Kathleen Hicks, dass das Pentagon die Grundlagen für eine «datengestützte Armee mit künstlicher Intelligenz» geschaffen habe. Es findet also eine Beschleunigung statt und alle tragen dazu bei. Denn dies kann im Kampf lebenswichtig sein.

Mit dem Manhattan-Projekt, das zur Zerstörung von Hiroshima und Nagasaki führte, hat die Menschheit das ultimative Zerstörungsmittel erfunden. Obwohl die Bombe seither allgegenwärtig ist, war die Menschheit klug genug, bisher ihre generelle Verbreitung und ihren Einsatz zu verhindern. Und glücklicherweise ist die Herstellung einer nuklearen Waffe ist nicht für jeden erschwinglich.

Wie sieht es mit der KI aus? Der Einstiegspreis ist ungleich niedriger, so dass ein einfaches Team Algorithmen mit mächtigen zerstörerischen Cyberfähigkeiten entwickeln, oder die Schutzmassnahmen der bestehenden LLMs umgehen  kann, bevor diese in die sich rasch entwickelnde Robotik integriert werden. Was also ist mit Staaten und/oder grossen Organisationen, die über erhebliche Mittel verfügen und entschlossen sind, ihre Kriege zu gewinnen? Werden sie zögern, Systeme zu entwickeln und einzusetzen, die autonom entscheiden, welche Ziele sie zerstören? Werden sie zögern, die KI Raketen abfeuern zu lassen, sogar Atomraketen, wie der UN-Generalsekretär befürchtet? Im Krieg ist der Sieger oft derjenige, der am klügsten, schnellsten und genauesten ist. Und es ist auch derjenige, der die Geschichten am besten erzählt.

Die KI bietet alle vier Eigenschaften. Welcher Angreifer oder Verteidiger würde auf die beste Waffe verzichten? Es ist daher fraglich, ob sich alle an ihre vermeintlichen Erklärungen halten werden: Staaten, Einzelpersonen, Kriminelle oder Unternehmen, die den Profit über alles stellen, wie es die Tech-Giganten selbst allzu tun. Es ist auch fraglich, ob Prinzipien wie die von Asimov, die sehr umstritten und nicht durchsetzbar sind, zu Regeln führen, die einheitlich und dauerhaft eingehalten werden. Die KI hat das Potenzial, und tut es bereits, Gutes zu tun, aber wird die Menschheit den Soldaten rAIan retten können?

BOOKS & REPORTS

Hier die Liste der Bücher und Publikationen von Interesse, auf die wir anlässlich unserer Recherchen der letzten zwei Wochen gestossen sind. Und auf dVPedia bietet die Rubrik dVLibrary mit ihrem neuen Look and Feel bereits 100 Titel mit Referenzen und einer Zusammenfassung an.

Signifikante Nachrichten der letzten Wochen

► Geopolitik – Während sich unsere Aufmerksamkeit in Europa auf die Ukraine und den Nahen Osten konzentriert, wird die Beobachtung der Situation in Asien weitgehend vernachlässigt. Dort verschlechtert sich aber die Lage zwischen den beiden Koreas, in Taiwan und im Südchinesischen Meer laufend. Ein zunehmendes Konfliktpotential in einer Region, die nicht weniger als das globale digitale Entwicklungs-Atelier ist. Viele Kommentatoren bezeichnen jedoch noch dieses Risiko, auf das wir regelmässig hinweisen, als unwahrscheinlich. Um sicher zu gehen, dass die Gemengenlage von allen erkannt wird, laden wir Sie, liebe Leserinnen und Leser ein, ihrem breiteren Umfeld die folgende Abbildung zu zeigen. Damit wird deutlich, dass aufgrund der zunehmenden Abhängigkeit des Westens Produkten des digitalen Ökosystems aus Asien, die Auswirkungen einer Krise zunehmen. Zwar wurden wichtige Entscheidungen getroffen, um die Produktion von Kerngütern in die USA zu verlagern (somit bleibt Europa weiterhin abhängig), aber der Prozess verlangsamt sich. In der Tat sind die Engpässe aus der COVID-Periode mittlerweile überwunden und damit auch ihre Anreizwirkung.

In dieser Abbildung ist auch – aufgrund der Spannungen in der Region – der Effekt der steigenden Wahrscheinlichkeit des Ausbruchs von offenen Konflikten zu erkennen. In Bezug auf das Risiko bewegen wir uns also von einem orangefarbenen zu einem roten Punkt. Was wären die Folgen einer Unterbrechung der Lieferkette für digitale Produkte? Wie könnte der Rest der Welt darauf reagieren? Gibt es zufriedenstellende Antworten?

► Die allgemeine künstliche Intelligenz (AKI) kommt - Ob es uns gefällt oder nicht, nichts wird sie aufhalten können. Zum Schlechteren oder zum Besseren? Die Verantwortung für die zweite Option liegt bei der Menschheit. Die Frage, die alle beschäftigt, lautet: «Was bleibt dem Menschen, wenn die AKI kommt?» Viele sind der Meinung, dass alles, was mit Kreativität und Emotionen zu tun hat, einzig den Menschen vorbehalten bleibt. Ist das wirklich so? Die Fortschritte, die seit November 2022 und der stürmischen Ankunft von ChatGPT zu verzeichnen sind, sollten uns stattdessen demütig machen, sollten uns demütig stimmen, denn so vieles, was vor kurzem noch als unmöglich galt ist inzwischen möglich geworden. Solche Aussagen, wie auch ihr Gegenteil, stellen nichts weiter als nicht fundierte Hypothesen dar, wishful thinking, wie die Angelsachsen sagen. Und was hindert ein mit AKI gedoptes synthetisches Wesen daran, all das zu tun, was Menschen tun, wenn es die richtigen Mittel zur Fortbewegung und zum Greifen hat? Nur besser!

► Mein Auto und mein Kran spionieren mich aus - Am 6. September 2023 enthüllte die Mozilla Foundation das Ausmass des Datenabgriffs durch Autos. Die Information löste kaum eine Reaktion in den Staatskanzleien aus, aber das Thema ist wieder in den Vordergrund gerückt, da nicht nur in China produzierte Autos, sondern auch Hafenkräne Anlass zur Sorge geben. Präsident Biden ordnete an, dass die Daten von US-Bürgern nicht mehr an russische und chinesische Unternehmen verkauft werden dürfen. Angesichts der wachsenden Spannungen zwischen diesen Nationen ist es immer wieder erstaunlich, wie viele Situationen es gibt, in denen trotz aller Embargos und Warnungen US-amerikanische Unternehmen und sogar Pensionsfonds weiterhin enge Geschäfte mit diesen Ländern abschliessen. Angstmacherei oder Realität? Die Frage stellt sich auch beim Tesla, den die Bundesrätinnen Leuthard und Sommaruga benutzten. Die Antwort von armasuisse, dass der «Wächtermodus» des Fahrzeugs verhindere, dass alles in und aus dem Fahrzeug aufgezeichnet werde, war zumindest mutig.

► Fortsetzung der Xplain-Affäre - Das BACS veröffentlichte einen Bericht zur Analyse der Daten, die von den Angreifern offengelegt wurden. Sie ergab, dass unter der im Darknet veröffentlichten Masse an Dokumenten etwa 5’200 der Bundesverwaltung mit sensiblen Inhalten (persönliche Daten, technische Informationen, klassifizierte Informationen, Passwörter) gefunden wurden. Warum wurden Dokumente mit sensiblen Informationen nicht verschlüsselt, wenn sie statisch sind? Wurden alle sensiblen Informationen korrekt klassifiziert? Das Ergebnis der Untersuchung der Task Force, die eingerichtet wurde, um zu verstehen, was passiert ist und wer dafür verantwortlich ist, wird auf Ende März erwartet. Vielleicht werden wir dann Klarheit haben. Denn es ist wichtig, dass die Fehler, die in diesem Fall gemacht wurden, anderen helfen, sich zu verbessern. Parallel dazu wurden fast 7’000 Verträge von IT-Anbietern des Bundes untersucht, von denen 600 noch genauer geprüft werden müssen. Es bleibt zu hoffen, dass die Erkenntnisse zu einer Verbesserung der Praktiken führen und die Supply Chain des Bundes gestärkt wird. Der letzte Satz des Berichts lässt jedoch befürchten, dass wir davon noch weit entfernt sind, während ein Bericht der internen Revision des VBS Lücken in der Cybersicherheit des Departements aufzeigt. Wird es der Bundesverwaltung jemals gelingen, ein Vorbild zu sein? War die kürzliche Neuverteilung der Verantwortlichkeiten zu Lasten des BACS angemessen?

Das war's für diese Ausgabe. Wir hoffen, dass sie Ihnen gefallen hat. Wir wünschen Ihnen zudem viele lehrreiche Erkenntnisse mit den ausgewählten Artikeln und Links und sehen uns in zwei Wochen wieder.

Bitte registrieren Sie sich für dVPedia und unterstützen Sie damit seine Entwicklung zum Nutzen aller.

Bitte unterstützen Sie auch unsere Arbeit für die Sicherheit, Widerstandsfähigkeit und Souveränität der Schweiz mit Ihrer SPENDE.

Wir wünschen Ihnen viele lehrreiche Erkenntnisse mit den ausgewählten Artikeln und Links und sehen uns in zwei Wochen wieder.

Saving Private rAIan

Chers Lectrices et Lecteurs

Voici les dV-News 06-2024 et leur sélection d’articles et liens. Un drôle de titre, inspiré d’un article de PublicCitizen, lui-même clin d’œil à la série des G.I. Joe - un groupe militaire international œuvrant pour la paix et disposant de puissantes technologies – et un autre titre de film culte dont nous avons détourné le nom du personnage central. Tout ça pour introduire un sujet important: l’usage de l’IA comme moyen de guerre.

La mutation numérique des armées ne s’est pas faite en un jour. Cependant, depuis le début du conflit en Ukraine, jamais la présence et l’influence des technologies de l’information et de la communication (TIC) n’ont été aussi prégnantes. Mais c’est aussi une guerre pleine de paradoxes avec du very high tech d’un côté et de l’autre des images que l’on pensait à jamais appartenir au passé: les tranchées boueuses que les soldats doivent se disputer avec des rats.

Les TIC sont partout. Le smartphone remplace désormais la lettre manuscrite rédigée entre les salves d’artillerie pour maintenir un semblant de lien avec les familles. Mais ce lien peut aussi se transformer en piège et permettre à l’ennemi de découvrir et de bombarder la position du soldat retranché. Les drones remplacent certes les jumelles et permettent, sans devoir risquer sa vie en patrouilles de reconnaissance, d’aller voir derrière les obstacles, de franchir les champs de mines ou d’explorer des bâtiments. Mais comme le faucon fondant sur le lapin imprudemment sorti de son terrier, un autre drone – une munition rôdeuse – peut à tout instant apporter silencieusement la mort depuis le ciel.

Les TIC sont partout. Les images en provenance d’Ukraine ont souvent montré d’ingénieux bricolages, mais de plus en plus il s’agit de systèmes sophistiqués dotés par leurs concepteurs de la plus grande efficacité et/ou létalité possible. Quoi de plus légitime quand il s’agit de gagner face à un ennemi qui ne fera pas de quartier?  Depuis février 2022, l’innovation fait donc rage à tous les niveaux, comme lors de chaque conflit et de nombreux États sont passés en mode économie de guerre ou sont sur ce chemin. Dans une récente allocution, la Secrétaire adjointe à la Défense US, Kathleen Hicks, a en plus affirmé que le Pentagone avait mis en place les bases nécessaires pour «une armée basée sur les données et dotée de l’intelligence artificielle». Une accélération est ainsi en marche et tout le monde y contribue. Car au combat cela peut être vital.

Avec le projet Manhattan qui a conduit à la destruction d’Hiroshima et de Nagasaki, l’humanité a inventé le moyen de destruction ultime. Même si la bombe est omniprésente depuis lors, l’humanité a eu la sagesse d’éviter sa prolifération généralisée et son usage. Et heureusement, fabriquer une arme nucléaire n’est pas à la portée du premier venu.

Mais qu’en est-il de l’IA? Son prix d’entrée est infiniment plus faible, au point qu’une simple équipe peut développer des algorithmes dotés de puissantes cybercapacités destructrices ou de contourner les mesures de protection des LLM, avant de les intégrer dans une robotique en rapide essor. Quid alors d’États et/ou de grandes organisations disposant de moyens conséquents et bien décidés à gagner leurs guerres? Hésiteront-ils à développer et à utiliser des systèmes capables de décider eux-mêmes des cibles à détruire et de le faire en pleine autonomie? Hésiteront-ils à laisser l’IA lancer des missiles, même nucléaires comme le craint le Secrétaire général de l’ONU? À la guerre, le gagnant est souvent celui qui est le plus malin, le plus rapide et le plus précis. Et aussi celui qui raconte le mieux les histoires.

L’IA offre ces quatre qualités. Quels attaquants ou défenseurs renonceraient à disposer de la meilleure arme? Il est donc douteux que des signatures soient respectées par tous: États, individus, criminels, ou des entreprises mettant le profit au-dessus de tout, comme le montrent trop souvent les géants de la tech eux-mêmes. Il est également douteux que des principes comme ceux d’Asimov, très contestés et inapplicables, conduisent à des règles universellement et durablement respectées. L’IA a le potentiel, et elle le fait déjà, pour faire le bien, mais l’humanité saura-t-elle sauver le soldat rAIan?

BOOKS & REPORTS

Voici la liste des livres et publications d'intérêt découverts lors de nos recherches durant les deux dernières semaines. Et sur dVPedia, la rubrique dVLibrary  avec son tout nouveau look and feel comprend déjà une centaine de titres avec leurs références et un résumé.

News significatives de la quinzaine

► Géopolitique – Pendant qu’en Europe, notre attention se focalise sur l’Ukraine et le Moyen-Orient, la situation en Asie échappe généralement à notre vigilance. Pourtant la situation ne cesse de se dégrader entre les deux Corées, du côté de Taiwan et en mer de Chine méridionale. Un potentiel de conflit croissant dans une région qui est ni plus ni moins l’atelier mondial du numérique. Nombreux sont toutefois encore les commentateurs qui qualifient ce risque, que nous rappelons régulièrement, d’improbable. Pour s’assurer que l’enjeu est identifié par tout le monde, nous vous invitons, chers Lectrices et Lecteurs à montrer largement autour de vous la figure ci-dessous. On y voit que l’impact d’une crise augmente en raison de la dépendance croissante de l’Occident par rapport à l’Asie en produits de l’écosystème numérique. Certes d’importantes décisions ont été prises pour relocaliser les productions de biens essentiels aux USA (l’Europe restant ainsi dépendante), mais leur construction ralentit. En effet, les pénuries de la période COVID se sont entre-temps résorbées et leur force d’incitation avec elles. On lit également dans cette figure – en raison des tensions dans la région – l’effet de la probabilité croissante de l’explosion de conflits ouverts. Ainsi, en termes de risque, on passe du point orange au point rouge. Quelles seraient les conséquences d’une interruption de la chaîne d’approvisionnement des produits du numérique? Comment le reste du monde pourrait-il y répondre? Existe-t-il des réponses satisfaisantes?

► L’intelligence artificielle générale (IAG) arrive – Que cela plaise ou non, rien ne pourra l’empêcher. Pour le pire ou pour le meilleur? La responsabilité que la seconde option s’impose incombe à l’humanité. La question qui occupe tous les esprits est «que restera-t-il à l’être humain quand l’IAG sera arrivée?». Nombreux sont celles et ceux qui estiment que tout ce qui est lié à la création et aux émotions restera l’apanage des seuls êtres humains. Vraiment? Les progrès observés depuis novembre 2022 et l’arrivée en trombe de ChatGPT devraient au contraire nous rendre humbles, tellement de choses qualifiées il y a peu encore d’impossibles le sont devenues dans l’intervalle. De tels énoncés, tout comme leur contraire ne sont donc que des hypothèses infondées, du wishful thinking comme disent les Anglo-saxons. Et avec les moyens de locomotion et de préhension adéquats, qu’est-ce qui empêchera un être synthétique dopé à l’IAG de faire tout ce que les humains font? En mieux!

► Mon auto et ma grue m’espionnent – Le 6 septembre 2023, la fondation Mozilla révélait l’ampleur de la captation de données par les voitures. L’information n’a déclenché pour ainsi dire aucune réaction dans les chancelleries, mais le sujet revient sur le devant de la scène avec des inquiétudes non seulement sur les voitures produites en Chine, mais également sur les grues portuaires. Le Président Biden vient d’ordonner à ce que les données des citoyens américains ne soient plus vendues aux entreprises russes et chinoises. À la lumière des tensions croissantes entre ces nations, on s’étonnera toujours du nombre de situations où malgré tous les embargos et les mises en garde, les entreprises et même les fonds de pension américains continuent à commercer étroitement avec elles. Paranoïa ou réalité? La question se pose aussi avec la Tesla utilisée par les Conseillères fédérales Leuthard et Sommaruga. La réponse d’armasuisse que le « mode gardien » de la voiture empêchait que tout soit enregistré dans et hors du véhicule et pour le moins courageuse.

► Suite de l’affaire Xplain – L’OFCS / NCSC a publié un rapport sur l’analyse des données divulguées par les attaquants. Parmi la masse de documents exposés sur le darknet l’analyse a fait apparaître environ 5'200 documents de l’administration fédérale avec des contenus sensibles (données personnelles, informations techniques, informations classifiées, mots de passe). Pourquoi des documents comprenant des informations sensibles n’étaient-ils pas chiffrés lorsqu’ils sont statiques? Toutes les informations sensibles étaient-elles correctement classifiées? Le résultat de l’enquête de la task force mise en place pour comprendre ce qui s’est passé et quelles sont les responsabilités est attendu pour fin mars. Peut-être y verra-t-on plus clair. Car il est important que les fautes commises dans cette affaire permettent à d’autres de s’améliorer. En parallèle, près de 7'000 contrats de fournisseurs informatiques de la Confédération ont été étudiés et 600 devront encore être examinés de plus près. Espérons que les enseignements permettront de faire progresser les pratiques et qu’ainsi la supply chain de la Confédération sera renforcée. La dernière phrase du rapport laisse toutefois craindre que nous en soyons éloignés, alors qu’un rapport de la révision interne du DDPS pointe des lacunes dans la cybersécurité de ce département. L’administration fédérale parviendra-t-elle un jour à devenir exemplaire? La redistribution récente des responsabilités au détriment de l’OFCS était-elle adéquate?

C’est tout pour cette édition. Nous espérons qu’elle vous a plu. Nous vous souhaitons également une enrichissante découverte des articles et liens sélectionnés et vous retrouverons dans 15 jours.

Merci de souscrire à dVPedia et ainsi de soutenir son développement au profit de tous.

Merci également de soutenir par vos DONS notre travail au profit de la sécurité, de la résilience et de la souveraineté de la Suisse.

Nous vous souhaitons une enrichissante découverte des articles et liens sélectionnés et vous retrouverons dans 15 jou