CIO Erfahrungsaustausch: AI-Risiken benennen und begegnen; Baguettes als Lösegeld

Im CIO-Erfahrungsaustausch am 6. November teilten VOICE-Security-Spezialist Dirk Michael Ockel und Bosch Digital CTO Dr. Andreas Nauerz ihre Erkenntnisse mit ihren Kolleginnen und Kollegen. Dirk klärte uns über die neuesten Sicherheitsvorkomnisse auf und Andreas Nauerz berichtete, was heute schon mit GenAI geht - positiven wie im negativen.

Im Security-Update von Dirk Ockel ging es unter anderem um Angriffe auf das französische Unternehmen Schneider Electric . Dabei sind 40 GB  Daten exfiltriert worden. Was von den Erpressern zu halten ist, ist unklar. Sie forderten Lösegeld in Höhe von 125 000 Dollar in Form von Baguettes. Außerdem versendeten Schadakteure gespoofte E-Mails mit genuinen Docu-Sign-Accounts. Sie enthalten fingierte Rechnungen.

Erste durch KI entdeckte Schwachstelle

Die Nutzung der Dokusign-Plattform ermöglicht den Kriminellen die Umgehung von Spam-Filtern. Ockel machte auch aufmerksam auf eine Zero-Day-Schwachstelle in Überwachungskameras der Marke Hisilicon. Teilweise braucht es für den Angriff nicht einmal eine Authentifizierung, um remote Code auszuführen. Interessant auch: Die Schwachstelle wurde durch eine #KI entdeckt und war damit der erste Zero-Day der durch eine KI detektiert worden ist.

Chancen von #GenAI

Die Keynote des Abends hielt Dr. Andreas Nauerz, CTO von Bosch Digital .  Sein Thema: Chancen, Challenges and #Cyberrisks von GenAI. Nauerz sieht enorme Chancen für mehr Effizienz und Wachstum in den Unternehmen durch GenAI. Er sieht sowohl Verbesserungen in den Bereichen Effizienz und Qualität, (Informations-) Zugang und Usability sowie neue Geschäftsmöglichkeiten und Innovationen. Die kommenden Weiterentwicklungen von GenAI sieht er unter anderem in der Performanzverbesserung (Gerüchteweise soll ChatGPT 45 noch in diesem Jahr herauskommen), in  höherer Verlässlichkeit, in mehr Security und #Privacy, im Aufkommen kleinerer spezialisierter Modelle, in neuen Bezahlungsmodellen und in der Personalisierung von AI.

Wo GenAI gefährlich werden kann

Nauerz ging aber auch intensiv auf die Risiken ein, die durch GenAI entstehen bzw. verstärkt werden könnten.  Unter anderem sieht er Gefahren, wenn AI eingesetzt wird, um Angriffe zu fahren zum Beispiel:

• Mit advanced Social Engineering – gute KI-Bots können sehr gut eingesetzt werden, um Menschen sensible Informationen zu entlocken. Wie weit Bots schon sind, kann man laut Nauerz hier erfahren: https://www.humanornot.ai/.
• Social manipilulation & grading – falsche Informationen lassen sich mit Hilfe von GenAI leichter denn je erzeugen und verbreiten, um die öffentliche Meinung zu beeinflussen.
• Identity theft – GenAI kann sehr gut eingesetzt werden, um Dokumente zu fälschen
• Sophisticated (spear) phishing  & vishing – Mit Hilfe von KI lassen sich massenhaft Pishing-Kampagnen individualisieren und mit gefälschten Stimmen lassen sich auch in betrügerischer Absicht Fake-Anrufe oder VOICE-Mails generieren.
• Deepfakes Attacks mit Fake-News und Fälschungen
• AI-powered Stalking – der Einsatz von KI, um Menschen zum Beispiel über Überwachungs- und Verkehrskameras tatsächlich zu verfolgen.
• Snake Oil -  Damit werden Betrugsmaschen bezeichnet, mit denen Tools angepriesen und Menschen zu erheblichen Investitionen überredet werden, die sehr fortschrittliche KI-Eigenschaften haben sollen, über die sie in Wahrheit gar nicht verfügen.
• Online Eviction – Menschen werden mit Hilfe von KI-Tools von zum Beispiel Online-Plattformen komplett ausgeschlossen. Je stärker Entscheidungen über Kredite oder Versicherungen automatisiert werden, desto höher wird die Gefahr, dass es zu solchen Evictions also Vertreibungen kommt.
• Angriffe auf AI-Systeme selbst
• Market Bombing – Ais werden angegriffen, um Finanzmärkte gezielt zu attackieren und zu destabilisieren, zum Beispiel durch das massenhafte automatische Ausspielen von Handelsaufträgen oder durch die massenhafte Verbreitung von Falschnachrichten zu Unternehmenszahlen oder ähnliches, um Panikverkäufe auszulösen.
• Die Generierung von Malware, die ihren Code ständig ändert, um der Detektion zu entgehen.

Wir müssen uns wappnen

Nauerz brachte noch einige weitere Beispiele um das Missbrauchspotenzial von AI zu verdeutlichen. Sein Fazit. Wir müssen uns wappnen, bei allen Chancen der KI auch die Gefahren sehen. Das heißt, wir müssen unsere Leute gut ausbilden, KI verantwortungsvoll einsetzen, auf Transparenz achten, regulatorische Maßnahmen ergreifen und sowohl Privacy und Security im Auge behalten.