DORA-Werkstatt meets Artificial Intelligence (AI)

In einer Welt, in der bald niemand mehr an den technologischen Innovationen der Künstlichen Intelligenz (englisch: Artificial Intelligence, kurz: AI) vorbeikommen wird, habe ich mich ebenfalls entschieden, die neuen Möglichkeiten auszutesten. Bereits seit einigen Wochen nutze ich die Funktionen von ChatGPT, um mir die Arbeit in der DORA-Werkstatt zu erleichtern. Doch jetzt bin ich an einem Punkt angekommen, an dem es wirklich spannend wird, und heute möchte ich einige meiner Erfahrungen mit euch teilen!

Wie alles angefangen hat ...

Im März dieses Jahres begann ich, mich intensiv mit dem Regelwerk zu DORA auseinanderzusetzen, um ein entsprechendes Umsetzungsprojekt zu gestalten. Schnell wurde klar, dass DORA viel umfassender ist, als ich zunächst angenommen hatte, und dass ich eine effiziente Strategie benötigen würde, um die Vielzahl an Anforderungen kurzfristig zu extrahieren.

Um dieses Ziel zu erreichen, habe ich das komplette Regelwerk – einschließlich aller RTS, ITS und GL – in ein strukturiertes Datenformat überführt (siehe hier). Ich erhoffte mir dadurch einen schnelleren Zugriff auf die Inhalte der Dokumente sowie die Möglichkeit einer semi-automatischen Suche nach konkreten Artefakten, die in den DORA-Projektplan integriert werden müssen.

Diejenigen, die mich auf meiner DORA-Reise bereits eine Weile begleiten, wissen, dass ich mit ein wenig Excel-Magie einen initialen DORA-Deep Dive, Version 1.0, erstellen konnte. Dieser umfasst etwa 500 Anforderungen, die ich in 26 fachliche Domänen unterteilt habe. Das mentale Bild dazu ist das DORA-Puzzle, das ich seit einiger Zeit nutze, um die Anforderungen strukturiert und anschaulich zu präsentieren.

Wie ich auf der Grasnarbe gelandet bin ...

Die fachliche Spannbreite des Regelwerks ist enorm, und es fällt nicht leicht, den roten Faden für die Umsetzung zu finden und ihn vor allem auch in der Hand zu behalten. Die 26 fachlichen Domänen des DORA-Puzzles bieten mir daher einen klaren Denkrahmen, wenn ich mit unseren Fachexperten am Tisch sitze und über konkrete Anforderungen spreche. Wenn wir in der Diskussion in einem bestimmten „Denkkörbchen“ – also in einem Puzzleteil – bleiben, können wir die fachlichen Anforderungen gezielt vertiefen, ohne in andere Bereiche abzuschweifen.

Genau hier kommt nun die Grasnarbe ins Spiel. Durch den vertieften Blick in die einzelnen fachlichen Domänen (z.B. Netzwerksicherheit) treten deutlich konkretere und umfassendere Anforderungen zutage, als ich sie im initialen DORA-Deep Dive identifiziert hatte. Über alle fachlichen Domänen hinweg umfasst die Version 2.0 des DORA-Deep Dives zwischenzeitlich die dreifache Anzahl an Anforderungen – also etwa 1500. Und als wäre das nicht schon genug Herausforderung, stehen diese zum Leid unserer Experten derzeit auch „nur“ in englischer Sprache zur Verfügung, da die deutschen Übersetzungen der DORA-Dokumente noch nicht vollständig vorliegen.

DORA-Werkstatt meets AI - die ersten Versuche...

Meine ersten Schritte mit ChatGPT unternehme ich seit einiger Zeit aus mehreren Gründen.

1. Da sich meine Formulierungen im Laufe der letzten Monate verändert haben, nutze ich die Möglichkeiten des Chatbots, um die 1500 Anforderungen in ein „normalisiertes Format“ zu überführen und meine sprachlichen Ausdrucksweisen zu vereinheitlichen. Ich erhoffe mir von dieser Standardisierung, dass die Experten leichter den wirklich wichtigen Inhalt der Anforderungen erfassen können. Dazu habe ich ChatGPT eine Formatvorgabe gegeben und ihn beauftragt, alle Anforderungen in dieses Format zu überführen. Das funktioniert bisher ganz gut, auch wenn ich noch sehr viel manuell überprüfe, um sicherzustellen, dass die KI nichts hinzuerfindet oder wichtige Informationen weglässt.
2. Zum zweiten hilft mir ChatGPT dabei, die Anforderungen ins Deutsche zu übersetzen. Dabei treten einige sprachliche Herausforderungen auf, da wir aufgrund unserer nationalen Regulierung auch Fachbegriffe gefunden haben, die in der europäischen Verordnung nicht enthalten sind, die ich jedoch aus Gründen der Nachvollziehbarkeit gerne weiterhin verwenden möchte. An einigen Stellen justiere ich daher nach. Zudem muss ich zugeben, dass die Übersetzungen manchmal recht "sperrig" klingen. Für diese Art der Optimierung habe ich jedoch wahrscheinlich auch später noch Zeit.
3. Da wir in unseren DORA-Projekten in der Regel nicht auf der grünen Wiese mit der Bearbeitung neuer Anforderungen beginnen, sollte zunächst eine Abweichungsanalyse zwischen dem betrieblichen „Ist-Zustand“ und dem „Soll-Zustand“ durchgeführt werden. Dafür eignen sich Self-Assessments und Checklisten hervorragend. Deshalb nutze ich ChatGPT, um basierend auf meinen Anforderungen auch Checkfragen zu erstellen – also Fragen zur Überprüfung der DORA-Compliance. Das funktioniert recht gut, solange ich den Chatbot regelmäßig daran erinnere, dass ich sowohl Checkfragen für die „Konformität der internen Vorgabedokumente“ als auch für die „Konformität der tatsächlichen Umsetzung“ benötige.

DORA-Werkstatt und AI für Fortgeschrittene

Mittlerweile habe ich einen umfangreichen Datensatz in Excel mit deutschen und englischen Anforderungen und Checkfragen zum Thema DORA entwickelt. Also eine Wissensbasis, die man (vermeintlich) einem Experten an die Hand gegeben kann, damit dieser sich im DORA-Dschungel zurecht finden und die "richtigen" Dinge umsetzen kann.

Leider bestehen gleich mehrere Probleme dabei:

• Die Anzahl der Anforderungen zu einem fachlichen Thema ist teils überwältigend. Daher sind die Listen oft unübersichtlich, und es fällt schwer, sich an das Anfangsgelesene zu erinnern, wenn man schließlich die letzte Zeile erreicht hat. Hier unterstützt mich ChatGPT bei der automatischen Erzeugung von Schlagworten und Schlüsselwörtern, die ich für die weitere Gruppierung der einzelnen Anforderungen nutzen kann.
• Die Handhabbarkeit des Excel-Werkzeugs lässt zu wünschen übrig. Jeder Nutzer muss zunächst die Struktur des Werkzeugs erfassen und lernen, wie er darin effektiv und effizient recherchieren kann, um seinen persönlichen Informationsbedarf zu decken. Um dieses Problem zu lösen, habe ich ein CustomGPT auf der OpenAI-Plattform erstellt. Dieses GPT habe ich mit den zahlreichen DORA-Dokumenten, den BaFin-Dokumenten und vor allem mit meinem Expertenwissen – dem DORA-Deep Dive Version 2.0 – gefüttert. Jetzt kann ich es im Prinzip alles in meiner eigenen Sprache fragen, was ich wissen möchte. Es handelt sich also um ein Experten-GPT, vergleichbar mit einem externen Berater, der bereits alles über DORA weiß, was es zu wissen gibt.
• Ein wichtiger Arbeitsschritt in den DORA-Projekten besteht darin, zunächst die internen Vorgaben auf DORA-Compliance zu überprüfen. Die begrenzte Zeit der Fachexperten für solche analytischen Tätigkeiten stellt in der Praxis häufig ein Problem dar. Auch hier kann der Chatbot unterstützen. Da der DORA-Deep Dive inzwischen so umfassend ist, dass er Anforderungen an die Vorgabedokumente sowie entsprechende Checkfragen beinhaltet, kann die Dokumentenanalyse zumindest teilweise automatisiert werden. Ich habe dazu eine Richtlinie aus dem Internet verwendet und den Chatbot beauftragt, die Compliance des Dokuments auf Basis der (KI-generierten) Checkfragen zu überprüfen. Um die Einwertung des CustomGPT nachvollziehbar zu gestalten, habe ich ihn außerdem gebeten, zunächst relevante Formulierungen aus dem Dokument zu extrahieren und anschließend eine Einschätzung zur DORA-Compliance abzugeben. Ergänzend habe ich ihm die Bewertungskriterien für Prüfungsfeststellungen aus dem Revisionshandbuch des DIIR zur Verfügung gestellt, um eine Einschätzung zu erhalten, die mir direkt verrät, ob der identifizierte Mangel groß oder klein ist.
• Nach der Abweichungsanalyse folgt nun der kreative Teil der Arbeit. Eigentlich müssten unsere Experten jetzt den Stift in die Hand nehmen und die Richtlinien überarbeiten, um sie DORA-compliant zu machen. Dies stellt jedoch häufig ein zeitliches und manchmal auch ein inhaltliches Problem dar, da meist unklar ist, was genau angepasst werden muss, um dieses Ziel zu erreichen. Hierbei unterstützt der Chatbot ebenfalls. Ich kann ihn basierend auf meinen DORA-Anforderungen anweisen, die Änderungsbedarfe zu identifizieren und Vorschläge für die Anpassung der Richtlinien zu erstellen. Ich gebe zu, dass das noch nicht so funktioniert, dass man es ungelesen nutzen kann, aber es klappt! Und das gilt nicht nur für Vorgabedokumente, sondern auch für die IKT-Verträge. Die einzige Voraussetzung dafür ist, dass die Informationen in gut strukturierten Daten und hoher Qualität vorliegen und man dem Chatbot präzise Vorgaben zur Verarbeitung gibt.

Ich bin wirklich beeindruckt von den Möglichkeiten, die heute bereits bestehen. Allerdings möchte ich nicht verschweigen, dass ich einige schlaflose und nervenaufreibende Nächte hinter mir habe, die mich oft ratlos zurückgelassen haben. Beispielsweise funktioniert die grundlegende Neuerstellung von Vorgabedokumenten nur „semi-gut“, da mein CustomGPT ständig irgendetwas hinzuerfindet (man nennt das wohl Halluzination) oder wichtige Vorgaben einfach weglässt. Wenn ich ihn dann frage, woher er das zusätzliche Wissen nimmt oder warum er etwas Bestimmtes vergessen hat, entschuldigt er sich dreimal und gelobt Besserung – die er jedoch nicht einhalten kann. Ich kann das mittlerweile gut einwerten, da ich das DORA-Regelwerk nahezu in- und auswendig kenne. Allerdings kann jemand Drittes, der sich auf das Ergebnis des Chatbots verlassen möchte, diese Probleme im Zweifel nicht identifizieren.

Ich evaluiere nun, ob ich dieses Problem mit anderen Sprachmodellen und KI-Tools in den Griff bekomme und bin für jeden Hinweis dankbar. Aktuell nutze ich Googles Tool "NotebookLM", das auf dem Sprachmodell Gemini basiert, und hoffe, dass es weniger halluziniert, da es angeblich nur auf das Wissen zugreift, das ich ihm gegeben habe. Ich werde weiter berichten! 🙂

Bis dahin, einen schönen Sonntag und einen guten Start in die neue Woche

P.S. ich habe auch ein neues Banner und das ist (wie soll es anders sein) mit KI generiert :D