Im Interview mit einem Data Scientist Specialized in Trustworthy AI

Vertrauenswürdige KI ist in der heutigen Zeit äußerst wichtig, da künstliche Intelligenz eine immer größere Rolle in unserem Leben spielt. Wir verlassen uns auf KI-Systeme für Entscheidungen in Bereichen wie Gesundheitswesen, Finanzen, Verkehr und mehr. Die Vertrauenswürdigkeit von KI gewinnt daher an Bedeutung, um sicherzustellen, dass diese Systeme zuverlässig, sicher und ethisch verantwortungsbewusst arbeiten. Vertrauenswürdige KI fördert das Vertrauen der Menschen in diese Technologie und ermöglicht eine verantwortungsvolle Nutzung, um die positiven Potenziale von KI zu erschließen und gleichzeitig potenzielle Risiken zu minimieren.

Im Interview mit Ridha Kahouach ordnen wir das Thema vertrauenswürdige künstliche Intelligenz ein.

Ridha Kahouach , was machst Du bei der onsite und wieso beschäftigst Du Dich in der Gilde Anforderungs- & Testmanagement mit vertrauenswürdiger KI?

Bei onsite bin ich als Executive Consultant tätig. Mein Schwerpunkt liegt insbesondere in der Qualitätssicherung von komplexen IT-Lösungen. Beispielsweise betreue ich verschiedene IT-Projekte bei der Konzeption, Umsetzung und Optimierung nachhaltiger Teststrategien.

Darüber hinaus leite ich die onsite Gilde 'Anforderungs- & Testmanagement', die sich aus Fachexpert*innen zusammensetzt. Hier arbeiten wir eng mit anderen Gilden zusammen, wie zum Beispiel der Gilde 'Künstliche Intelligenz' und 'Entwicklung'. Gemeinsam analysieren und bewerten wir regelmäßig technische und technologische Trends, um den möglichen Nutzen für unsere Kunden sowie potenzielle Herausforderungen und Risiken zu verstehen.

In diesem Zusammenhang und bereits vor dem Hype um ChatGPT und ähnlicher KI-Technologien haben wir das enorme Potenzial von KI erkannt. Nicht nur aufgrund renommierter Studien, die darauf hinweisen, dass KI die Weltwirtschaft in den nächsten Jahren um ein Vielfaches steigern würde, sondern auch aufgrund ihres teilweise unvorhersehbaren Einflusses auf das gesamte gesellschaftliche Zusammenleben. Der entscheidende Unterschied bei KI-Anwendungen liegt darin, dass sie weniger auf deterministischen Algorithmen beruhen, sondern stattdessen sogenannte Modelle verwenden. Diese Modelle erlangen durch einen Trainingsprozess Wissen und Erfahrung für konkrete Aufgaben. Jedoch sind die zugrundeliegenden Daten, auch Trainingsdaten genannt, nicht zwangsläufig frei von Vorurteilen. Wenn diese Daten beispielsweise Benachteiligungen bestimmter Personengruppen enthalten oder von bestimmten Gruppen unterrepräsentiert sind, kann das KI-Modell diese Vorurteile übernehmen und dementsprechend diskriminierende Ergebnisse liefern.

Als IT-Expert*innen möchten wir sicherstellen, dass KI-Systeme zuverlässig, ethisch und transparent arbeiten. Die Vertrauenswürdigkeit von KI ist ein Schlüsselfaktor, um das volle Potenzial dieser Technologie auszuschöpfen und gleichzeitig mögliche Risiken zu minimieren.

Durch unsere Arbeit in der Gilde Anforderungs- & Testmanagement haben wir die Möglichkeit, bewährte Verfahren und Standards zu analysieren und zu erproben, um vertrauenswürdige KI zu gewährleisten.

Wie definierst Du den Begriff "vertrauenswürdige KI" und warum ist er in der heutigen Zeit so wichtig?

Der Begriff 'vertrauenswürdige KI' hat zwar noch keine einheitliche Definition, jedoch kann man in der Regel anhand bestimmter Qualitätsmerkmale und Anforderungen erkennen, ob eine KI als vertrauenswürdig betrachtet werden kann. Eine vertrauenswürdige KI muss u. a. rechtmäßig sein, um Datenschutzbestimmungen und andere gesetzliche Vorschriften einzuhalten. Sie muss auch ethische Grundsätze berücksichtigen, um Vorurteile, Diskriminierung und andere negative Auswirkungen zu vermeiden. Robustheit ist ebenfalls wichtig, um technische Zuverlässigkeit, Stabilität und Widerstandsfähigkeit gegenüber unvorhergesehenen Situationen sicherzustellen. Zusätzlich zu diesen Merkmalen können weitere Aspekte eine Rolle spielen, um die Vertrauenswürdigkeit einer KI zu bestimmen. Dazu gehören beispielsweise die Erklärbarkeit von Entscheidungen, die Kontrollierbarkeit des Systems durch den Menschen und die Fähigkeit, angemessen auf unvorhergesehene Situationen zu reagieren.

Eine nennenswerte und zugleich ausführliche Referenz in diesem Zusammenhang sind die sogenannten AI-Guidelines, die im Rahmen der High-Level Expert Group on Artificial Intelligence (HLEG) der EU-Kommission entwickelt wurden. Die Leitlinien enthalten sieben Schlüsselanforderungen, die KI-Systeme erfüllen sollten, um als vertrauenswürdig zu gelten. Eine spezielle Bewertungsliste soll dabei helfen, die Anwendung der einzelnen Schlüsselanforderungen zu überprüfen.

Es ist wichtig zu betonen, dass Vertrauenswürdigkeit nicht als statischer Zustand zu verstehen ist, sondern als kontinuierlicher Prozess. Die KI-Systeme und -Algorithmen müssen regelmäßig überprüft, aktualisiert und verbessert werden, um den sich ändernden Anforderungen gerecht zu werden und das Vertrauen der User und der Gesellschaft zu erhalten.

Welche Herausforderungen und Risiken bestehen hinsichtlich der Vertrauenswürdigkeit von KI-Systemen und -Anwendungen?

Die Herausforderungen und Risiken im Zusammenhang mit der Vertrauenswürdigkeit von KI-Systemen und -Anwendungen sind vielfältig und können je nach Anwendungsfall stark variieren. Eine zentrale Herausforderung besteht darin, dass der Begriff selbst und die damit verbundenen Merkmale, wie bereits erwähnt, noch nicht einheitlich definiert sind. Dies kann dazu führen, dass eine KI in einer bestimmten Region der Welt als vertrauenswürdig betrachtet wird, während sie in anderen Regionen aufgrund unterschiedlicher Rechtslagen möglicherweise nicht als vertrauenswürdig angesehen wird.

Ein weiteres herausforderndes Thema ist die praktische Umsetzung von Vertrauenswürdigkeit in KI-Systemen. Insbesondere im Bereich der Ethik gibt es Schwierigkeiten, da ethische Prinzipien nicht einfach programmiert werden können. Es ist eine komplexe Aufgabe, ethische Überlegungen in den Entwicklungsprozess einzubeziehen und sicherzustellen, dass die KI-Systeme entsprechend handeln.

Zu den wesentlichen Risiken im Zusammenhang mit der Vertrauenswürdigkeit von KI-Systemen gehört die Tatsache, dass sie sich von herkömmlichen Anwendungen unterscheiden, indem sie kontinuierlich dazulernen, dadurch besteht das Risiko, dass eine KI-Anwendung, die heute als vertrauenswürdig gilt, morgen nicht mehr den Anforderungen entspricht. Die ständige Überwachung, Validierung und Aktualisierung von KI-Systemen sind daher von großer Bedeutung.

Ein weiteres Risiko besteht darin, dass bei der Entwicklung vertrauenswürdiger KI oft ein Trade-Off zwischen der Genauigkeit des Modells und anderen Aspekten wie IT-Sicherheit eingegangen werden muss. Es kann erforderlich sein, gewisse Einschränkungen in Kauf zu nehmen, um die Vertrauenswürdigkeit zu gewährleisten.

Die Herausforderungen und Risiken im Bereich der Vertrauenswürdigkeit von KI-Systemen und -Anwendungen sind dementsprechend sowohl technischer als auch ethischer Natur. Eine umfassende Betrachtung der Rechtslage, die Einbeziehung ethischer Grundsätze in den Entwicklungsprozess und die kontinuierliche Überwachung der KI-Systeme sind entscheidend, um Vertrauen aufzubauen und die Risiken zu minimieren.

Wie können wir sicherstellen, dass KI-Anwendungen gerechte und nicht diskriminierende Ergebnisse liefern?

Oft sind Diskriminierungen in den historischen Daten vorhanden, und das Modell kann unbewusst diese Voreingenommenheit (Bias) erlernen. Ein Beispiel für die Auswirkungen von Voreingenommenheit und Diskriminierung in KI-Anwendungen ist das Bewerbungsverfahren. Stellen wir uns vor, ein Unternehmen verwendet ein KI-gestütztes System zur Vorauswahl von Bewerber*innen. Das Modell wird mit historischen Bewerbungsdaten trainiert, die bereits vorhandene Voreingenommenheit enthalten können, wie Geschlechts- oder ethnische Vorurteile. Wenn das Modell diese Muster in den Daten aufgreift, kann es dazu führen, dass bestimmte Gruppen systematisch benachteiligt werden.

Um diesem Risiko entgegenzuwirken, ist es erforderlich potenzielle Diskriminierungsquellen zu identifizieren und zu quantifizieren. Dazu gehört die Auswertung der Eingabedaten bzw. Trainingsdaten mithilfe von Metriken wie Group-Fairness und individueller Fairness. Durch die Anwendung von Group-Fairness-Metriken können wir beispielsweise feststellen, ob bestimmte Gruppen übermäßig benachteiligt oder bevorzugt werden. Wenn das Modell dazu neigt, bestimmte Gruppen systematisch zu benachteiligen, kann dies auf eine Voreingenommenheit hinweisen, die korrigiert werden muss. Individuelle Fairness-Metriken helfen uns dabei, sicherzustellen, dass die KI-Anwendung Einzelpersonen unabhängig von geschützten Merkmalen wie Herkunft gerecht behandelt.

Der nächste logische Schritt besteht darin, Diskriminierung aus den Eingabedaten durch ausgewählte Ansätze zu entfernen. Beispielsweise kann Data Massaging angewendet werden, um die Daten so anzupassen, dass sie gerechtere Ergebnisse liefern. Ein weiterer Ansatz besteht in der Verwendung von Techniken wie z. B. "Classifiers without Disparate Mistreatment", bei denen das Modell darauf trainiert wird, gleichwertige Ergebnisse unabhängig von geschützten Merkmalen wie Geschlecht oder ethnischer Zugehörigkeit zu erzielen.

Die Gewährleistung von Gerechtigkeit und Nichtdiskriminierung in KI-Anwendungen ist eine komplexe Aufgabe und bislang existiert keine endgültige Lösung. Ein kontinuierlicher Überwachungsprozess und die Berücksichtigung ethischer Grundsätze während des gesamten Lebenszyklus der KI-Anwendung sind erforderlich, um sicherzustellen, dass sie gerechte und nicht diskriminierende Ergebnisse liefert.

Welche weiteren Maßnahmen und Empfehlungen können ergriffen werden, um das Vertrauen der Menschen in diese Technologie zu stärken?

Um das Vertrauen der Menschen in diese Technologie zu stärken, können verschiedene Maßnahmen und Standards ergriffen werden, wie z. B.:

·        Klare Rechtslage: Es ist wichtig, klare rechtliche Rahmenbedingungen für den Einsatz von KI-Systemen zu schaffen, um ethische und rechtliche Fragen zu klären und potenzielle Missbräuche zu verhindern.

·        Transparenz und Kommunikation: Usern sollte deutlich gemacht werden, dass sie mit KI-Systemen interagieren, um eine emotionale Bindung zu vermeiden. Transparenz darüber, wie Entscheidungen getroffen werden, kann das Vertrauen stärken.

·        Nutzerkontrolle: Es sollte den Menschen die Möglichkeit gegeben werden, Entscheidungen von KI-Systemen zu übersteuern und bei potenziellen Gefahren oder Risiken die Kontrolle zu behalten.

·        Nachvollziehbarkeit: Usern sollte ohne großen Aufwand die Möglichkeit gegeben werden, die Ausgaben und Entscheidungen von KI-Anwendungen nachzuvollziehen, um Vertrauen in die Ergebnisse zu schaffen.

·        Risikoaufklärung: Es ist wichtig, potenzielle Risiken, insbesondere im Hinblick auf Datenschutz und IT-Sicherheit, offenzulegen und die User darüber aufzuklären.

·        Weiterbildung: Menschen, die KI-Anwendungen in ihrer täglichen Arbeit nutzen, sollten entsprechend weitergebildet werden, um ein besseres Verständnis für die Technologie zu entwickeln und ihre Chancen und Risiken zu erkennen.

·        Normen und Zertifizierungen: Die Einhaltung bzw. Einbindung von Normen wie der ISO/IEC TR 29119-11:2020 (Guidelines on the testing of AI-based systems) und die Integration von KI-Zertifizierungen tragen dazu bei, die Vertrauenswürdigkeit und Fairness von KI-Systemen sicherzustellen. Unabhängige Prüfungen und Bewertungen nach festgelegten Kriterien gewährleisten eine objektive Beurteilung.

Welche Rolle sollten Regierungen, Unternehmen und Forschungsinstitutionen dabei spielen, vertrauenswürdige KI voranzutreiben, und wie können sie zusammenarbeiten, um dieses Ziel zu erreichen?

Die Regierungen können eine zentrale Rolle spielen, insbesondere bei der Einführung allgemeiner Leitplanken, die den jeweiligen Rechtssystemen entsprechen, vor allem im Hinblick auf ethische Grundsätze wie „Die Würde des Menschen ist unantastbar“. Ein Beispiel für eine Initiative in diesem Bereich ist der sogenannte "AI Act" der Europäischen Union. Der AI Act sieht vor, dass KI-Systeme transparent, erklärbar und rechenschaftspflichtig sein sollten. Er legt auch Verbote für bestimmte KI-Anwendungen fest, die als hochriskant eingestuft werden, wie beispielsweise biometrische Identifikationssysteme zur Überwachung von Personen. Es wird erwartet, dass der EU AI Act zwischen Ende 2023 und Anfang 2024 in Kraft tritt.

Auch Unternehmen haben eine wesentliche Rolle bei der Förderung vertrauenswürdiger KI und müssen insbesondere bei hochriskanten Anwendungen strenge Anforderungen erfüllen. Ein umfassendes Qualitäts- und Risikomanagementsystem sollte implementiert werden, mit dem beispielsweise Entscheidungsvorgänge, Datenqualität und Transparenz dokumentiert und nachgewiesen werden können. Nehmen wir zum Beispiel ein Unternehmen, das KI in der Medizinindustrie einsetzt. Wenn KI-basierte Anwendungen in der medizinischen Diagnose oder Behandlung eingesetzt werden, gelten sie als hochriskant. Das Unternehmen müsste dann sicherstellen, dass es über robuste interne Prozesse verfügt, um die Einhaltung der gesetzlichen Anforderungen zu gewährleisten. Dazu gehört beispielsweise die Überprüfung der Datenqualität, die Transparenz der Entscheidungsfindungsalgorithmen und die Dokumentation des gesamten Entwicklungsprozesses.

Für Anwendungen mit geringerem Risiko, wie beispielsweise KI-gesteuerten Empfehlungssystemen in Online-Shops, können Transparenzpflichten vorgesehen sein. Das Unternehmen müsste sicherstellen, dass den Kund*innen klar kommuniziert wird, wie die Empfehlungen generiert werden und auf welchen Daten sie basieren.

Forschungsinstitutionen können ebenso eine führende Rolle bei der Gestaltung von Ethikrichtlinien, Best Practices und Zertifizierungsverfahren für KI-Systeme übernehmen. Durch ihre Expertise tragen sie dazu bei, dass KI-Systeme den höchsten Standards in Bezug auf Transparenz, Fairness, Datenschutz und Sicherheit entsprechen. So hat sich das Fraunhofer-Institut intensiv mit dem Thema KI-Zertifizierung auseinandergesetzt und einen Beitrag zur Gestaltung von Ethikrichtlinien und Best Practices geleistet und einem Whitepaper veröffentlicht.

Eine Zusammenarbeit zwischen Forschungsinstitutionen, Unternehmen und Regierungen ist daher entscheidend, um diese Standards zu etablieren und eine vertrauenswürdige KI-Landschaft zu schaffen.

Du beziehst Dich u. a. auf den EU AI Act. Viele üben Kritik daran - so auch der deutsche KI-Verband, weil sie fürchten, die Gesetze könnten die Innovationskraft Europas schwächen. Wie stehst Du dazu?

Einige Fachexpert*innen sind skeptisch gegenüber der Einführung von entsprechenden Standards wie dem geplanten AI Act, da sie befürchten, dass dies den Fortschritt im KI-Bereich auf nationaler und europäischer Ebene bremsen könnte. Als Berater für Qualitätssicherung und Data Scientist im Bereich KI-Vertrauenswürdigkeit kann ich diese Bedenken zwar verstehen, sehe jedoch eher eine Chance als ein Hindernis. Es ist wichtig zu bedenken, dass bspw. der gute Ruf von "Made in Germany" auf der Qualität der Produkte beruht. Da KI immer stärker unser Leben durch verschiedene Produkte beeinflusst, hängt die Qualität dieser Produkte zunehmend von der Qualität der integrierten KI-Komponenten ab und somit auch vom Vertrauen der Nutzer in diese Produkte.

Kannst Du uns einen Einblick in den Absicherungsprozess von KI-Anwendungen geben?

Bei der Absicherung von KI-Anwendungen gibt es, ähnlich wie in der konventionellen Softwareentwicklung, unterschiedliche Schritte und Aspekte, die berücksichtigt werden müssen. Der Umfang der Absicherung hängt in der Regel von den mit der KI-Anwendung verbundenen Risiken ab.

Ein entscheidender Meilenstein im Absicherungsprozess von KI-Anwendungen ist die "Risikoanalyse und Bewertung". Dabei wird das KI-System hinsichtlich relevanter Qualitätsmerkmale wie Datenethik und IT-Sicherheit bewertet. Diese Bewertung liefert Erkenntnisse darüber, welche Bereiche genauer betrachtet und getestet werden müssen. In einigen Fällen kann die Risikoanalyse sogar dazu führen, dass die Entwicklung der KI-Lösung nicht fortgesetzt wird, beispielsweise wenn die Verwendung nicht DSGVO-konformer Daten geplant ist, um später schwerwiegende Kosten- oder Imageschäden zu vermeiden.

Nach der Entscheidung für die Umsetzung des KI-Systems folgt die Absicherung des ausgewählten Entwurfsverfahrens und der Systemarchitektur. Dabei wird die Sicherheit und Stabilität des Systems gewährleistet.

Ein weiterer wichtiger Aspekt ist die Absicherung der Eingabedaten, die zum Training und Testen des KI-Modells verwendet werden. Diese Daten können Verzerrungen enthalten und müssen daher sorgfältig analysiert werden, insbesondere in Bezug auf Diskriminierung. Dedizierte Metriken werden verwendet, um Verzerrungen zu identifizieren und geeignete Ansätze zur Minimierung zu entwickeln.

Neben der Absicherung der Eingabedaten ist es auch wichtig, das KI-Modell selbst abzusichern. Dies beinhaltet die u. a. Überprüfung der Modelleffizienz, -genauigkeit und -robustheit.

Es ist jedoch wichtig zu betonen, dass die Absicherung von KI-Anwendungen nicht mit dem Deployment des Systems abgeschlossen ist. Vielmehr muss auch ein kontinuierliches Monitoring implementiert werden, um das Modell auf weiteres Lernen und mögliche Anomalien zu überwachen. Dies gewährleistet, dass das KI-System kontinuierlich den höchsten Standards entspricht und mögliche Probleme frühzeitig erkannt und behoben werden können.

Hast Du abschließende Gedanken oder Worte, die Du mit uns teilen möchtest?

Der Einfluss von KI in unserem Alltag, sei es in generativen Chatbot-Plattformen wie ChatGPT oder in integrierten Komponenten für autonomes Fahren, hat die Bedeutung der Vertrauenswürdigkeit von KI deutlich hervorgehoben.

In der onsite betrachten wir das Thema "Vertrauenswürdigkeit von KI" genauso wie andere Technologien, wie Internet of Things (IoT) und Cloud-Services kundenzentriert. Wir setzen uns nicht nur auf Code-Ebene damit auseinander, sondern betrachten es aus verschiedenen Entwicklungs-, Testengineering- und Managementebenen. Dank unserer hochqualifizierten Mitarbeiter*innen und Expert*innen widmen wir uns intensiv konkreten Fragestellungen wie beispielsweise Teststrategien für KI-Anwendungen. Zudem verfügen wir über eine ausgeprägte IT-Infrastruktur und hochskalierbare Cloud-Lösungen, die es uns ermöglichen, effiziente Maßnahmen und Frameworks zur Absicherung von KI-Anwendungen zu entwickeln und entsprechend dem aktuellen Stand der Technik zu erproben.

Unsere Vision ist es, ein proaktiver Akteur zu sein, der KI-Systeme entwickelt, die Menschen dabei unterstützen, Entscheidungen zu treffen, die das Wohl der Gesellschaft fördern. Indem wir uns mit vertrauenswürdiger KI befassen, möchten wir sicherstellen, dass diese Technologie unsere Werte und Ziele unterstützt, anstatt sie zu gefährden. Diese faszinierende Herausforderung motiviert mich jeden Tag.