Virtueller Assistent : Hinweis zur Erklärbarkeit

Vertrauenswürdige, erklärbare KI

Vertrauenswürdige und erklärbare KI ist ein zentrales Ziel der EU. Die EU erarbeitet derzeit einen Rechtsrahmen für KI. Der Vorschlag der Europäischen Kommission vom 21. April 2021 für eine Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (im Folgenden „Gesetz über KI“) (Anhang 3) enthält zwei wesentliche Arten von Verpflichtungen für Anbieter KI-gestützter Lösungen und Instrumente – Transparenz und die Bereitstellung von Informationen.

Nutzer von KI-Systemen haben das Recht, Informationen zu erhalten. Dieses Recht geht mit entsprechenden Verpflichtungen einher, wie z. B. der Verpflichtung, das System entsprechend den Anweisungen zu nutzen und die Leistung des betreffenden KI-Instruments zu überwachen. Die Einhaltung dieser Vorschriften zieht die Rechenschaftspflicht aller beteiligten Akteure nach sich.

In Artikel 52 des vorgeschlagenen Gesetzes über KI (Transparenzpflichten für bestimmte KI-Systeme) heißt es: „(1) Die Anbieter stellen sicher, dass KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass natürlichen Personen mitgeteilt wird, dass sie es mit einem KI-System zu tun haben, es sei denn, dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. […]“

Das vorgeschlagene Gesetz über KI verfolgt einen risikobasierten Ansatz, bei dem zwischen Anwendungen von KI unterschieden wird, die i) ein unannehmbares Risiko, ii) ein hohes Risiko und iii) ein geringes oder minimales Risiko darstellen.

Publio, der intelligente Assistent des OP-Portals, interagiert mit natürlichen Personen und führt Suchen anhand von Stichwörtern durch, die sich auf die im OP-Portal öffentlich zugänglichen Informationen stützen. Diese Informationen werden auf der Grundlage des Grundsatzes der Transparenz veröffentlicht, der allen politischen Maßnahmen und Rechtsvorschriften der EU zugrunde liegt. Der intelligente Assistent generiert weder neue Inhalte, noch manipuliert oder beeinflusst er Entscheidungen der Nutzer, sondern schlägt nur mögliche Filteroptionen für die Nutzersuche vor. Publio ist daher in die Kategorie iii „geringes Risiko“ im Sinne des Entwurfs des Gesetzes über KI einzuordnen.

Im Gesetzesentwurf über KI ist unter Titel IV (Transparenz) vorgesehen, dass bei der Gestaltung und Funktionsweise von KI-Systemen den spezifischen Risiken Rechnung getragen werden muss, die diese Systeme bergen können: 1) Manipulation durch Techniken der unterschwelligen Beeinflussung, d. h. Techniken außerhalb des Bewusstseins des Nutzers, oder 2) Ausbeutung schutzbedürftiger Gruppen, die psychisch oder physisch geschädigt werden könnten. Strengere Transparenzpflichten gelten für Systeme, die i) mit Menschen interagieren, ii) zur Erkennung von Emotionen oder zur Assoziierung (gesellschaftlicher) Kategorien anhand biometrischer Daten eingesetzt werden oder iii) Inhalte erzeugen oder manipulieren („Deepfakes“). Publio interagiert zwar mit natürlichen Personen, aber der intelligente Assistent ist weder dafür ausgelegt, Emotionen zu erkennen, um zu manipulieren, noch enthält er Elemente, die versehentlich zu einem solchen Ergebnis führen könnten. Publio entspricht daher nicht den oben genannten Kriterien.

KI und Haftung

Der Vorschlag der Europäischen Kommission für das Gesetz über KI wurde am 28. September 2022 durch einen Vorschlag für eine zivilrechtliche Haftungsregelung für KI – die Richtlinie über die Haftung für künstliche Intelligenz (Anhang 4) (im Folgenden „Richtlinie über KI-Haftung“) ergänzt – im Anschluss an die Entschließung des Europäischen Parlaments gemäß Artikel 225 AEUV (Anhang 5).

Wie in der vorgeschlagenen Richtlinie über KI-Haftung dargelegt, sind die bestehenden Haftungsvorschriften, die auf Verschulden beruhen, nicht geeignet, Haftungsansprüche für Schäden zu regeln, die durch KI-gestützte Produkte und Dienstleistungen verursacht wurden. Nach den geltenden Haftungsvorschriften müssen Opfer nachweisen, dass eine unrechtmäßige Handlung oder Unterlassung stattgefunden hat, die Person, die den Schaden verursacht hat, identifizieren und einen ursächlichen Zusammenhang nachweisen. Die besonderen Merkmale der KI, darunter Komplexität, Autonomie und Undurchsichtigkeit (der „Blackbox“-Effekt), können die Ermittlung der Person, die für die durch den Einsatz von KI entstandenen Schäden haftbar ist, erschweren. Dadurch könnten die Opfer solcher Schäden davon abgehalten werden, Schadensersatzansprüche geltend zu machen. Angesichts der Art der Beweislastfrage bietet die vorgeschlagene Richtlinie über KI-Haftung innovative Lösungen, indem die oben beschriebenen Anforderungen mithilfe von Offenlegung und widerlegbaren Vermutungen erleichtert werden.

Die vorgeschlagene Richtlinie über KI-Haftung bietet wirksame Mittel zur Ermittlung potenziell haftender Personen und einschlägiger Beweismittel. So kann ein nationales Gericht beispielsweise die Offenlegung einschlägiger Beweismittel (und deren Sicherung) über bestimmte Hochrisiko-KI-Systeme anordnen, die im Verdacht stehen, Schäden verursacht zu haben (Anhang 6). Darüber hinaus vermuten die nationalen Gerichte vorbehaltlich der in Artikel 4 der vorgeschlagenen Richtlinie festgelegten Anforderungen einen ursächlichen Zusammenhang zwischen dem Verschulden des Beklagten und dem vom KI-System hervorgebrachten Ergebnis (oder aber der Tatsache, dass das KI-System kein Ergebnis hervorgebracht hat).

Wie in der Begründung der vorgeschlagenen Richtlinie über KI-Haftung festgestellt wurde, besteht der Zusatznutzen derartiger wirksamer Vorschriften über die zivilrechtliche Haftung darin, „dass sie allen an Tätigkeiten im Zusammenhang mit KI-Systemen Beteiligten einen zusätzlichen Anreiz geben, ihren Verpflichtungen in Bezug auf das von ihnen erwartete Verhalten nachzukommen“.

Über Publio

Begriffe und Begriffsbestimmungen

Was ist Publio?

Publio, der intelligente Assistent des Portals des Amts für Veröffentlichungen der Europäischen Union (OP-Portal), ist ein Instrument für künstliche Intelligenz (KI), das mit natürlichen Personen interagiert und Suchen anhand von Stichwörtern durchführt, die sich auf die im OP-Portal öffentlich zugänglichen Informationen stützen. Publio kombiniert Techniken der Konversations-KI wie maschinelle Sprachverarbeitung (NLP) und maschinelles Lernen (ML) mit interaktiver Spracherkennung und herkömmlichen Suchsystemen, um die Nutzer bei der Suche nach EU-Veröffentlichungen, EU-Rechtsvorschriften und Kontaktpersonen in den EU-Organen zu unterstützen.

Der intelligente Assistent ermöglicht insbesondere mündliche oder schriftliche Konversationen zwischen Endnutzern und dem OP-Portal. Der intelligente Assistent ist derzeit in englischer, französischer und spanischer Sprache verfügbar. Der intelligente Assistent ist für alle nutzbar, bietet aber zur Erweiterung der Zugänglichkeit auch eine auf die Bedürfnisse von Menschen mit Leseschwäche zugeschnittene Lösung. Darüber hinaus ermöglicht er die dialogorientierte Suche, eine neue Suchmethode, die es den Nutzern ermöglicht, in vollständigen Sätzen – wie bei einem normalen Gespräch – mit einem KI-gestützten Sprachassistenten zu sprechen, der darauf Antworten gibt, sodass der Austausch zwischen Nutzer und intelligentem Assistenten in Form eines Gesprächs erfolgt.

Welche Art von Daten verwendet Publio?

Publio verwendet die auf dem OP-Portal öffentlich zugänglichen Informationen. Diese Informationen werden nach dem Grundsatz der Transparenz veröffentlicht, der allen politischen Maßnahmen und Rechtsvorschriften der EU zugrunde liegt. Auf der Grundlage dieses Korpus verwendet Publio die im OP-Portal verfügbaren Klassifikationen und Kategorien wie EuroVoc-Sachgebiete, Autoren oder Formate, um die Konversation zu lenken und zu präzisieren und den Nutzer bei der Suche in den drei Hauptbereichen des OP-Portals zu unterstützen: EU-Veröffentlichungen, EU-Recht und amtliches Verzeichnis der EU (EU Whoiswho).

Publio verwendet ein vorhandenes Sprachmodell, um die von den Nutzern gestellten Fragen zu verstehen und die Nutzer während ihrer Search Journey zu begleiten. Auf der Grundlage der Rückmeldungen der Nutzer wird das Sprachmodell Publio kontinuierlich weiter verbessert und trainiert, um den Erwartungen der Nutzer und der Vielfalt der Nutzereingaben in den drei unterstützten Sprachen gerecht zu werden.

Dieses Training umfasst mehrere Komponenten des Systems, das Publio zugrunde liegt:

• Eine vordefinierte Reihe von Utterances in Verbindung mit verschiedenen möglichen Formen von Suchintentionen, die es Publio ermöglichen, zunächst das Endziel des Nutzers zu erfassen und zweitens den Nutzer Schritt für Schritt auf dem Weg zu diesem Ziel zu begleiten.
• Eine vordefinierte Reihe festgelegter Fragen, die Publio „versteht“ und für die es den Nutzern eine vordefinierte Antwort geben kann. Beispiel: Wie kann ich Veröffentlichungen bestellen?
• Maschinell gelernte Entitys, die von Publio identifiziert und in den Hintergrundprozessen von Publio verwendet werden können, um Suchparameter zu erkennen, präzisere Suchergebnisse zu liefern oder Optionen zur weiteren Verfeinerung der Suche bereitzustellen. Diese Entitys basieren auf den vorhandenen Klassifikationen und Kategorien von Daten wie dem EuroVoc-Thesaurus oder anderen von EuroVoc verwalteten Behördentabellen: Autoren, Formate, Sprachen, EU-Einrichtungen (Organisationen), Funktionen im öffentlichen Dienst der EU usw. Auf dieser Grundlage kann Publio z. B. aus der Suchanfrage des Nutzers erkennen, dass dieser nach einer Publikation zu einem bestimmten Thema oder von einem bestimmten Autor sucht.

Wie funktioniert Publio?

Publio stützt sich auf Microsoft Language Understanding (LUIS) (Anhang 7), um Nutzereingaben (schriftlich oder mündlich) zu verarbeiten, die Suchintention des Nutzers zu verstehen und die wichtigsten Elemente (Entitys) zu identifizieren, an denen der Nutzer interessiert ist. Auf der Grundlage der erkannten Suchintention leitet Publio einen maßgeschneiderten Konversationsfluss ein, mit dem die Nutzer dabei unterstützt werden sollen, das angestrebte Ergebnis in wenigen einfachen Schritten zu erreichen.

Derzeit implementiert Publio vier Hauptkonversationsflüsse:

• Dokumentensuche zur Unterstützung von Nutzern bei der Suche nach EU-Veröffentlichungen oder EU-Rechtsdokumenten
• Personensuche zur Unterstützung der Nutzer bei der Suche nach Beamten, die bei den EU-Institutionen beschäftigt sind
• Organisationssuche zur Unterstützung der Nutzer bei der Suche nach EU-Einrichtungen (Organisationen)
• Fragen und Antworten (QnA), um häufig gestellte Fragen mit einer vorab festgelegten Antwort zu beantworten

Wird ein „Suchfluss“ erkannt, begleitet der virtuelle Assistent den Nutzer bei der Suche nach einem relevanten Dokument, einer Person oder Organisation, indem er dem Nutzer einfache Fragen stellt und auf der Grundlage der Antwort des Nutzers Filteroptionen vorschlägt.

Für den QnA-Flow führen die Mitarbeiter des Amts für Veröffentlichungen eine Liste von Paaren häufig gestellter Fragen und deren vordefinierter Antworten. Wird die QnA-Intention erkannt und besteht ein hohes Maß an Ähnlichkeit zwischen der spezifischen Frage des Nutzers und einer der im System gespeicherten Fragen, wird dem Nutzer direkt eine passende Antwort gegeben. Beispiel:

- Wenn die QnA-Intention bei einer Frage wie „Where is my order?“ erkannt wird, antwortet der Assistent mit „You can check your order status in My order section in your profile“.

- Wenn die QnA-Intention bei einer Frage wie „Where can I find documents for kids“ erkannt wird, antwortet der Assistent mit „Publications for kids are available in Kids’ corner“.

Die Nutzer können ihre Fragen schriftlich oder mündlich stellen. Der Chatbot erfasst die Audioeingabe (die gesprochenen Fragen des Nutzers) und sendet sie an eine Spracherkennungsmaschine, die die Sprache in Text umwandelt. Die Audioeingabe wird vom Microsoft Azure Spracherkennungsdienst verarbeitet (Anhang 8). Publio zeigt die Audioeingabe in den von der Spracherkennungsfunktion interpretierten Worten an, und gibt dann die Antwort sowohl in schriftlicher als auch in mit synthetischer Stimme gesprochener Form aus. Dieser Austausch ist instantan (er geschieht unmittelbar) und ephemer (er hinterlässt keine Spuren).

Wie analysiert Publio die Frage und schlägt Ergebnisse vor?

Publio verwendet keine generative Technik und ist daher nicht in der Lage, Nutzerinhalte zu erzeugen oder zu manipulieren.

Publio verwendet ein maschinelles Sprachmodell, das darauf trainiert ist (trainiertes Sprachmodell) zu lernen, wie man Nutzereingaben erkennt und darauf reagiert. Dieses Modell ist dafür zuständig, die Nachricht oder Anfrage des Nutzers zu verarbeiten, die Intention der Nachricht zu ermitteln und eine passende Antwort zu geben. Beim Training von Publio wird dem maschinellen Lernmodell eine große Menge an gelabelten Trainingsdaten zugeführt, die Beispiele für Nutzereingaben und ihre entsprechende Intention sowie plausible Antworten enthalten.

Publio verwendet maschinelle Sprachverarbeitung und das trainierte Sprachmodell, um die Suchintention des Nutzers zu verstehen und aus der Nutzerfrage die erkannten Entitys zu extrahieren (z. B. Suchbegriff, Thema, Autor, Dokumentendatum, Dokumentenformat). Publio verwendet diese Entitys für die Durchführung der Suche und die Anzeige des Suchergebnisses.

Wenn das Ergebnis der Suche zu weit gefasst ist, setzt Publio die Konversation fort, indem dem Nutzer zusätzliche Fragen gestellt werden, um das Suchergebnis durch das Filtern nach anderen Entitys einzugrenzen.

Die von Publio formulierten Fragen beschränken sich darauf, die Suchintention des Nutzers zu ermitteln, seine Absicht zu erfassen und die richtige Suchanfrage zu dem Korpus der im OP-Portal veröffentlichten Inhalte zu formulieren. Die von Publio vorgeschlagenen Ergebnisse stammen ausschließlich aus diesem Korpus.

Nutzer-Feedback

Während der Konversation kann der Endnutzer jederzeit positives, neutrales oder negatives Feedback zu seinen Erfahrungen bei der Nutzung von Publio geben. Das kann manuelles Feedback sein, das vom Nutzer jederzeit manuell eingegeben werden kann, oder als Reaktion auf ein automatisches Popup erfolgen, das nach einigen Sekunden der Inaktivität angezeigt wird und den Nutzer zum Feedback auffordert. Darüber hinaus werden Fragen, die von Publio nicht korrekt „verstanden“ werden, automatisch protokolliert und regelmäßig von einem Personalteam des Amts für Veröffentlichungen bearbeitet. Sowohl das Nutzer-Feedback als auch die Analyse von Fragen, die von Publio nicht richtig „verstanden“ wurden, werden genutzt, um das Sprachmodell neu zu trainieren, mit dem Ziel, die den Endnutzern angebotenen Dienste ständig weiter zu verbessern.

Private Datenverarbeitung

Die auf dem OP-Portal verfügbaren Daten werden im Einklang mit der EU-Datenschutz-Grundverordnung (DSGVO) und der Verordnung über die Verarbeitung personenbezogener Daten durch die Organe, Einrichtungen und sonstigen Stellen der EU (Anhang 9) verarbeitet.

Publio speichert, bewahrt oder archiviert keine Elemente, weder die Eingaben des Nutzers noch die durch die Antworten von Publio übermittelten Informationen.

Die erfassten Feedbacks werden so anonymisiert, dass es nicht möglich ist, das Feedback mit dem Nutzer, von dem es stammt, in Verbindung zu bringen.

Personenbezogene Daten werden in keiner Weise für automatisierte Entscheidungsfindung, Rückverfolgung oder Profilerstellung verwendet.

Zum gegenwärtigen Zeitpunkt bestehende Einschränkungen

• Transkription gesprochener Namen: Die meisten Namen werden zwar „verstanden“ und korrekt transkribiert, allerdings basiert die Namensextraktion auf maschinellem Lernen und ist nicht hundertprozentig korrekt. Aufgrund von Einschränkungen des LUIS-Diensts werden einige Namen auch nach dem Training des Modells mit den spezifischen Beispielen aus dem Datensatz nicht korrekt extrahiert.
• Daten in französischer und spanischer Sprache: In komplexeren Zusammenhängen ist das „Datenverständnis“ in Spanisch und Französisch weniger genau. So wird das Jahr in spanischer Sprache bei Verwendung von „entre 2016 y 2017“ ohne zusätzlichen Kontext erkannt, während es bei „entre el año 2019 y 2020“ nicht erkannt wird. Im Englischen wird „2 years ago“ erkannt, im Französischen „il y a 2 ans“ hingegen nicht.
• Die Spracherkennung funktioniert jeweils nur in einer Sprache.
• Die Spracherkennung hat keinen Buchstabiermodus, d. h. sie verfügt über keine Funktion, die es dem Nutzer ermöglicht, Wörter zu buchstabieren, um eine genaue Transkription sicherzustellen.
• Die Wiedererkennung des Namens funktioniert in größeren Sätzen nicht richtig, wenn er mit „Mrs“/„Miss“ kombiniert wird.

Amt für Veröffentlichungen der Europäischen Union, 16. Mai 2023