Virtuele assistent : Mededeling over verklaarbaarheid

Betrouwbare, verklaarbare AI

Betrouwbare en verklaarbare AI zijn essentiële doelstellingen voor de EU. De EU werkt aan een regelgevingskader voor AI. Het voorstel van de Europese Commissie van 21 april 2021 voor een verordening tot vaststelling van geharmoniseerde regels inzake artificiële intelligentie (hierna “AI-verordening” genoemd) (aanhangsel 3) bevat twee belangrijke soorten toezeggingen door aanbieders van op AI gebaseerde oplossingen en instrumenten: transparantie en informatieverstrekking.

Gebruikers van AI-systemen hebben recht op informatie. Dat recht gaat gepaard met overeenkomstige verplichtingen, zoals de verplichting om het systeem in overeenstemming met de instructies te gebruiken en de prestaties van het betrokken AI-instrument te monitoren. Naleving van deze regels leidt tot een verantwoordingsplicht bij alle betrokken actoren.

De voorgestelde AI-verordening bepaalt in artikel 52 (Transparantieverplichtingen voor bepaalde AI-systemen) dat “1. Aanbieders zorgen ervoor dat AI-systemen die voor interactie met natuurlijke personen zijn bedoeld, zodanig worden ontworpen en ontwikkeld dat natuurlijke personen worden geïnformeerd dat zij interageren met een AI-systeem, tenzij de omstandigheden en de gebruikscontext dit duidelijk maken. […]”

De voorgestelde AI-verordening volgt een risicogebaseerde aanpak, waarbij een onderscheid wordt gemaakt tussen AI-toepassingen die i) een onaanvaardbaar risico, ii) een hoog risico, en iii) een laag of minimaal risico met zich meebrengen.

Publio, de intelligente assistent van het OP-portaal, converseert met natuurlijke personen en voert zoekopdrachten uit met behulp van trefwoorden op basis van informatie die openbaar beschikbaar is op het OP-portaal. Die informatie wordt gepubliceerd op basis van het transparantiebeginsel dat ten grondslag ligt aan alle beleidsmaatregelen en wetgeving van de EU. De intelligente assistent genereert geen nieuwe inhoud en manipuleert noch beïnvloedt de keuzes van gebruikers, afgezien van het voorstellen van mogelijke filteropties voor de zoekopdrachten van de gebruikers. Publio moet daarom worden geacht te vallen onder de categorie “laag risico” (iii) zoals gedefinieerd in het ontwerp van de AI-verordening.

In titel IV (Transparantie) van het ontwerp van de AI-verordening is bepaald dat bij het ontwerp en de werking van AI-systemen rekening moet worden gehouden met de specifieke risico’s die deze kunnen inhouden: 1) manipulatie door middel van subliminale technieken, d.w.z. technieken waarvan gebruikers zich niet bewust zijn, of 2) uitbuiting van kwetsbare groepen, met psychologische of fysieke schade tot gevolg. Striktere transparantieverplichtingen gelden voor systemen die i) interageren met mensen, ii) worden gebruikt om emoties te detecteren of mensen in te delen in (sociale) categorieën op basis van biometrische gegevens, of iii) inhoud genereren of manipuleren (“deepfakes”). Hoewel Publio interageert met natuurlijke personen, is de intelligente assistent niet ontworpen om emoties op te sporen met het doel emoties te manipuleren en bevat hij evenmin elementen die onbedoeld tot een dergelijk resultaat zouden kunnen leiden. Publio valt dus niet onder de bovengenoemde criteria.

AI en aansprakelijkheid

Het voorstel van de Europese Commissie voor de AI-verordening is op 28 september 2022 aangevuld met een voorstel voor een civielrechtelijke aansprakelijkheidsregeling voor AI – de richtlijn inzake aansprakelijkheid voor artificiële intelligentie (aanhangsel 4) (hierna “richtlijn AI-aansprakelijkheid” genoemd), naar aanleiding van de resolutie van het Europees Parlement die is aangenomen op grond van artikel 225 VWEU (aanhangsel 5).

Zoals uiteengezet in de richtlijn AI-aansprakelijkheid zijn de bestaande aansprakelijkheidsregels, die op schuld gebaseerd zijn, niet geschikt voor de behandeling van vorderingen op grond van aansprakelijkheid voor schade die is veroorzaakt door op AI gebaseerde producten en diensten. Volgens de bestaande aansprakelijkheidsregels moeten slachtoffers het bestaan van een onrechtmatig doen of nalaten bewijzen, de persoon identificeren die de schade heeft veroorzaakt en een oorzakelijk verband aantonen. De specifieke kenmerken van AI, waaronder de complexiteit, autonomie en ondoorzichtigheid ervan (het zogenaamde “blackboxeffect”), maken het moeilijk om vast te stellen wie aansprakelijk is voor schade als gevolg van het gebruik van AI. Slachtoffers die dergelijke schade lijden, kunnen er daarom van worden weerhouden om schadevergoeding te vorderen. Gezien de aard van het probleem van de bewijslast biedt de voorgestelde richtlijn AI-aansprakelijkheid innovatieve oplossingen door de hierboven beschreven vereisten te versoepelen via het gebruik van openbaarmaking en weerlegbare vermoedens van niet-naleving.

De voorgestelde richtlijn AI-aansprakelijkheid biedt doeltreffende middelen om potentieel aansprakelijke personen en relevant bewijsmateriaal te identificeren. Zo wordt in de richtlijn bijvoorbeeld bepaald dat een nationale rechter de openbaarmaking van relevant bewijsmateriaal (en de bewaring ervan) over specifieke AI-systemen met een hoog risico waarvan wordt vermoed dat zij schade hebben veroorzaakt, kan gelasten (aanhangsel 6). Bovendien moeten de nationale rechters, met inachtneming van de vereisten van artikel 4 van de voorgestelde richtlijn, ervan uitgaan [...] dat er een causaal verband bestaat tussen de schuld van de verweerder en de door het Ai-systeem geproduceerde output (of het feit dat het AI-systeem juist geen output heeft gegenereerd).

Zoals in de toelichting bij de voorgestelde richtlijn AI-aansprakelijkheid werd geconcludeerd, “hebben dergelijke effectieve regels inzake civielrechtelijke aansprakelijkheid het bijkomend voordeel dat zij alle personen die betrokken zijn bij activiteiten in verband met AI-systemen een extra stimulans geven om hun verplichtingen met betrekking tot het van hen verwachte gedrag, na te komen”.

Over Publio

Termen en definities

Wat is Publio?

Publio, de intelligente assistent van het portaal van het Bureau voor publicaties (OP-portaal), is een op AI gebaseerd instrument dat converseert met natuurlijke personen en zoekopdrachten uitvoert met behulp van trefwoorden op basis van informatie die openbaar beschikbaar is op het OP-portaal. Publio combineert technieken voor conversationele kunstmatige intelligentie (AI) zoals natuurlijke-taalverwerking (NLP) en machinaal leren (ML) met interactieve spraakherkenning en traditionele zoeksystemen om gebruikers te helpen bij het vinden van EU-publicaties, EU-wetgeving en contactpersonen bij de Europese instellingen.

Meer specifiek maakt de intelligente assistent gesproken of getypte gesprekken tussen eindgebruikers en het OP-portaal mogelijk. De intelligente assistent is momenteel beschikbaar in het Engels, Frans en Spaans. Hoewel de intelligente assistent door iedereen kan worden gebruikt, biedt hij ook een oplossing die is afgestemd op de behoeften van mensen met een leeshandicap, wat de toegankelijkheid ten goede komt. Bovendien wordt zo conversationeel zoeken mogelijk: een nieuwe manier van zoeken waarbij gebruikers – net als in een normaal gesprek – in volledige zinnen kunnen spreken met een door AI aangedreven spraakassistent die daarop reageert met antwoorden, en waarbij de uitwisseling tussen de gebruiker en de intelligente assistent de vorm heeft van een gesprek.

Welke soorten gegevens gebruikt Publio?

Publio maakt gebruik van de informatie die openbaar beschikbaar is op het OP-portaal. Die informatie wordt gepubliceerd op basis van het transparantiebeginsel dat van toepassing is op alle beleidsmaatregelen en wetgeving van de EU. Op basis van dat corpus gebruikt Publio indelingen en categorieën die beschikbaar zijn op het OP-portaal, zoals EuroVoc-onderwerpen, auteurs of formaten, om het gesprek te sturen en te verfijnen en de gebruiker te helpen zoeken in de drie belangrijkste collecties van het OP-portaal: EU-publicaties, EU-recht en de officiële gids van de EU (EU Whoiswho).

Publio gebruikt een bestaand taalmodel om de vragen van gebruikers te begrijpen en de gebruikers tijdens hun zoektraject te begeleiden. Op basis van feedback van gebruikers wordt het Publio-taalmodel voortdurend verder verbeterd en getraind om tegemoet te komen aan de verwachtingen van de gebruikers en in te spelen op de diversiteit van de gebruikersinput in de drie ondersteunde talen.

Deze training heeft betrekking op meerdere componenten van het onderliggende systeem van Publio:

• Een vooraf bepaalde reeks uitingen die verband houden met verschillende mogelijke soorten intenties om Publio in staat te stellen om, ten eerste, het einddoel van de gebruiker te begrijpen, en ten tweede, de gebruiker stap voor stap naar de verwezenlijking van dat doel te leiden.
• Een vooraf gedefinieerde reeks vaste vragen die Publio “begrijpt” en waarvoor hij gebruikers een vooraf bepaald antwoord kan geven. Voorbeeld: Hoe kan ik publicaties bestellen?
• Machinaal geleerde entiteiten die door Publio kunnen worden geïdentificeerd en in de achtergrondprocessen van Publio kunnen worden gebruikt om zoekparameters te detecteren, nauwkeurigere zoekresultaten aan te bieden of opties voor te stellen om de zoekopdracht verder te verfijnen. Deze entiteiten zijn gebaseerd op de bestaande indelingen en gegevenscategorieën zoals EuroVoc-thesauri of andere door EuroVoc beheerde referentietabellen: auteurs, formaten, talen, EU-organen (organisaties), functionele rollen in de overheidsdiensten van de EU enz. Op basis daarvan kan Publio bijvoorbeeld uit de zoekopdracht van de gebruiker opmaken dat de gebruiker een publicatie zoekt met een specifiek onderwerp of van een specifieke auteur.

Hoe werkt Publio?

Publio maakt gebruik van Microsoft Language Understanding (LUIS) (aanhangsel 7) om gebruikersinput (schriftelijk of gesproken) te verwerken, de bedoeling van de gebruiker te begrijpen en de belangrijkste elementen (entiteiten) te identificeren waarin de gebruiker geïnteresseerd is. Op basis van de gedetecteerde intentie initieert Publio een op maat gemaakte conversatiestroom om gebruikers te helpen het beoogde doel in enkele eenvoudige stappen te bereiken.

Momenteel maakt Publio gebruik van de volgende vier belangrijkste conversatiestromen:

• Zoekstroom voor documenten, om gebruikers te helpen bij het zoeken van EU-publicaties of juridische documenten van de EU
• Zoekstroom voor personen, om gebruikers te helpen bij het zoeken van ambtenaren in dienst van EU-instellingen
• Zoekstroom voor organisaties, om gebruikers te helpen bij het zoeken van EU-organen (organisaties)
• Vraag-en-antwoordstroom (QnA), om veelgestelde vragen te beantwoorden met een standaardantwoord.

Als een “zoek”-stroom wordt herkend, zal de virtuele assistent de gebruiker begeleiden bij het zoeken van een relevant document of een relevante persoon of organisatie door de gebruiker eenvoudige vragen te stellen en, op basis van het antwoord van de gebruiker, filteropties voor te stellen.

Voor de QnA-stroom houdt het personeel van het Publicatiebureau een lijst bij van paren met veelgestelde vragen en hun standaardantwoorden. Wanneer “QnA” als intentie wordt herkend en er een hoge mate van gelijkenis is tussen de specifieke vraag van de gebruiker en een van de vragen die in het systeem zijn opgeslagen, wordt direct een passend antwoord naar de gebruiker teruggestuurd. Bijvoorbeeld:

- als de QnA-intentie wordt herkend met een zoekopdracht als “Waar is mijn bestelling?”, antwoordt de assistent met “U kunt uw orderstatus controleren in de rubriek Mijn bestelling in uw profiel”.

- als de QnA-intentie wordt erkend met een zoekopdracht als “Waar kan ik documenten voor kinderen vinden”, antwoordt de assistent met “Publicaties voor kinderen zijn beschikbaar in de Kinderhoek”.

Gebruikers kunnen hun vragen intypen of uitspreken. De chatbot registreert de audio-input (de gesproken vragen van de gebruiker) en stuurt deze naar een spraakherkenningsmodule die de spraak omzet in tekst. De audio-input wordt verwerkt door de spraak-naar-tekst-dienst van Microsoft Azure (aanhangsel 8). Publio toont de audio-input vervolgens als een reeks woorden die door de spraakherkenningsmodule zijn herkend, en komt dan met het antwoord, zowel schriftelijk als mondeling met behulp van spraaksynthese. Deze uitwisseling is onmiddellijk (er is geen vertraging) en tijdelijk (er blijft geen spoor van achter).

Hoe analyseert Publio de vraag en stelt hij resultaten voor?

Publio maakt geen gebruik van generatieve technologie en is dus niet in staat om zelf inhoud te genereren of de inhoud van gebruikers te manipuleren.

Publio gebruikt een op machinaal leren gebaseerd taalmodel dat is getraind (getraind taalmodel) om input van gebruikers te herkennen en erop te reageren. Dit model is verantwoordelijk voor het verwerken van het bericht of de zoekopdracht van de gebruiker, het identificeren van de intentie van het bericht en het geven van een passend antwoord. Het trainingsproces van Publio bestaat erin het model voor machinaal leren te voeden met een groot aantal gemerkte trainingsgegevens, waaronder voorbeelden van gebruikersinputs en de bijbehorende intenties en plausibele reacties.

Publio gebruikt natuurlijke-taalverwerking en het getrainde taalmodel om de intentie van de gebruiker te begrijpen en uit de vraag van de gebruiker de herkende entiteiten te halen (bijvoorbeeld zoekterm, onderwerp, auteur, documentdatum, documentformaat). Publio gebruikt deze entiteiten om de zoekopdracht uit te voeren en het zoekresultaat weer te geven.

Als het resultaat van de zoekopdracht te ruim is, zet Publio het gesprek voort en stelt hij de gebruiker aanvullende vragen om het zoekresultaat te verfijnen door te filteren op andere entiteiten.

De vragen van Publio beperken zich tot het identificeren van de intentie van de gebruiker, het vastleggen van het doel ervan en het formuleren van de juiste zoekopdracht voor het corpus bestaande uit de inhoud die op het PB-portaal gepubliceerd is. De door Publio voorgestelde resultaten komen volledig uit dit corpus.

Feedback van gebruikers

Op elk moment tijdens het gesprek kan de eindgebruiker positieve, neutrale of negatieve feedback geven over zijn/haar ervaring met Publio. Daarbij kan het gaan om handmatige feedback waartoe de gebruiker op elk moment het initiatief kan nemen, of feedback als reactie op een automatische pop-up die de gebruiker na enkele seconden van inactiviteit om feedback vraagt. Bovendien worden vragen die door Publio niet correct worden “begrepen” automatisch geregistreerd en periodiek verwerkt door een menselijk team van het Publicatiebureau. Zowel de feedback van gebruikers als de analyse van vragen die Publio niet goed heeft “begrepen”, worden gebruikt om het taalmodel opnieuw te trainen en zo de dienstverlening aan de eindgebruikers voortdurend te blijven verbeteren.

Verwerking van privégegevens

De op het OP-portaal beschikbare gegevens worden verwerkt in overeenstemming met de algemene verordening gegevensbescherming (AVG) van de EU en de verordening betreffende de verwerking van persoonsgegevens door de instellingen, organen en instanties van de EU (aanhangsel 9).

Geen enkel element, noch de input van de gebruiker, noch de informatie die via de antwoorden van Publio wordt verstrekt, wordt door Publio opgeslagen, bewaard of gearchiveerd.

De verzamelde feedback wordt zodanig geanonimiseerd dat deze niet kan worden gekoppeld aan de gebruiker van wie de feedback is ontvangen.

Persoonsgegevens worden niet gebruikt voor geautomatiseerde besluitvorming, tracering of profilering.

Huidige beperkingen

• Transcriptie van namen met behulp van spraak: de meeste namen worden “begrepen” en correct getranscribeerd, maar de naamextractie is gebaseerd op machinaal leren en is niet 100 % nauwkeurig. Als gevolg van beperkingen van LUIS worden sommige namen niet correct geëxtraheerd, zelfs nadat het model met de specifieke voorbeelden uit de dataset is getraind.
• Datums in het Frans en het Spaans: in complexere contexten is het “begrip” van datums minder nauwkeurig in het Spaans en het Frans. Zo zal het jaar in het Spaans worden herkend met “entre 2016 y 2017” zonder extra context, terwijl het niet zal worden herkend met “entre el año 2019 y 2020”. In het Engels wordt “2 years ago” herkend, maar in het Frans “il y a 2 ans” niet.
• Spraakherkenning werkt slechts in één taal tegelijk.
• De spraakherkenning heeft geen spelmodus, wat betekent dat gebruikers woorden niet letter voor letter kunnen spellen om een nauwkeurige transcriptie te waarborgen.
• De herkenning van benoemde entiteiten werkt niet goed in langere zinnen in combinatie met “Mrs”/“Miss”.

Bureau voor publicaties van de Europese Unie, 16 mei 2023