Algoritmische transparantie: conversatiechatbots

Algoritmische transparantie: conversatiechatbots van AOC

Overzicht 

De conversatie-virtuele assistent van het AOC, ook wel chatbot genoemd, is een ondersteunende dienst voor overheidspersoneel en burgers, 24 uur per dag, 7 dagen per week, die tot doel heeft de processen van digitale identificatie en toegang tot de informatie van het transparantieportaal te vergemakkelijken. evenals het verbeteren van de gebruikerservaring en het vergroten van de zelfoplossing van incidenten en vragen. 

De dienst biedt informatie die relevant is voor de specifieke vragen van elke gebruiker op een eenvoudiger en wendbaardere manier dan het zoeken naar de informatie op de website. 

Gebruiksgevallen 

Het AOC past de conversatie-virtuele assistent momenteel toe op drie inhoudsgebieden:

La Paula is de chatbot die de VALid-service ondersteunt bij de meest voorkomende vragen van gebruikers bij het identificeren van de verwerkings- en meldingsdiensten van het AOC. 

La Rita vindt u op de aanvraag- en beheerpagina van het idCAT Certificaat (https://idcat.cat/) en helpt bij het oplossen van de meest voorkomende twijfels en vragen met betrekking tot het verkrijgen, gebruiken en vernieuwen van het idCAT-certificaat. 

Un nieuwe chatbot op het Transparency and Electronic Headquarters-portaal dat helpt bij het vinden van de informatie of procedure die de gebruiker nodig heeft. Het bevindt zich in de proeffase in vijf gemeenten: Fornells de la Selva, Llagostera, Sarrià de Ter, Tordera en Tremp. 

AOC-chatbots kunnen complexe vragen afhandelen omdat ze de natuurlijke taal van mensen interpreteren met behulp van kunstmatige intelligentie-algoritmen.

Ze antwoorden op basis van: 

  1. De openbare informatie van het AOC-ondersteuningsportaal (https://www.aoc.cat/suport) die is gestructureerd in de vorm van veelgestelde vragen (FAQ). Deze informatie wordt handmatig voorbereid en in de bot geladen. 
  2. De training van begeleide, op regels gebaseerde gespreksstromen. 

Gespreksassistenten verhogen de efficiëntie van de Open Administratie van Catalonië door de automatisering van antwoorden op de meest gestelde vragen die via het webkanaal worden ontvangen mogelijk te maken. 

Contactgegevens 

Verantwoordelijk orgaan
Open bestuur van Catalonië 

Neem contact op met het team voor vragen
Innovatie en Databranche

Team-e-mail
innovacio@aoc.cat  

Externe leverancier
EEN MILJOEN BOT, SL 

E-mail van leverancier
info@1millionbot.com  

Meer gedetailleerde informatie over het systeem 

Maak uzelf vertrouwd met de informatie die het systeem gebruikt, de werkingslogica van het algoritme en het beheer ervan. 

Gegevenssets 

Er worden twee belangrijke gegevensbronnen gebruikt: 

Gegevens om de algoritmen te trainen 

Openbare informatie van het AOC-ondersteuningsportaal (https://www.aoc.cat/suport) die is gestructureerd in de vorm van vragen-antwoorden in het inhoudsgebied van de chatbot. Dit zijn de voorbeeldvragen die gebruikers stellen wanneer ze worden bijgestaan ​​door het User Service Center (CAU) van het AOC. 

De informatie is eigendom van het AOC en wordt gedeeld onder de Creative Commons CC-Zero-licentie. Het mag zonder toestemming worden gekopieerd, gewijzigd, gedistribueerd en hergebruikt, ook voor commerciële doeleinden. 

Het trainingsmateriaal bevat geen persoonlijke gegevens (reden waarom de gegevensbeschermingsanalyse niet is uitgevoerd) 

Informatie wordt handmatig in het algoritmische systeem geladen. Sommige voorbeeldvragen worden ook gebruikt om het model te testen. 

Gesprek opnemen 

Het systeem legt de tijdens de chatsessie gestelde vragen en de gegeven antwoorden vast in een bestand. Het serviceontwikkelingsteam analyseert periodiek het logboek om te zien hoe de service heeft gereageerd op vragen van gebruikers. 

Door middel van de analyse worden de inhoudsgebieden geïdentificeerd waarop het trainingsmateriaal en de antwoorden van de dienst verbeterd moeten worden. Na de analyse wordt het trainingsmateriaal opnieuw gedefinieerd en kunnen er meer voorbeeldvragen worden toegevoegd of kunnen er nieuwe begeleide gespreksstromen worden gecreëerd om de gebruikerservaring van de dienst te verbeteren. Gebruikerscommentaren kunnen ook worden gebruikt om antwoorden te verfijnen en meer informatie toe te voegen. 

Het is de bedoeling dat in de volgende versie van de bot het gesprekslogboek na analyse periodiek automatisch uit het systeem wordt verwijderd, maar gebruiksgerelateerde rapporten zoals gebruikspercentages, responspercentages en andere parameters blijven opgeslagen om voortgang op de langere termijn monitoren. 

Het chatlogboek is eigendom van, maar heeft geen licentie van, het AOC. 

Gegevensverwerking 

De operationele logica van automatische gegevensverwerking en de redenering die door het systeem wordt uitgevoerd, is gebaseerd op het volgende model en de volgende methodologie: 

Architectuur van het model 

De Xatbot-service is gebaseerd op de Dialogflow-technologie van Google en het 1MillionBot-beheerplatform dat wordt gehost op de Google Cloud Platform (GCP)-infrastructuur. De servers bevinden zich in het Google Cloud Data Center in België binnen de Europese Economische Ruimte (EER). 

De dienst maakt gebruik van AI-algoritmen en machine learning-modellen om vragen in natuurlijke taal te verwerken. 

De gebruiker stelt de vragen via een digitale interface die op verschillende apparaten werkt (web, mobiel, tablet) 

Bovendien maken chatbots geleide gespreksstromen mogelijk die het oplossen van vragen vergemakkelijken. 

Er is een systeem geïmplementeerd om de mening van gebruikers te verzamelen en de tevredenheid van het algehele gesprek te kunnen beoordelen. Deze informatie wordt gebruikt om de dienstverlening voortdurend te verbeteren. 

prestatie 

De ontwikkeling van het gebruik en de kwaliteit van de dienstverlening worden continu geëvalueerd.  

Gebruiksstatistieken en kwaliteitsmaatregelen worden regelmatig vastgelegd in automatische maandrapportages.  

De kwaliteitsmaatstaf omvat het aantal juiste antwoorden vergeleken met alle vragen en directe opmerkingen van gebruikers over de dienst. 

Het nauwkeurigheidsniveau van het systeem is één succespercentage boven 95% (bijgewerkt op 24-5-2023) 

Geen discriminatie 

Om gelijkheid bij het gebruik van de dienst te garanderen, is deze beschikbaar in het Catalaans, Spaans en Engels. De gebruiker kan de taal kiezen aan het begin van het gesprek of op elk moment via het botmenu. 

De dienst begrijpt natuurlijke taal, ook als er sprake is van spel- en/of taalfouten. 

Menselijk toezicht 

Het chatbot-algoritme handelt direct, maar onder toezicht ex post van het personeel dat verantwoordelijk was voor de uiteindelijke beslissing, wat bijzonder intens was in de beginperiode van de operatie. Op deze manier kunnen de biases van het algoritme worden gecompenseerd. 

De dienst staat dus onder toezicht van het personeel dat de dienst beheert: 

  • Enerzijds identificeert en verzamelt de dienst automatisch vragen die niet konden worden beantwoord. Deze vragen worden naar de CAU-specialisten (eerste of tweede niveau) gestuurd om de gespreksstromen te ontwikkelen waarmee ze de volgende keer kunnen worden beantwoord. 
  • Aan de andere kant monitoren monitoringexperts periodiek de logs van opmerkingen en gesprekken en analyseren ze de statistieken van het gebruik van de dienst. Op basis van deze gegevens identificeren experts de kwesties die gebruikers interesseren, ontwikkelen ze nieuwe gespreksstromen en breiden ze het gesprekscorpus uit met nieuwe trefwoorden. 

Risicomanagement 

De chatbotservice wordt vanaf het begin geïdentificeerd als een "virtuele assistent" om te voorkomen dat de gebruiker denkt dat hij met een persoon communiceert. 

De chatbotservice vraagt ​​nooit om persoonlijk identificeerbare informatie. De dienst brengt echter een risico met zich mee dat verband houdt met de verwerking van persoonsgegevens als de gebruiker onnodige persoonsgegevens in de dienst invoert.  

Om dit risico te beheersen, worden gesprekslogboeken regelmatig beoordeeld door experts, die alle persoonlijke gegevens verwijderen die het geautomatiseerde systeem mogelijk heeft gemist. 

Het is de bedoeling dat de dienst in de volgende versie een geautomatiseerde functie zal hebben die elk burgerservicenummer of e-mailadres onmiddellijk uit het gesprekslogboek verwijdert. Bovendien kan de gebruiker tijdens de chatsessie verzoeken dat zijn gesprek uit het systeem wordt verwijderd, zodat de ingevoerde informatie niet kan worden gebruikt om de bot te voeden.

meer informatie