Algoritmische transparantie: conversatiechatbots van AOC
Overzicht
De conversatie-virtuele assistent van het AOC, ook wel chatbot genoemd, is een ondersteunende dienst voor overheidspersoneel en burgers, 24 uur per dag, 7 dagen per week, die tot doel heeft de processen van digitale identificatie en toegang tot de informatie van het transparantieportaal te vergemakkelijken. evenals het verbeteren van de gebruikerservaring en het vergroten van de zelfoplossing van incidenten en vragen.
De dienst biedt informatie die relevant is voor de specifieke vragen van elke gebruiker op een eenvoudiger en wendbaardere manier dan het zoeken naar de informatie op de website.
Gebruiksgevallen
Het AOC past de conversatie-virtuele assistent momenteel toe op drie inhoudsgebieden:
La Paula is de chatbot die de VALid-service ondersteunt bij de meest voorkomende vragen van gebruikers bij het identificeren van de verwerkings- en meldingsdiensten van het AOC.
La Rita vindt u op de aanvraag- en beheerpagina van het idCAT Certificaat (https://idcat.cat/) en helpt bij het oplossen van de meest voorkomende twijfels en vragen met betrekking tot het verkrijgen, gebruiken en vernieuwen van het idCAT-certificaat.
Un nieuwe chatbot op het Transparency and Electronic Headquarters-portaal dat helpt bij het vinden van de informatie of procedure die de gebruiker nodig heeft. Het bevindt zich in de proeffase in vijf gemeenten: Fornells de la Selva, Llagostera, Sarrià de Ter, Tordera en Tremp.
AOC-chatbots kunnen complexe vragen afhandelen omdat ze de natuurlijke taal van mensen interpreteren met behulp van kunstmatige intelligentie-algoritmen.
Ze antwoorden op basis van:
- De openbare informatie van het AOC-ondersteuningsportaal (https://www.aoc.cat/suport) die is gestructureerd in de vorm van veelgestelde vragen (FAQ). Deze informatie wordt handmatig voorbereid en in de bot geladen.
- De training van begeleide, op regels gebaseerde gespreksstromen.
Gespreksassistenten verhogen de efficiëntie van de Open Administratie van Catalonië door de automatisering van antwoorden op de meest gestelde vragen die via het webkanaal worden ontvangen mogelijk te maken.
Contactgegevens
Verantwoordelijk orgaan
Open bestuur van Catalonië
Neem contact op met het team voor vragen
Innovatie en Databranche
Team-e-mail
innovacio@aoc.cat
Externe leverancier
EEN MILJOEN BOT, SL
E-mail van leverancier
info@1millionbot.com
Meer gedetailleerde informatie over het systeem
Maak uzelf vertrouwd met de informatie die het systeem gebruikt, de werkingslogica van het algoritme en het beheer ervan.
Gegevenssets
Er worden twee belangrijke gegevensbronnen gebruikt:
Gegevens om de algoritmen te trainen
Openbare informatie van het AOC-ondersteuningsportaal (https://www.aoc.cat/suport) die is gestructureerd in de vorm van vragen-antwoorden in het inhoudsgebied van de chatbot. Dit zijn de voorbeeldvragen die gebruikers stellen wanneer ze worden bijgestaan door het User Service Center (CAU) van het AOC.
De informatie is eigendom van het AOC en wordt gedeeld onder de Creative Commons CC-Zero-licentie. Het mag zonder toestemming worden gekopieerd, gewijzigd, gedistribueerd en hergebruikt, ook voor commerciële doeleinden.
Het trainingsmateriaal bevat geen persoonlijke gegevens (reden waarom de gegevensbeschermingsanalyse niet is uitgevoerd)
Informatie wordt handmatig in het algoritmische systeem geladen. Sommige voorbeeldvragen worden ook gebruikt om het model te testen.
Gesprek opnemen
Het systeem legt de tijdens de chatsessie gestelde vragen en de gegeven antwoorden vast in een bestand. Het serviceontwikkelingsteam analyseert periodiek het logboek om te zien hoe de service heeft gereageerd op vragen van gebruikers.
Door middel van de analyse worden de inhoudsgebieden geïdentificeerd waarop het trainingsmateriaal en de antwoorden van de dienst verbeterd moeten worden. Na de analyse wordt het trainingsmateriaal opnieuw gedefinieerd en kunnen er meer voorbeeldvragen worden toegevoegd of kunnen er nieuwe begeleide gespreksstromen worden gecreëerd om de gebruikerservaring van de dienst te verbeteren. Gebruikerscommentaren kunnen ook worden gebruikt om antwoorden te verfijnen en meer informatie toe te voegen.
Het is de bedoeling dat in de volgende versie van de bot het gesprekslogboek na analyse periodiek automatisch uit het systeem wordt verwijderd, maar gebruiksgerelateerde rapporten zoals gebruikspercentages, responspercentages en andere parameters blijven opgeslagen om voortgang op de langere termijn monitoren.
Het chatlogboek is eigendom van, maar heeft geen licentie van, het AOC.
Gegevensverwerking
De operationele logica van automatische gegevensverwerking en de redenering die door het systeem wordt uitgevoerd, is gebaseerd op het volgende model en de volgende methodologie:
Architectuur van het model
De Xatbot-service is gebaseerd op de Dialogflow-technologie van Google en het 1MillionBot-beheerplatform dat wordt gehost op de Google Cloud Platform (GCP)-infrastructuur. De servers bevinden zich in het Google Cloud Data Center in België binnen de Europese Economische Ruimte (EER).
De dienst maakt gebruik van AI-algoritmen en machine learning-modellen om vragen in natuurlijke taal te verwerken.
De gebruiker stelt de vragen via een digitale interface die op verschillende apparaten werkt (web, mobiel, tablet)
Bovendien maken chatbots geleide gespreksstromen mogelijk die het oplossen van vragen vergemakkelijken.
Er is een systeem geïmplementeerd om de mening van gebruikers te verzamelen en de tevredenheid van het algehele gesprek te kunnen beoordelen. Deze informatie wordt gebruikt om de dienstverlening voortdurend te verbeteren.
prestatie
De ontwikkeling van het gebruik en de kwaliteit van de dienstverlening worden continu geëvalueerd.
Gebruiksstatistieken en kwaliteitsmaatregelen worden regelmatig vastgelegd in automatische maandrapportages.
De kwaliteitsmaatstaf omvat het aantal juiste antwoorden vergeleken met alle vragen en directe opmerkingen van gebruikers over de dienst.
Het nauwkeurigheidsniveau van het systeem is één succespercentage boven 95% (bijgewerkt op 24-5-2023)
Geen discriminatie
Om gelijkheid bij het gebruik van de dienst te garanderen, is deze beschikbaar in het Catalaans, Spaans en Engels. De gebruiker kan de taal kiezen aan het begin van het gesprek of op elk moment via het botmenu.
De dienst begrijpt natuurlijke taal, ook als er sprake is van spel- en/of taalfouten.
Menselijk toezicht
Het chatbot-algoritme handelt direct, maar onder toezicht ex post van het personeel dat verantwoordelijk was voor de uiteindelijke beslissing, wat bijzonder intens was in de beginperiode van de operatie. Op deze manier kunnen de biases van het algoritme worden gecompenseerd.
De dienst staat dus onder toezicht van het personeel dat de dienst beheert:
- Enerzijds identificeert en verzamelt de dienst automatisch vragen die niet konden worden beantwoord. Deze vragen worden naar de CAU-specialisten (eerste of tweede niveau) gestuurd om de gespreksstromen te ontwikkelen waarmee ze de volgende keer kunnen worden beantwoord.
- Aan de andere kant monitoren monitoringexperts periodiek de logs van opmerkingen en gesprekken en analyseren ze de statistieken van het gebruik van de dienst. Op basis van deze gegevens identificeren experts de kwesties die gebruikers interesseren, ontwikkelen ze nieuwe gespreksstromen en breiden ze het gesprekscorpus uit met nieuwe trefwoorden.
Risicomanagement
De chatbotservice wordt vanaf het begin geïdentificeerd als een "virtuele assistent" om te voorkomen dat de gebruiker denkt dat hij met een persoon communiceert.
De chatbotservice vraagt nooit om persoonlijk identificeerbare informatie. De dienst brengt echter een risico met zich mee dat verband houdt met de verwerking van persoonsgegevens als de gebruiker onnodige persoonsgegevens in de dienst invoert.
Om dit risico te beheersen, worden gesprekslogboeken regelmatig beoordeeld door experts, die alle persoonlijke gegevens verwijderen die het geautomatiseerde systeem mogelijk heeft gemist.
Het is de bedoeling dat de dienst in de volgende versie een geautomatiseerde functie zal hebben die elk burgerservicenummer of e-mailadres onmiddellijk uit het gesprekslogboek verwijdert. Bovendien kan de gebruiker tijdens de chatsessie verzoeken dat zijn gesprek uit het systeem wordt verwijderd, zodat de ingevoerde informatie niet kan worden gebruikt om de bot te voeden.
meer informatie
- Maandelijks maken 210.000 mensen gebruik van de 24×7 virtuele assistenten van het AOC” (maart 2023)
- Paula en Rita, de AOC-chatbots die al meer dan 93.000 gebruikers hebben geholpen” (juni 2021)
- Amsterdam AI-register
- Helsinki AI-register
- Het OESO-beleidsobservatorium voor kunstmatige intelligentie – OECD.AI
- Europese verklaring over digitale rechten en beginselen voor het digitale decennium (januari 2023)
- Voorstel Werkkader voor de ethiek van algoritmen, van het directoraat-generaal Digitale Administratie (2021)
- Overheidsmaatregel van de gemeentelijke strategie van algoritmen en data voor de ethische impuls van AI, van de gemeenteraad van Barcelona (april 2021)
- Whitepaper Openbare AI-registers, uit de steden Amsterdam, Helsinki en Saidot Ltd (september 2020) + Chatbotprofiel van Helsinki
- Rapporteren Kunstmatige intelligentie uitpakken: 10 stappen om mensenrechten te beschermen van de commissaris voor de mensenrechten van de Raad van Europa (mei 2019)
- Ethische richtlijnen voor vertrouwde AI, van de High Level Expert Group on AI van de Europese Commissie (april 2019)