Op het hoogtepunt van kunstmatige intelligentie kan de implementatie van een chatbot met generatieve AI van cruciaal belang zijn voor het verbeteren van de efficiëntie en tevredenheid van burgers ten opzichte van overheidsdiensten. Deze chatbots bieden een kans om de aandacht voor burgers en bedrijven te optimaliseren, vragen efficiënt op te lossen en een gepersonaliseerde en continue ervaring te bieden.

Om een ​​correcte uitvoering te garanderen, is het echter noodzakelijk om een ​​aantal goede praktijken te volgen. Deze zorgen voor compatibiliteit met bestaande systemen, naleving van de regelgeving en de kwaliteit van de reacties.

Deze gids biedt praktische aanbevelingen voor het implementeren van een chatbot met generatieve AI, gebaseerd op onze ervaring met het maken van een chatbot met generatieve AI. [1], van de selectie van de juiste technologie tot de optimalisatie en het onderhoud ervan. Ook fundamentele aspecten zoals beveiliging, gegevensbescherming en continue monitoring worden hierbij behandeld om een ​​constante ontwikkeling van het systeem te waarborgen.

Het doel van deze gids is dat overheidsdiensten chatbots kunnen inzetten die niet alleen inspelen op de huidige behoeften, maar die ook kunnen evolueren en zich kunnen aanpassen aan toekomstige eisen.

In die zin presenteren we deze handleiding als startpunt voor het creëren van een chatbot met generatieve AI op basis van onze ervaring. Bij het AOC zijn we ook bezig met het onderzoeken van deze technologie. Dit betekent dat er mogelijk meerdere aspecten zijn die verbeterd kunnen worden, evenals verschillende benaderingen voor het ontwikkelen van een chatbot.

Het is ook belangrijk om er rekening mee te houden dat deze technologie voortdurend evolueert, wat betekent dat er voortdurend nieuwe mogelijkheden voor verbetering ontstaan, zowel op korte als op lange termijn. Daarom moet er rekening mee worden gehouden dat deze gids een dynamische gids is die zal worden bijgewerkt naarmate de AOC meer kennis en ervaring op dit gebied heeft.

Om te kunnen uitleggen hoe de huidige chatbot is geïmplementeerd, is het vooral belangrijk om te kijken naar de chatbots die we vanuit het AOC hebben ingezet om burgers te ondersteunen.

In 2020 zette AOC in op het bedrijf 1millionbot [2] om een ​​eerste poging te doen om traditionele chatbots te implementeren. In 2021 is contract AOC-2021-99 gegund: Virtuele conversatie-assistentiedienst (chatbot) [3] met als doel het aanbieden van een chatbotdienst om de processen voor het raadplegen en verwerken van informatie met betrekking tot AOC-diensten te vergemakkelijken.

Tot slot werden in de maanden mei/juni 2021 twee virtuele assistenten voor idCAT-inburgeringsdiensten, Certificat en VÀLid, in productie genomen. Deze bereikten in 50.000 en 2022 gemiddeld 2023 gebruikers per jaar.

Ondanks deze aantallen hadden deze chatbots bepaalde tekortkomingen:

• De reactie-intenties van deze chatbots waren erg rigide en inflexibel, waardoor ze zich niet konden aanpassen aan de reacties van de gebruiker.
• Er is weinig aanpassingsvermogen ten aanzien van nieuwe problemen waarmee burgers te maken krijgen, wat resulteert in een buitensporige bibliotheek aan intenties.
• Voor elke dienst (bij de diensten met het hoogste volume) was een chatbot nodig, wat zeer kostbare onderhoudskosten met zich meebracht.
• Dure training om gebruikersreacties van de ene intentie naar de andere te leiden.
• Er zijn buitensporig veel uren besteed aan het trainen van de chatbots, omdat de twee bots apart getraind moesten worden en elk hun eigen twee talen had (Catalaans en Spaans).
• De context van de gesprekken werd niet behouden, wat betekende dat elke interactie met de gebruiker een nieuw ‘gesprek’ was voor de bot.

Deze moeilijkheden en tekortkomingen, samen met de explosie van kunstmatige intelligentie in het afgelopen jaar, hebben ertoe geleid dat de AOC 1millionbot opdracht heeft gegeven om met een AI-chatbot te gaan werken.

Om een ​​effectieve implementatie van een chatbot met generatieve AI te garanderen, is het essentieel om een ​​oplossing te selecteren die past bij de directe doelstellingen van de organisatie en die tegelijkertijd rekening houdt met de evolutie en schaalbaarheid op de lange termijn.

In dit geval kan de door het AOC gekozen chatbot een groot aantal vragen tegelijkertijd verwerken en eenvoudig integreren met de diensten die de organisatie levert.

Deze chatbot is geïntegreerd in de bedrijfswebpagina's van AOC met behulp van Google Tag Manager en wordt specifiek ingezet op ondersteuningspagina's en -services waar de chatbot over de kennis beschikt om gebruikers antwoorden te geven. Het is momenteel beschikbaar op:

• IdCAT-certificaat: https://idcat.cat/ i https://suport-idcat.aoc.cat/hc/ca
• Mobiele IDCAT: https://idcatmobil.cat/ i https://suport-idcatmobil.aoc.cat/hc/ca
• e-NOTUM: https://usuari.enotum.cat/ i https://suport-enotum-ciutadania.aoc.cat/hc/ca
• Het vertegenwoordigt: https://representa.cat/ i https://suport-representa-ciutadania.aoc.cat/hc/ca
• e-FEIT: https://efact.aoc.cat/bustia/home.htm i https://suport-efact-empreses.aoc.cat/hc/ca

Afbeelding 1 Locatie van de chatbot in de AOC-services

3.1 Beoordeling van de behoeften van de organisatie

Voordat u een oplossing voor kunstmatige intelligentie kiest, is het van essentieel belang om de behoeften van de organisatie grondig te beoordelen.

Dit proces zou de volgende kernvragen en -aspecten moeten omvatten:

Doelstellingen en behoeften van chatbots

• • Wat zijn de belangrijkste doelstellingen die u wilt bereiken met de implementatie van de chatbot? (Verbeter de dienstverlening aan burgers, verminder de werkdruk van teams, automatiseer interne processen, etc.)
  • Welke huidige problemen kunnen met deze technologie opgelost worden?
  • Welke impact zal de chatbot naar verwachting hebben op de bedrijfsvoering en strategie van de organisatie?

Doelgroep en use case

• Wie zijn de belangrijkste gebruikers van de chatbot? (burgers, bedrijven, interne gebruikers van de organisatie, enz.).
• In welke kanalen zou deze chatbot geïntegreerd worden? (website, mobiele applicatie, berichtenplatforms zoals Whatsapp of Telegram, etc.).
• Welke soorten vragen moet de chatbot kunnen verwerken? (frequente en herhaaldelijke vragen, gespecialiseerde technische ondersteuning, enz.).
• Welk budget kan aan deze oplossing worden toegewezen? Er moet rekening mee worden gehouden dat er zowel voor de uitvoering als voor het onderhoud een budget beschikbaar moet zijn.
• Wat zijn de mogelijke beperkingen of risico's bij de implementatie van de chatbot? Enkele risico's waarmee u rekening moet houden, zijn beveiliging en naleving van gegevensbescherming.
• Over welke middelen beschikt de organisatie? Het is belangrijk om ervoor te zorgen dat de oplossing over voldoende mankracht beschikt om deze niet alleen te implementeren, maar ook effectief te onderhouden. Opleidingsadviezen vindt u in punt 6 en 7 van deze gids.

3.2 Schaalbaarheid en flexibiliteit

Het is essentieel dat de AI-oplossing schaalbaar en flexibel is, zodat deze kan worden aangepast aan de veranderende behoeften van de organisatie. Dit betekent dat het mogelijk moet zijn om een ​​toename in het aantal vragen op specifieke tijdstippen van het jaar (bijvoorbeeld de periode voor het aanvragen van hulp of subsidies) te verwerken zonder dat dit ten koste gaat van de systeemprestaties.

Het is ook belangrijk dat de oplossing ruimte biedt voor het toevoegen van nieuwe functionaliteiten en verbeteringen naarmate de organisatie groeit en evolueert. Daarom is het essentieel om niet alleen over de benodigde interne middelen te beschikken, maar ook over gespecialiseerde onderhoudsondersteuning voor de bot zelf.

3.3 Naleving van de regelgeving inzake beveiliging en gegevensbescherming

Beveiliging en gegevensbescherming zijn cruciale aspecten bij de implementatie van een chatbot met generatieve AI. De gekozen oplossing moet voldoen aan de huidige regelgeving op het gebied van informatiebeveiliging en gegevensbescherming, zoals de Algemene Verordening Gegevensbescherming (AVG) van de Europese Unie. Dit omvat:

• Garandeer de vertrouwelijkheid, integriteit en beschikbaarheid van gegevens
• Implementeer passende beveiligingsmaatregelen om ongeautoriseerde toegang en cyberaanvallen te voorkomen
• Anonimisering van persoonsgegevens
• Instellen van een conversatiebewaringsperiode om de dienstverlening te verbeteren.

Zodra de AI-oplossing is geselecteerd, is het van essentieel belang om te beoordelen of deze voldoet aan de technische en operationele vereisten die nodig zijn voor de implementatie en de daaropvolgende schaalbaarheid. Dit systeem moet een continue werking garanderen, 24/7 ondersteuning bieden en een hoge responstijd handhaven.

4.1 Prestatie- en capaciteitstesten

Voor de definitieve implementatie wordt het volgende aanbevolen:

• Prestatie- en capaciteitstesten om ervoor te zorgen dat de chatbot het verwachte aantal vragen zonder problemen kan verwerken.
• Belastingsimulaties om het gedrag van het systeem onder verschillende verkeersomstandigheden te evalueren en zo mogelijke knelpunten of zwakke punten te voorkomen.

4.2 Pilottesten

Pilottests zijn essentieel om de prestaties van de chatbot in een gecontroleerde omgeving te evalueren voordat deze volledig wordt geïmplementeerd of wanneer u een geheel nieuwe service wilt aanbieden.

Met deze tests kunnen we mogelijke problemen identificeren en het systeem aanpassen om de functionaliteit ervan te verbeteren.

In het geval van de AOC kunnen pilottests het volgende omvatten:

• Simulatie van verschillende gebruiksscenario's.
• De plotvariant van hetzelfde incident.
• Analyseren van de resultaten om de nodige aanpassingen door te voeren.

 

4.2 Veilige en betrouwbare infrastructuur

Om een ​​correcte beschikbaarheid en veiligheid van de bot te garanderen, moet de service-infrastructuur worden gehost op veilige en betrouwbare servers binnen de Europese Economische Ruimte, om te voldoen aan de regelgeving inzake gegevensbescherming en beveiliging.

Als u tegelijkertijd een goede beveiliging voor deze virtuele agent wilt, moet u gebruikmaken van gecertificeerde datacenters en regelmatige back-ups uitvoeren om gegevensverlies bij incidenten te voorkomen.

5.1 Instructies

Om een ​​optimale werking te garanderen, moet de chatbot over een reeks duidelijke instructies beschikken die het AI-model begeleiden bij de interacties met gebruikers. Deze instructies moeten specifieke richtlijnen bevatten over hoe u reacties moet structureren en hoe u relevante informatie kunt prioriteren.

Zoals u op de afbeelding kunt zien, is het van groot belang dat de instructies duidelijk maken hoe u met complexe vragen om kunt gaan. Zo voorkomt u conflicten en verwarring bij burgers.

Afbeelding 3 AOC AI chatbot-instructies

Deze instructies moeten periodiek worden herzien en bijgewerkt, niet alleen om ervoor te zorgen dat de chatbot zich aanpast aan de nieuwe behoeften van de organisatie, maar ook om fouten te kunnen corrigeren en toekomstige problemen te kunnen anticiperen.

5.1.1 Structuur van de reacties

De antwoorden van de chatbot moeten een duidelijke en samenhangende structuur hebben, zodat gebruikers ze gemakkelijk kunnen begrijpen. De chatbot moet het volgende kunnen:

• Gebruik korte en eenvoudige zinnen.
• Verdeel de informatie in paragrafen of punten, zodat deze gemakkelijker te lezen is.
• Gebruik toegankelijke taal.
• Vermijd technische details of ingewikkelde termen die verwarring kunnen veroorzaken.
• Geef aan waar de informatie vandaan komt, zodat burgers de oorspronkelijke bron kunnen raadplegen.

Afbeelding 4 Voorbeeld van een duidelijke en samenhangende structuur en het doorgeven van de bron van de informatie

Zoals u in het voorbeeld kunt zien, is het erg belangrijk dat de chatbot, wanneer de informatie erg uitgebreid is of wanneer de chatbot de informatie simpelweg wil uitbreiden, altijd de originele FAQ's toevoegt. Dit biedt namelijk toegevoegde waarde en betrouwbaarheid in het antwoord.

5.2 Persoonlijkheid

De chatbot moet een duidelijke persoonlijkheid hebben die zich aanpast aan de behoeften van de gebruikers en vooral aan het institutionele imago dat de organisatie wil uitstralen. Op dezelfde wijze, overeenkomstig punt 27 van de Europese Verordening (EU) 2024/1689 [4]Deze systemen voor kunstmatige intelligentie moeten zodanig worden ontwikkeld en gebruikt dat de mensen die ze gebruiken, zich ervan bewust zijn dat ze communiceren of interacteren met een AI.

Het is essentieel om een ​​passende toon in de communicatie te hanteren die dichtbij, natuurlijk en afgestemd is op de verwachtingen van de gebruikers.

Illustratie 5 AOC bot-persoonlijkheid

Deze bot moet het volgende onderhouden:

• Consistentie in taalgebruik en reactiestijl zorgen voor een soepele en bevredigende ervaring.
• Niet alleen door het gebruik van de juiste taal, maar ook door het vermogen om empathie over te brengen in reacties,
• Zorg dat gebruikers zich gehoord en gewaardeerd voelen.
• Bied aan om het gesprek te allen tijde voort te zetten, voor het geval de burger aanvullende informatie nodig heeft over de gestelde vraag.

Afbeelding 6 Voorbeeld van informatie

 

Afbeelding 7 Bied aan om het gesprek voort te zetten en meer informatie te verstrekken

5.2.1 Definitie van de toon van de stem en aanpassing van de chatbot

De toon van de bot moet de waarden en cultuur van de organisatie weerspiegelen. Zo kan een chatbot van een financiële instelling kiezen voor een formelere en professionelere toon, terwijl die van een overheidsinstelling wellicht kiest voor een meer benaderbare en verzoenende toon.

Het is belangrijk dat de toon van de communicatie in alle interacties consistent is, zodat er vertrouwen en geloofwaardigheid ontstaat bij de gebruikers. Deze toon moet niet alleen stabiel zijn en ervoor zorgen dat iedereen gelijk wordt behandeld, maar moet ook aangepast kunnen worden aan verschillende situaties. Daarbij moet de toon altijd positief en proactief zijn, zelfs in tijden van conflict of ontevredenheid bij de gebruiker.

De chatbot moet zich kunnen aanpassen aan verschillende soorten gebruikers, rekening houdend met factoren zoals:

• Leeftijd
• Het niveau van technologische kennis
• Persoonlijke voorkeuren
• Het type dienst/product waarvoor ze hulp nodig hebben

Om deze aanpasbaarheid te bereiken en uiteindelijk een meer bevredigende en relevante gebruikerservaring te creëren, is het essentieel om reacties te personaliseren door middel van generatieve intenties.

Afbeelding 8 De bot aanpassen aan een persoon met weinig technologische kennis

5.3 Kennisbibliotheek

Kennis over chatbots moet gebaseerd zijn op een combinatie van betrouwbare bronnen, zoals veelgestelde vragen, documentaire databases, actuele informatiesystemen en eerdere gebruikersincidenten. Deze kennisbibliotheek moet eenvoudig toegankelijk en navigeerbaar zijn, zodat de chatbot snel en efficiënt de benodigde informatie kan vinden.

In het geval van de AOC bevat de kennisbibliotheek van de chatbot de volgende informatie:

• Links naar alle FAQ's op het AOC Support Portal.
• Instructies voor het beantwoorden van complexe vragen
• Echte gebruikersincidenten met vraag/antwoord-formaat

De diversiteit van deze informatiebronnen zorgt ervoor dat de bot completere en beter onderbouwde antwoorden kan geven. Door bronnen te gebruiken, kunt u er bovendien voor zorgen dat de chatbot op een breed scala aan vragen kan reageren en altijd actuele en nauwkeurige informatie kan verstrekken.

Afbeelding 9 Gebruikersincidentie met vraag-/antwoordformaat

 

Afbeelding 10 Instructies voor het beantwoorden van complexe vragen

Het is van essentieel belang dat deze kennisbibliotheek voortdurend wordt bijgewerkt om de nauwkeurigheid en relevantie van de antwoorden te garanderen. Dit houdt in:

• Regelmatig informatiebronnen bekijken
• Integratie van nieuwe content zodra deze is gegenereerd of gewijzigd.
• Stel een informatievalidatieproces in om ervoor te zorgen dat de gebruikte gegevens correct en betrouwbaar zijn.

5.4 Generatieve intenties creëren

Het is van cruciaal belang om de hoofddoelen van de chatbot nauwkeurig te definiëren om een ​​flexibele en efficiënte interpretatie van de vragen van gebruikers te garanderen. In tegenstelling tot traditionele chatbots moet een bot met generatieve AI vragen die op verschillende manieren zijn geformuleerd, kunnen begrijpen en het antwoord kunnen aanpassen aan de context.

Het creëren van een generatieve intentie verschilt niet veel van het creëren van traditionele intenties. Het belangrijkste verschil is dat er kleine instructies kunnen worden toegevoegd om de bot naar een persoonlijker antwoord te leiden.

Afbeelding 12 Fout met generatieve intentie bij het openen van een melding

Zoals u in de afbeelding kunt zien, worden eerst een aantal trainingszinnen gedefinieerd (net als bij klassieke intenties) en vervolgens wordt een reeks instructies geschreven, zodat de bot een generatieve respons genereert. Opgemerkt dient te worden dat AI het mogelijk maakt om variaties van de ingevoerde trainingszin te genereren zonder dat u ze één voor één hoeft te maken.

Dit moet duidelijk en nauwkeurig worden gedefinieerd om ervoor te zorgen dat gebruikersvragen correct worden geïnterpreteerd. Om dit te doen, moet u de meest gestelde vragen en gemeenschappelijke behoeften van gebruikers identificeren en voor elk van hen specifieke intenties creëren.

Er moeten filters worden geïmplementeerd om zoekopdrachten buiten het bereik van de service te detecteren en beheren. Indien nodig kunnen er alternatieve aanbevelingen aan gebruikers worden gedaan. Dit kan betekenen dat de patiënt wordt doorverwezen naar andere zorgkanalen, dat er aanvullende hulpmiddelen worden voorgesteld of dat er indien nodig wordt doorverwezen naar een menselijke agent. Bovendien moet de chatbot kunnen herkennen wanneer een vraag te complex is om automatisch opgelost te worden.

Deze kant-en-klare intentie is essentieel om burgers een duidelijk beeld te geven van de reikwijdte van de dienstverlening en kennis van de chatbot. Het is belangrijk om geen valse verwachtingen te wekken en duidelijk te maken dat de gebruiker contact moet opnemen met de desbetreffende administratie, die altijd meer informatie moet verstrekken over de diensten van het AOC.

Afbeelding 13 Intentie buiten het bereik van de AOC en suggestie voor aanvullende middelen

Het is belangrijk om intenties regelmatig te evalueren en bij te werken, zodat ze aan nieuwe behoeften kunnen worden aangepast. Er moet rekening mee worden gehouden dat de bot meerdere intenties tegelijkertijd in hetzelfde gesprek moet kunnen beheren en te allen tijde samenhangende en relevante antwoorden moet kunnen bieden.

Tot slot kunt u met een goed gestructureerde en duidelijke opzet een prettigere gebruikerservaring bieden en frustraties voorkomen.

5.4.1 Aanpassingsvermogen en flexibiliteit

De bot moet zich kunnen aanpassen aan de verschillende manieren waarop gebruikers vragen formuleren. Dit omvat het vermogen om synoniemen, grammaticale variaties en verschillende zinsstructuren te herkennen.

Het is ook belangrijk dat de chatbot zijn antwoorden kan aanpassen aan de context van het gesprek en op elk moment relevante en nauwkeurige informatie kan bieden. Bovendien moet het systeem kunnen leren van eerdere interacties en zijn reacties kunnen aanpassen op basis van de specifieke voorkeuren en behoeften van elke gebruiker.

Afbeelding 14 Voorbeelden van flexibiliteit in variaties en zinsstructuur

Afbeelding 15 Voorbeelden van flexibiliteit in variaties en zinsstructuur

5.4.2 Alternatieve kanalen van aandacht

Om te voorkomen dat u uitsluitend afhankelijk bent van een geautomatiseerd systeem, is het belangrijk om alternatieve kanalen voor persoonlijke aandacht aan te bieden.

Hierdoor kunnen gebruikers menselijke ondersteuning inschakelen als de chatbot geen adequaat antwoord kan geven of als er meer gedetailleerde aandacht nodig is. Alternatieve kanalen zijn onder meer telefonische ondersteuning, e-mail of livechat met menselijke medewerkers.

Afbeelding 16 Alternatieve contactkanalen aanbieden

6.1 Gegevensbescherming, minimalisatie en verwijdering

De chatbot moet dataminimalisatie garanderen en voorkomen dat onnodige persoonlijke informatie wordt verzameld. Alle gesprekken moeten worden geanonimiseerd en na een bepaalde tijd worden verwijderd om risico's voor de gegevensbescherming te voorkomen.

In het geval van de AOC worden gesprekken na 3 maanden verwijderd, omdat er dan voldoende tijd is verstreken om de reacties te analyseren. Gebruikers worden te allen tijde transparant geïnformeerd over het verzamelen en verbeteren van gegevens.

Afbeelding 17 Welkomstbericht over gegevensverwerking

Gegevensminimalisatie is een fundamenteel beginsel bij de bescherming van persoonsgegevens. De chatbot mag alleen de informatie verzamelen die strikt noodzakelijk is om de dienst te kunnen aanbieden. Hierbij mag geen gevoelige of onnodige gegevens worden verzameld. Hiermee worden de risico's op het gebied van gegevensbescherming verkleind en wordt voldaan aan de huidige regelgeving.

Om de privacy van gebruikers te garanderen, moeten alle gesprekken anoniem worden gemaakt. Alle informatie die gebruikers persoonlijk zou kunnen identificeren, moet worden verwijderd.

Bijvoorbeeld, in de AOC op burger- en bedrijfsniveau, vertelt de chatbot de gebruiker, wanneer hij persoonlijke gegevens verstrekt, dat het om gevoelige gegevens gaat, omdat de bot begrijpt dat deze gegevens essentieel zijn om de procedure uit te voeren.

De AOC werkt aan het implementeren van anonimiseringsmechanismen wanneer een gebruiker persoonlijke gegevens toevoegt. Dit is belangrijk omdat gesprekken 3 maanden worden bewaard. Het niet opslaan van de door de gebruiker ingevoerde persoonlijke gegevens zorgt voor een extra beveiligingslaag.

 

Afbeelding 18 Persoonsgegevens burgerperspectief

6.2 Gegevensbescherming, minimalisatie en verwijdering

Om te voldoen aan de AI-verordening van de Europese Unie moet de chatbot duidelijk herkenbaar zijn als virtuele assistent en transparante informatie verstrekken over de werking ervan.

Door een algoritmisch transparantieblad te publiceren, kunnen gebruikers zien welke gegevens zijn gebruikt om het systeem te trainen en welk AI-model wordt gebruikt. Ook moet ervoor gezorgd worden dat het systeem geen beslissingen neemt die een grote impact hebben op de gebruikers, zonder dat er menselijk toezicht is.

6.2.2 Algoritmische transparantie

Om het vertrouwen van de gebruiker in het AI-systeem te garanderen, beveelt en verdedigt de AOC volledige technologische transparantie via ons algoritmische transparantieblad. [5]. Houd er rekening mee dat dit overzicht voortdurend wordt bijgewerkt zodra er een relevante wijziging in de chatbot plaatsvindt.

Deze transparantie is essentieel om het vertrouwen van de gebruiker in het AI-systeem te waarborgen. Dit houdt in dat er gedetailleerde informatie wordt verstrekt over de werking van de chatbot, inclusief de gegevens die worden gebruikt om het model te trainen en de gebruikte algoritmen.

Door een algoritmisch transparantieblad te publiceren, krijgen gebruikers inzicht in hoe beslissingen worden genomen en welke factoren de reacties van de chatbot beïnvloeden.

6.2.2 Menselijk toezicht

Dit betekent dat er mechanismen moeten worden ingesteld voor beoordeling en menselijke tussenkomst in gevallen waarin de beslissingen van de chatbot belangrijke gevolgen kunnen hebben voor gebruikers. Menselijk toezicht zorgt ervoor dat beslissingen eerlijk, ethisch en in overeenstemming met de waarden van de organisatie zijn.

Om te voldoen aan de AI-verordening van de Europese Unie, moet ervoor worden gezorgd dat de chatbot geen beslissingen neemt met een aanzienlijke impact op gebruikers zonder menselijk toezicht.

Een chatbot met generatieve AI moet voortdurend evolueren om de kwaliteit van de reacties te verbeteren en aan te passen aan nieuwe gebruikersbehoeften. Hiervoor is een continu monitoringproces nodig dat het volgende omvat:

• Het gespreksverslag
• Foutpatronen detecteren
• Het optimaliseren van generatieve intenties.
• Identificeer verbeterpunten en voeg nieuwe kennis toe aan de systeemdatabase.

7.1 Herhalingsroutines

7.1.1 Gesprekken beoordelen

Het is essentieel om de gesprekken die de chatbot genereert regelmatig te beoordelen om onjuiste antwoorden, inconsistenties of problemen met de begripsvorming te identificeren. Deze beoordeling moet de analyse van willekeurige steekproeven omvatten om de algehele kwaliteit van de dienstverlening te waarborgen. Bij deze steekproeven moet rekening worden gehouden met de volgende factoren:

• Dag van de week
• Tijd van de dag
• Soort dienst
• Zoek gesprekken op trefwoorden

De tijd die aan deze beoordelingen wordt besteed, is afhankelijk van de middelen die de organisatie tot haar beschikking heeft. In het geval van de AOC wordt ongeveer 1 uur per dag besteed aan alles wat in punt 6 over beoordelingsroutines wordt genoemd.

Het is erg belangrijk om gedetecteerde fouten en geïmplementeerde corrigerende maatregelen te documenteren om de prestaties van chatbots voortdurend te verbeteren.

7.1.2 Foutenpatroonanalyse

Met foutpatroonanalyse kunt u terugkerende problemen in de reacties van de chatbot identificeren en specifieke oplossingen ontwikkelen om deze te verhelpen. Om deze foutpatronen te detecteren, is het van cruciaal belang om, zodra het foutieve gesprek is gedetecteerd, te zoeken naar het trefwoord ervan. Zo kunnen andere gesprekken met dezelfde fout worden geïdentificeerd.

Hierdoor wordt het later veel eenvoudiger om de bijbehorende generatieve intentie aan te passen en nieuwe informatie in de kennisbibliotheek op te nemen.

7.1.3 Optimalisatie van generatieve intenties en integratie van nieuwe kennis

Zodra de foutpatronen zijn gedetecteerd, is het noodzakelijk om de generatieve intenties te optimaliseren door de instructies voor elk patroon aan te passen. Dit moet ervoor zorgen dat er effectief kan worden gereageerd op een breed scala aan vragen.

Zo bevatte het voornemen om het idCAT-certificaat te vernieuwen aanvankelijk geen links naar meer informatie. Zodra de fout is gedetecteerd, voegt u in de intentie-instructies toe: 'Reageer altijd met: Hoe verleng ik het idCAT-certificaat?"en als je de bot opnieuw vraagt, zal deze altijd de informatie uit de FAQ bijvoegen.

Afbeelding 19 Nieuwe informatie invoegen in de botinstructies

Afbeelding 20 Bot-reactie met link naar verlengings-FAQ

Het opnemen van nieuwe kennis in de chatbotbibliotheek is ook essentieel om de relevantie en nauwkeurigheid ervan te behouden. Als er bijvoorbeeld een nieuwe FAQ wordt gegenereerd op een van de ondersteuningsportals, is het essentieel om de bestaande informatie bij te werken en deze nieuwe kennisbron te integreren.

7.2 Activiteitenbewaking

7.2.1 Statistieken verzamelen

Het monitoren van chatbot-activiteiten is essentieel om het gebruik ervan te begrijpen en mogelijke knelpunten in de gebruikersinteractie te detecteren. Door statistieken te verzamelen over de gebruiksfrequentie, de gemiddelde gespreksduur, het percentage succesvol opgeloste vragen en de meest voorkomende vragen, kunnen weloverwogen beslissingen worden genomen om het systeem te verbeteren. Deze gegevens kunnen ook helpen bij het identificeren van de momenten waarop de vraag het grootst is en bij het optimaliseren van de beschikbaarheid van technologische middelen.

Afbeelding 21 AOC chatbot statistiekenscherm

Dankzij deze analyses kunnen we ook trends en patronen identificeren in het gebruik van de bot, met name in de meest voorkomende vragen en antwoorden en de gebieden waar we de meeste moeite hebben om passende antwoorden te geven.

7.3 Gebruikersbeoordelingen

7.3.1 Tevredenheidsonderzoeken en scoresystemen

Het is van belang dat deze bot of de organisatie mechanismen implementeert om de reacties van gebruikers te evalueren, zoals tevredenheidsonderzoeken of scoresystemen. Dit maakt het mogelijk:

• Krijg een objectief beeld van de mate van gebruikerstevredenheid
• Pas de werking van de bot aan
• Beoordeel chatbotreacties snel en eenvoudig

Tevredenheidsonderzoeken kunnen vragen bevatten over de kwaliteit van de antwoorden. Ook kunnen sterren, punten of andere meetgegevens worden gebruikt om de mate van tevredenheid met de ontvangen antwoorden aan te geven.

Om ervoor te zorgen dat de chatbot aan de verwachtingen van de organisatie voldoet, is het noodzakelijk om een ​​systeem voor voortdurende evaluatie in te stellen. Dit omvat het definiëren van belangrijke prestatie-indicatoren (KPI's), zoals slagingspercentage, reactietijd en vermindering van het aantal supporttickets. Het is ook belangrijk om periodiek vergelijkingen te maken met andere klantenservicekanalen om te beoordelen of de chatbot toegevoegde waarde biedt.

Er kunnen op verschillende tijdstippen in het jaar pilottests worden uitgevoerd om mogelijke verbeteringen in de functionaliteit te identificeren en ervoor te zorgen dat de gebruikerservaring altijd bevredigend is.

Om dit proces te voltooien, moet het volgende worden gecreëerd:

• Een periodieke evaluatiemethode waarbij echte gebruikersgesprekken worden beoordeeld om terugkerende fouten te detecteren.
• Analyseer de kwaliteit van de reacties (punt 6 van de gids).
• Voer aanpassingen door die de algehele prestaties van de chatbot verbeteren (punt 6 van de gids)

8.1 Vermindering van supporttickets en periodieke vergelijkingen met andere supportkanalen

Opgemerkt dient te worden dat de bot met kunstmatige intelligentie ook een ondersteunend mechanisme is dat de traditionele communicatiekanalen uitbreidt. Een AI-bot zal de menselijke ondersteuning zeker niet volledig vervangen, maar voegt eerder een (nauwe en vriendelijke) laag toe aan deze menselijke ondersteuning.

De afname van het aantal supporttickets is een indicator die de effectiviteit van de chatbot meet bij het oplossen van vragen zonder dat er menselijke tussenkomst nodig is. Een aanzienlijke vermindering van het aantal supporttickets geeft aan dat de chatbot een toegevoegde waarde biedt aan de organisatie, de operationele efficiëntie verbetert en de werklast van menselijke agenten vermindert.

In het geval van de AOC kan niet worden gezegd dat dit uitsluitend te danken was aan de chatbot, aangezien er andere verbeteringen in de ondersteuning zijn doorgevoerd. In 2024 zijn de ondersteuningsaanvragen echter teruggebracht van 93.000 in 2023 naar 65.000 in 2024. Ook al zijn de ondersteuningsaanvragen afgenomen, toch zijn de transacties en het aantal vragen in dezelfde periode verdubbeld.[6].

Afbeelding 22 Evolutie van ondersteuningsverzoeken

Door periodieke vergelijkingen te maken met andere ondersteuningskanalen, zoals telefonische ondersteuning, e-mail of chat met een agent, kunt u de sterke en zwakke punten van de chatbot identificeren en bepalen of deze meerwaarde biedt in vergelijking met andere kanalen.

Dankzij deze vergelijkingen kunnen we ook vaststellen of er nieuwe incidenten plaatsvinden die de bot niet had voorzien. Zo kunnen we de generatieve intenties aanpassen of de kennisbibliotheek verbeteren.

Het doel is om ervoor te zorgen dat de chatbot een bevredigende gebruikerservaring biedt en voldoet aan de verwachtingen van de organisatie.

8.2 Methodologie voor periodieke evaluatie

8.2.1 Beoordeling van echte gesprekken

Om ervoor te zorgen dat de chatbot aan de verwachtingen van de organisatie voldoet, moet er een periodieke evaluatiemethode worden opgezet waarin echte gebruikersgesprekken worden beoordeeld. Hiermee kunt u terugkerende fouten detecteren, de kwaliteit van reacties analyseren en aanpassingen doorvoeren om de algehele prestaties van de chatbot te verbeteren.

Het is belangrijk om deze methodologie te documenteren, evenals de manier waarop de gesprekken geanalyseerd worden. In het geval van de AOC is de volgende methodologie gevolgd:

• Beoordelingsperiode: Maandelijks
• Aantal gesprekken om te beoordelen: 150 gesprekken
• Frequentie van beoordeling: 5 willekeurige gesprekken voor elk van de 30 dagen van de maand.
• Dagelijkse beoordelingstijdvakken: Er wordt 1 willekeurig gesprek besproken binnen de ochtend-, middag-, middag-, avond- en nachturen.
• Vraag om het antwoord te beoordelen: Heeft de bot het probleem van de burger correct opgelost? JA / NEE
  • JA: Wanneer de bot alle vragen van de gebruiker correct heeft beantwoord.
  • NEE: Wanneer de bot een onjuist antwoord heeft gegeven of niet reageert op wat de gebruiker heeft gevraagd.
• Bij gesprekken met meer dan één interactie wordt het totale aantal reacties van de bot bekeken om te bepalen of de bot de burger heeft geholpen of niet. Als een van de interacties door de bot onjuist is beoordeeld, wordt deze beoordeeld met een NEE het gesprek.
• Het is belangrijk om interacties vast te leggen die buiten de competentie van de chatbot vallen, om te kwantificeren hoeveel vragen de bot niet kan behandelen.
• U moet aangeven voor welke dienst/product de chatbot hulp heeft verleend.

Deze gesprekken worden besproken om nieuwe gebruikersbehoeften te identificeren en de chatbot hierop aan te passen.

1. AOC Blog – Het AOC implementeert een toonaangevende chatbot voor burgerservice met behulp van generatieve AI (https://www.aoc.cat/blog/2024/xatbot-aoc-iagenerativa/)
2. https://1millionbot.com/
3. Virtuele conversatie-assistentservice (chatbot)Publicatie-informatie – Platform voor overheidsaanbestedingsdiensten)
4. Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels inzake kunstmatige intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (Verordening kunstmatige intelligentie) https://www.boe.es/buscar/doc.php?id=DOUE-L-2024-81079
5. Algoritmische transparantie: chatbots met generatieve AI van de AOC (https://www.aoc.cat/ia-transparencia-xatbots-amb-ia-generativa/)
6. Dankzij de innovatieve generatieve AI-chatbot kan het AOC het aantal verzoeken dat door de ondersteuningsdienst wordt afgehandeld, verdubbelen (https://www.aoc.cat/blog/2025/xatbot-ia-generativa-suport/)