Transparence algorithmique : chatbots conversationnels

Transparence algorithmique : les chatbots conversationnels AOC

Aperçu 

L'assistant virtuel conversationnel de l'AOC, également appelé chatbot, est un service d'assistance aux agents publics et aux citoyens, 24 heures sur 7, XNUMX jours sur XNUMX, qui vise à faciliter les processus d'identification numérique et d'accès aux informations du portail de transparence, ainsi que l'amélioration de l'expérience utilisateur et l'augmentation de l'auto-résolution des incidents et des requêtes. 

Le service fournit des informations pertinentes aux questions spécifiques de chaque utilisateur d'une manière plus simple et plus agile que la recherche d'informations sur le site Web. 

Cas d'utilisation 

L'AOC applique actuellement l'assistant virtuel conversationnel à trois domaines de contenu :

La Paula est le chatbot qui accompagne le service VALid sur les questions les plus fréquemment posées par les utilisateurs dans le processus d'identification des services de traitement et de notification de l'AOC. 

La Rita se trouve sur la page de candidature et de gestion du Certificat idCAT (https://idcat.cat/) et aide à résoudre les doutes et les questions les plus courants liés à l'obtention, à l'utilisation et au renouvellement du certificat idCAT. 

Un nouveau chatbot sur le portail Transparence et Siège Electronique qui permet de trouver l'information ou la procédure dont l'utilisateur a besoin. Il est en phase pilote dans cinq communes: Fornells de la Selva, Llagostera, Sarrià de Ter, Tordera et Tremp. 

Les chatbots AOC sont capables de traiter des requêtes complexes car ils interprètent le langage naturel des gens à l'aide d'algorithmes d'intelligence artificielle.

Ils répondent en fonction de : 

  1. Les informations publiques du portail Support AOC (https://www.aoc.cat/suport), structurée sous forme de questions fréquemment posées (FAQ). Ces informations sont préparées et chargées manuellement dans le bot. 
  2. La formation de flux conversationnels guidés basés sur des règles. 

Les assistants conversationnels augmentent l'efficacité de l'Administration Ouverte de Catalogne en permettant l'automatisation des réponses aux questions les plus fréquentes reçues via le canal Web. 

Coordonnées 

Organisme responsable
Administration ouverte de Catalogne 

Contacter l'équipe pour toute demande de renseignements
Direction de l'innovation et des données

E-mail de l'équipe
innovacio@aoc.cat  

Fournisseur externe
ONE MILLION BOT, SL 

E-mail du fournisseur
info@1millionbot.com  

Informations plus détaillées sur le système 

Familiarisez-vous avec les informations utilisées par le système, la logique de fonctionnement de l'algorithme et sa gouvernance. 

Ensembles de données 

Deux principales sources de données sont utilisées : 

Des données pour entraîner les algorithmes 

Informations publiques provenant du portail d'assistance AOC (https://www.aoc.cat/suport) qui est structuré sous forme de questions-réponses dans la zone de contenu du chatbot. Ce sont des exemples de questions posées par les utilisateurs lorsqu'ils sont assistés par le Centre de Service aux Utilisateurs (CAU) de l'AOC. 

Les informations appartiennent à l'AOC et sont partagées sous la licence Creative Commons CC-Zero. Il peut être copié, modifié, distribué et réutilisé sans autorisation, y compris à des fins commerciales. 

Le matériel de formation ne contient pas de données personnelles (raison pour laquelle l'analyse de la protection des données n'a pas été effectuée) 

Les informations sont chargées manuellement dans le système algorithmique. Certains exemples de questions sont également utilisés pour tester le modèle. 

Enregistrement des conversations 

Le système enregistre dans un fichier les questions posées et les réponses données lors de la session de chat. L'équipe de développement du service analyse périodiquement le journal pour voir comment le service a répondu aux questions des utilisateurs. 

Grâce à l'analyse, les domaines de contenu dans lesquels le matériel de formation et les réponses fournies par le service doivent être améliorés sont identifiés. Après l'analyse, le matériel de formation est redéfini et d'autres exemples de questions peuvent être ajoutés ou de nouveaux flux de conversation guidée peuvent être créés pour améliorer l'expérience utilisateur du service. Les commentaires des utilisateurs peuvent également être utilisés pour affiner les réponses et ajouter plus d’informations. 

Il est prévu que dans la prochaine version du bot, le journal des conversations soit périodiquement supprimé automatiquement du système après analyse, mais les rapports liés à l'utilisation, tels que les taux d'utilisation, les taux de réponse et d'autres paramètres, continueront d'être stockés afin de suivre les progrès à long terme. 

Le journal de discussion appartient à l'AOC, mais n'est pas autorisé par celui-ci. 

Traitement de l'information 

La logique opérationnelle du traitement automatique des données et le raisonnement effectué par le système reposent sur le modèle et la méthodologie suivants : 

Architecture du modèle 

Le service Xatbot est basé sur la technologie Dialogflow de Google et la plateforme d'administration 1MillionBot hébergée sur l'infrastructure Google Cloud Platform (GCP). Les serveurs sont situés dans le centre de données Google Cloud en Belgique, au sein de l'Espace économique européen (EEE). 

Le service utilise des algorithmes d’IA et des modèles d’apprentissage automatique pour traiter les questions en langage naturel. 

L'utilisateur pose les questions via une interface numérique qui fonctionne sur différents supports (web, mobile, tablette) 

De plus, les chatbots permettent des flux de conversation guidés qui facilitent la résolution des requêtes. 

Un système a été mis en place pour recueillir l'avis des utilisateurs et pouvoir évaluer la satisfaction de la conversation globale. Ces informations sont utilisées pour améliorer continuellement le service. 

rendement 

L'évolution de l'usage et la qualité du service sont évaluées en permanence.  

Les statistiques d'utilisation et les mesures de qualité sont enregistrées régulièrement dans des rapports mensuels automatiques.  

La mesure de la qualité comprend le nombre de réponses correctes par rapport à toutes les questions et commentaires directs formulés par les utilisateurs sur le service. 

Le niveau de précision du système est un taux de réussite supérieur à 95% (mis à jour le 24/5/2023) 

Pas de discrimination 

Pour garantir l'égalité dans l'utilisation du service, celui-ci est disponible en catalan, espagnol et anglais. L'utilisateur peut choisir la langue au début de la conversation ou à tout moment depuis le menu du bot. 

Le service comprend le langage naturel même en cas d'erreurs orthographiques et/ou linguistiques. 

Supervision humaine 

L'algorithme du chatbot agit directement, mais sous surveillance ex post du personnel responsable de la décision finale, qui a été particulièrement intense au cours de la période initiale d'exploitation. De cette manière, les biais de l’algorithme peuvent être compensés. 

Ainsi, le service est encadré par le personnel qui le gère : 

  • D'une part, le service identifie et collecte automatiquement les questions auxquelles il n'a pas été possible de répondre. Ces questions sont envoyées aux spécialistes du CAU (premier ou deuxième niveau) pour élaborer les flux conversationnels qui permettront d'y répondre la prochaine fois. 
  • D'autre part, des experts en surveillance surveillent périodiquement les journaux de commentaires et de conversations et analysent les statistiques d'utilisation du service. Sur la base de ces données, les experts identifient les problématiques qui intéressent les utilisateurs, développent de nouveaux flux de conversation et élargissent le corpus conversationnel avec de nouveaux mots-clés. 

Gestion des risques 

Le service chatbot est identifié dès le départ comme un « assistant virtuel » pour éviter que l'utilisateur ne pense qu'il interagit avec une personne. 

Le service chatbot ne demande jamais d’informations personnellement identifiables. Cependant, le service comporte un risque lié au traitement des données personnelles si l'utilisateur saisit des données personnelles inutiles dans le service.  

Pour gérer ce risque, les journaux de conversations sont régulièrement examinés par des experts, qui suppriment toutes les données personnelles que le système automatisé aurait pu manquer. 

Il est prévu que dans la prochaine version, le service disposera d'une fonction automatisée qui supprimera immédiatement tout numéro de sécurité sociale ou adresse e-mail du journal des conversations. De plus, lors de la session de chat, l'utilisateur peut demander que sa conversation soit supprimée du système afin que les informations saisies ne puissent pas être utilisées pour alimenter le bot.

Lire plus