À l’apogée de l’intelligence artificielle, la mise en place d’un chatbot doté d’IA générative peut être clé pour améliorer l’efficacité et la satisfaction des citoyens envers les administrations publiques. Ces chatbots représentent une opportunité d’optimiser l’attention portée aux citoyens et aux entreprises, de résoudre efficacement les requêtes et d’offrir une expérience personnalisée et continue.

Cependant, pour garantir une mise en œuvre correcte, il est nécessaire de suivre une série de bonnes pratiques qui assurent la compatibilité avec les systèmes existants, la conformité réglementaire et la qualité des réponses.

Ce guide fournit des recommandations pratiques pour la mise en œuvre d'un chatbot avec une IA générative, basées sur notre expérience de création d'un chatbot avec une IA générative. , allant de la sélection de la technologie appropriée à son optimisation et sa maintenance. Il aborde également des aspects fondamentaux tels que la sécurité, la protection des données et la surveillance continue pour assurer une évolution constante du système.

L’objectif de ce guide est que les administrations publiques puissent déployer des chatbots qui non seulement répondent aux besoins actuels, mais peuvent également évoluer et s’adapter aux demandes futures.

Dans ce sens, nous présentons ce manuel comme un point de départ pour créer un chatbot avec une IA générative basé sur notre expérience. À l'AOC, nous sommes également en train d'explorer cette technologie et cela implique qu'il peut y avoir de multiples aspects qui peuvent être améliorés, ainsi que différentes approches pour développer un chatbot.

De même, il est également important de prendre en compte que cette technologie est en constante évolution, ce qui signifie que de nouvelles opportunités d’amélioration émergent continuellement, à court et à long terme. C'est pourquoi il faut tenir compte du fait que ce guide est un guide dynamique qui sera mis à jour au fur et à mesure que l'AOC aura plus de connaissances et d'expérience en la matière.

Pour pouvoir expliquer comment le chatbot actuel a été mis en œuvre, il est particulièrement important de regarder les chatbots que, depuis l'AOC, nous avons utilisés pour accompagner les citoyens.

En 2020, l'AOC a misé sur la société 1millionbot pour faire une première tentative de mise en œuvre de chatbots traditionnels. En 2021, le contrat AOC-2021-99 a été attribué : Service d'assistant conversationnel virtuel (chatbot) dans le but de fournir un service de chatbot pour faciliter les processus de consultation et de traitement des informations liées aux services de l'AOC.

Enfin, au cours des mois de mai/juin 2021, deux assistants virtuels pour les services de citoyenneté idCAT, Certificat et VÀLid, ont été mis en production, qui ont atteint une moyenne de 50.000 2022 utilisateurs annuels au cours des années 2023 et XNUMX.

Malgré ces chiffres, ces chatbots présentaient certains défauts :

• Les intentions de réponse de ces chatbots étaient très rigides et inflexibles, ne permettant pas d'adaptabilité en fonction de la réponse de l'utilisateur.
• Faible capacité d’adaptation aux nouveaux problèmes rencontrés par les citoyens, ce qui finit par aboutir à une bibliothèque d’intentions excessive.
• Un chatbot était nécessaire pour chaque service (dans les services avec le plus grand volume), ce qui entraînait une maintenance très coûteuse.
• Formation coûteuse pour faire dériver les réponses des utilisateurs d’une intention à une autre.
• Des heures excessives passées à former les chatbots en raison du fait que les deux bots devaient être formés séparément et chacun avec ses deux langues correspondantes (catalan et espagnol).
• Le contexte des conversations n’était pas conservé, ce qui signifie que chaque interaction avec l’utilisateur était une nouvelle « conversation » pour le bot.

Ces difficultés et lacunes, ainsi que l’explosion de l’intelligence artificielle au cours de l’année dernière, ont conduit l’AOC à charger 1millionbot de commencer à travailler avec un chatbot IA.

Pour assurer une mise en œuvre efficace d’un chatbot avec IA générative, il est essentiel de sélectionner une solution qui correspond aux objectifs immédiats de l’organisation et qui, en même temps, permet une évolution et une évolutivité à long terme.

Dans ce cas, le chatbot choisi par l’AOC peut gérer un volume élevé de requêtes simultanément et s’intègre facilement aux services fournis par l’organisation.

Ce chatbot est intégré aux pages Web d'entreprise de l'AOC à l'aide de Google Tag Manager et est déployé spécifiquement sur les pages d'assistance et les services où il possède les connaissances nécessaires pour fournir des réponses aux utilisateurs. Il est actuellement disponible sur :

• Certificat IdCAT : https://idcat.cat/ i https://suport-idcat.aoc.cat/hc/ca
• IDCAT mobile : https://idcatmobil.cat/ i https://suport-idcatmobil.aoc.cat/hc/ca
• e-NOTUM : https://usuari.enotum.cat/ i https://suport-enotum-ciutadania.aoc.cat/hc/ca
• Cela représente: https://representa.cat/ i https://suport-representa-ciutadania.aoc.cat/hc/ca
• e-FAIT : https://efact.aoc.cat/bustia/home.htm i https://suport-efact-empreses.aoc.cat/hc/ca

Illustration 1 Localisation du chatbot dans les services AOC

3.1 Évaluation des besoins de l'organisation

Avant de sélectionner une solution d’intelligence artificielle, il est essentiel de procéder à une évaluation approfondie des besoins de l’organisation.

Ce processus devrait inclure les questions et aspects clés suivants :

Objectifs et besoins du chatbot

• • Quels sont les principaux objectifs que vous souhaitez atteindre avec la mise en place du chatbot ? (Améliorer le service aux citoyens, réduire la charge de travail des équipes, automatiser les processus internes, etc.)
  • Quels problèmes actuels pourraient être résolus avec cette technologie ?
  • Quel impact le chatbot est-il censé avoir sur les opérations et la stratégie de l’organisation ?

Public cible et cas d'utilisation

• Qui sont les principaux utilisateurs du chatbot ? (citoyens, entreprises, utilisateurs internes de l'organisation, etc.).
• Dans quels canaux ce chatbot serait-il intégré ? (site web, application mobile, plateformes de messagerie telles que Whatsapp ou Telegram, etc.).
• Quel type de requêtes le chatbot devra-t-il gérer ? (requêtes fréquentes et répétitives, support technique spécialisé, etc.).
• Quel budget peut être alloué à cette solution ? Il faut tenir compte qu’un budget doit être disponible tant pour sa mise en œuvre que pour son entretien.
• Quelles sont les éventuelles limitations ou risques liés à la mise en œuvre du chatbot ? Certains des risques à prendre en compte sont la sécurité et le respect de la protection des données.
• Quelles sont les ressources disponibles dont dispose l’organisation ? Il est important de s’assurer que la solution dispose de ressources humaines suffisantes pour non seulement la mettre en œuvre, mais aussi la maintenir efficacement. Les recommandations de formation se trouvent aux points 6 et 7 de ce guide.

3.2 Évolutivité et flexibilité

Il est essentiel que la solution d’IA soit évolutive et flexible pour s’adapter aux besoins changeants de l’organisation. Cela implique la capacité de gérer une augmentation du volume de requêtes à des moments précis de l’année (période de demande d’aides ou de subventions par exemple) sans compromettre les performances du système.

Il est également important que la solution permette l’ajout de nouvelles fonctionnalités et améliorations à mesure que l’organisation grandit et évolue. C'est pourquoi il est essentiel de disposer non seulement des ressources internes nécessaires, mais également d'un support de maintenance spécialisé pour le bot lui-même.

3.3 Conformité aux réglementations en matière de sécurité et de protection des données

La sécurité et la protection des données sont des aspects essentiels dans la mise en œuvre d’un chatbot avec une IA générative. La solution choisie doit être conforme à la réglementation en vigueur en matière de sécurité de l’information et de protection des données, comme le règlement général sur la protection des données (RGPD) de l’Union européenne. Cela comprend :

• Garantir la confidentialité, l'intégrité et la disponibilité des données
• Mettre en œuvre des mesures de sécurité appropriées pour empêcher les accès non autorisés et les cyberattaques
• Anonymisation des données personnelles
• Mise en place d'une période de garde conversationnelle pour améliorer le service.

Une fois la solution d’IA sélectionnée, il est essentiel d’évaluer si elle répond aux exigences techniques et opérationnelles nécessaires à sa mise en œuvre et à son évolutivité ultérieure. Ce système doit garantir un fonctionnement continu, offrir une assistance 24h/7 et XNUMXj/XNUMX et maintenir un taux de réponse élevé.

4.1 Tests de performance et de capacité

Avant la mise en œuvre définitive, il est recommandé de réaliser :

• Tests de performance et de capacité pour garantir que le chatbot peut gérer le volume de requêtes attendu sans problème.
• Simulations de charge pour évaluer le comportement du système dans différentes conditions de trafic afin d'éviter d'éventuels goulots d'étranglement ou points faibles.

4.2 Essais pilotes

Les tests pilotes sont essentiels pour évaluer les performances du chatbot dans un environnement contrôlé avant son implémentation complète ou lorsque vous souhaitez mettre en place un tout nouveau service à proposer.

Ces tests nous permettent d'identifier d'éventuels problèmes et d'ajuster le système pour améliorer sa fonctionnalité.

Dans le cas de l’AOC, les tests pilotes peuvent inclure :

• La simulation de différents scénarios d'utilisation.
• Variation de l'intrigue du même incident.
• Analyser les résultats pour effectuer les ajustements nécessaires.

 

4.2 Infrastructure sécurisée et fiable

Pour garantir la bonne disponibilité et la sécurité du bot, l'infrastructure du service doit être hébergée sur des serveurs sécurisés et fiables, au sein de l'Espace économique européen, afin de respecter les réglementations en matière de protection et de sécurité des données.

Parallèlement, si vous souhaitez disposer d’une bonne sécurité pour cet agent virtuel, cela doit inclure l’utilisation de centres de données certifiés et la mise en place de sauvegardes régulières pour éviter la perte de données en cas d’incidents.

5.1 Instructions

Pour assurer un fonctionnement optimal, le chatbot doit disposer d’un ensemble d’instructions claires qui guident le modèle d’IA dans ses interactions avec les utilisateurs. Ces instructions devraient inclure des directives spécifiques sur la manière de structurer les réponses et de hiérarchiser les informations pertinentes.

Comme on peut le voir sur l'image, il est très important que les instructions servent à expliquer comment gérer les requêtes complexes pour éviter les conflits et les confusions avec les citoyens.

Illustration 3 Instructions du chatbot AOC AI

Ces instructions doivent être revues et mises à jour périodiquement, non seulement pour garantir que le chatbot s'adapte aux nouveaux besoins de l'organisation, mais aussi pour pouvoir corriger les erreurs et anticiper les problèmes futurs.

5.1.1 Structure des réponses

Les réponses du chatbot doivent suivre une structure claire et cohérente pour faciliter la compréhension par les utilisateurs. Le chatbot doit être capable de :

• Utilisez des phrases courtes et simples.
• Divisez les informations en paragraphes ou en points pour faciliter la lecture.
• Utilisez un langage accessible.
• Évitez les détails techniques ou les termes complexes qui pourraient générer de la confusion.
• Indiquer la provenance de l’information afin que les citoyens puissent consulter la source originale.

Illustration 4 Exemple de structure claire et cohérente ainsi que d'envoi de la source de l'information

Comme vous pouvez le voir dans l'exemple, il est très important que, lorsque les informations sont très complètes ou cherchent simplement à élargir les informations, le chatbot joigne toujours les FAQ d'origine car cela apporte une valeur ajoutée et une fiabilité dans la réponse.

5.2 Personnalité

Le chatbot doit avoir une personnalité définie qui s’adapte aux besoins des utilisateurs et, surtout, à l’image institutionnelle que l’organisation souhaite donner. De même, conformément au point 27 du règlement européen (UE) 2024/1689 , ces systèmes d’intelligence artificielle doivent être développés et utilisés de manière à permettre aux personnes qui les utilisent d’être conscientes qu’elles communiquent ou interagissent avec une IA.

Il est essentiel d’établir un ton de communication approprié, proche, naturel et aligné avec les attentes des utilisateurs.

Illustration 5 Personnalité du robot AOC

Ce bot doit maintenir :

• Cohérence dans le langage et le style de réponse pour offrir une expérience fluide et satisfaisante.
• Ayant non seulement l’utilisation d’un langage approprié, mais aussi la capacité de transmettre de l’empathie dans les réponses,
• Faites en sorte que les utilisateurs se sentent écoutés et valorisés.
• Proposez de poursuivre la conversation à tout moment au cas où le citoyen aurait besoin d’informations supplémentaires à la question posée.

Illustration 6 Exemple d'informations

 

Illustration 7 Proposez de poursuivre la conversation et de fournir plus d'informations

5.2.1 Définition du ton de la voix et adaptation du chatbot

Le ton de la voix du bot doit refléter les valeurs et la culture de l’organisation. Par exemple, un chatbot d’une institution financière peut opter pour un ton plus formel et professionnel, tandis que celui d’une administration publique peut opter pour un ton plus accessible et conciliant.

Il est important que le ton de la voix soit cohérent dans toutes les interactions pour renforcer la confiance et la crédibilité parmi les utilisateurs. Ce ton de voix doit être capable, non seulement d'être stable et de traiter toutes les personnes de manière égale, mais doit également être capable de s'adapter à différentes situations, en maintenant toujours une attitude positive et proactive, même dans les moments de conflit ou d'insatisfaction de la part de l'utilisateur.

Le chatbot doit pouvoir s'adapter à différents types d'utilisateurs en tenant compte de facteurs tels que :

• Âge
• Le niveau de connaissances technologiques
• Préférences personnelles
• Le type de service/produit pour lequel ils ont besoin d'aide

Pour atteindre cette adaptabilité, et finalement une expérience utilisateur plus satisfaisante et pertinente, il est essentiel de personnaliser les réponses grâce à des intentions génératives.

Illustration 8 Adaptation du bot à une personne ayant peu de connaissances technologiques

5.3 Bibliothèque de connaissances

Les connaissances du chatbot doivent être basées sur une combinaison de sources fiables telles que des FAQ, des bases de données documentaires, des systèmes d’information à jour et des incidents d’utilisateurs antérieurs. Cette bibliothèque de connaissances doit être facilement accessible et navigable pour permettre au chatbot de trouver les informations nécessaires rapidement et efficacement.

Dans le cas de l'AOC, la bibliothèque de connaissances du chatbot contient les informations suivantes :

• Liens vers toutes les FAQ sur le portail d'assistance AOC.
• Instructions pour répondre à des questions complexes
• Incidents d'utilisateurs réels avec format Question/Réponse

La diversité de ces sources d'informations permet au bot de proposer des réponses plus complètes et fondées. De plus, l’utilisation de sources permet également de garantir que le chatbot peut répondre à un large éventail de requêtes et fournir des informations à jour et précises à tout moment.

Illustration 9 Incidence des utilisateurs avec le format Question/Réponse

 

Illustration 10 Instructions pour répondre à des questions complexes

Il est essentiel que cette bibliothèque de connaissances soit constamment mise à jour pour garantir l’exactitude et la pertinence des réponses. Cela implique :

• Réviser périodiquement les sources d’information
• Intégration de nouveau contenu au fur et à mesure de sa génération ou de sa modification.
• Établir un processus de validation des informations pour garantir que les données utilisées sont correctes et fiables.

5.4 Créer des intentions génératrices

Il est crucial de définir précisément les intentions principales du chatbot afin de garantir une interprétation flexible et efficace des questions des utilisateurs. Contrairement aux chatbots traditionnels, un bot doté d’IA générative doit être capable de comprendre des requêtes formulées de différentes manières et d’adapter la réponse en fonction du contexte.

Créer une intention générative n'est pas loin de créer des intentions traditionnelles, la principale différence est que de petites instructions peuvent être ajoutées pour guider le bot vers une réponse plus personnalisée.

Illustration 12 Erreur d'intention générative lors de l'accès à une notification

Comme on le voit sur l'image, d'abord quelques phrases d'entraînement sont définies (comme dans les intentions classiques) puis une série d'instructions est écrite pour que le bot génère une réponse générative. Il est à noter que l’IA permet de générer des variantes de la phrase d’entraînement saisie sans avoir à les créer une par une.

Cela doit être défini clairement et précisément pour garantir une interprétation correcte des requêtes des utilisateurs. Pour ce faire, vous devez identifier les questions les plus fréquemment posées et les besoins courants des utilisateurs, et créer des intentions spécifiques pour chacun d’eux.

Des filtres doivent être mis en œuvre pour détecter et gérer les requêtes en dehors du champ d'application du service, en fournissant des recommandations alternatives aux utilisateurs si nécessaire. Cela peut inclure la redirection vers d’autres canaux de soins, la suggestion de ressources supplémentaires ou l’orientation vers un agent humain si nécessaire. De plus, le chatbot doit être capable de reconnaître quand une requête est trop complexe pour être résolue automatiquement.

Cette intention clé en main est essentielle pour que les citoyens soient clairs sur la portée du service et des connaissances du chatbot. Il est important de ne pas générer de fausses attentes et de préciser que l'utilisateur doit contacter l'administration correspondante, en offrant toujours plus d'informations sur les services de l'AOC.

Illustration 13 Intention en dehors du champ d'application de l'AOC et suggestion de ressources supplémentaires

Il est important de revoir et de mettre à jour régulièrement les intentions pour s’adapter aux nouveaux besoins. Il faut tenir compte du fait que le bot doit être capable de gérer plusieurs intentions simultanément dans une même conversation, en offrant à tout moment des réponses cohérentes et pertinentes.

Enfin, avoir des intentions bien structurées et claires vous permettra d’offrir une expérience utilisateur plus satisfaisante et d’éviter les frustrations.

5.4.1 Adaptabilité et flexibilité

Le bot doit être capable de s’adapter aux différentes manières de formuler les requêtes des utilisateurs. Cela implique la capacité de reconnaître les synonymes, les variations grammaticales et les différentes structures de phrases.

Il est également important que le chatbot puisse adapter ses réponses en fonction du contexte de la conversation, en offrant à tout moment des informations pertinentes et précises. De même, il doit être capable d’apprendre des interactions précédentes et d’ajuster ses réponses en fonction des préférences et des besoins spécifiques de chaque utilisateur.

Illustration 14 Exemples de flexibilité dans les variations et la structure des phrases

Illustration 15 Exemples de flexibilité dans les variations et la structure des phrases

5.4.2 Canaux d’attention alternatifs

Pour éviter une dépendance exclusive à un système automatisé, il est important d’offrir des canaux alternatifs d’attention personnalisée.

Cela permet aux utilisateurs d’accéder à une assistance humaine dans les cas où le chatbot ne peut pas fournir une réponse adéquate ou lorsqu’une attention plus détaillée est requise. Les canaux alternatifs peuvent inclure l'assistance téléphonique, le courrier électronique ou le chat en direct avec des agents humains.

Illustration 16 Proposer des canaux de contact alternatifs

6.1 Protection, minimisation et suppression des données

Le chatbot doit garantir la minimisation des données, en évitant la collecte d'informations personnelles inutiles. Toutes les conversations doivent être anonymisées et supprimées après une période de temps définie pour éviter les risques de protection des données.

Dans le cas de l'AOC, les conversations sont supprimées après 3 mois car on considère qu'un temps suffisant s'est écoulé pour analyser les réponses. À tout moment, les utilisateurs sont informés de manière transparente de la collecte et de l’amélioration des données.

Illustration 17 Message de bienvenue sur le traitement des données

La minimisation des données est un principe fondamental dans la protection des données personnelles. Le chatbot doit uniquement collecter les informations strictement nécessaires pour offrir le service, en évitant la collecte de données sensibles ou inutiles. Cela permet de réduire les risques liés à la protection des données et de se conformer à la réglementation en vigueur.

Pour garantir la confidentialité des utilisateurs, toutes les conversations doivent être anonymisées, supprimant toute information pouvant identifier personnellement les utilisateurs.

Par exemple, dans l'AOC au niveau du citoyen et de l'entreprise, lorsque l'utilisateur fournit certaines données personnelles, le chatbot lui indique qu'il saisit des données sensibles, comprenant que ces données sont indispensables pour mener à bien la procédure.

L'AOC s'efforce de mettre en place des mécanismes d'anonymisation lorsqu'un utilisateur ajoute des données personnelles. Ceci est important car, les conversations étant conservées pendant 3 mois, ne pas stocker les données personnelles saisies par l'utilisateur ajoute une couche de sécurité supplémentaire.

 

Illustration 18 Données personnelles vue du citoyen

6.2 Protection, minimisation et suppression des données

Pour se conformer au règlement IA de l’Union européenne, le chatbot doit être clairement identifiable comme un assistant virtuel et doit fournir des informations transparentes sur son fonctionnement.

La publication d’une feuille de transparence algorithmique permet aux utilisateurs de savoir quelles données ont été utilisées pour former le système et quel modèle d’IA est utilisé. De même, il est nécessaire de veiller à ce que le système ne prenne pas de décisions ayant un impact significatif sur les utilisateurs sans supervision humaine.

6.2.2 Transparence algorithmique

Pour garantir la confiance des utilisateurs dans le système d'IA, l'AOC recommande et défend une transparence technologique totale à travers notre fiche de transparence algorithmique. . Il est à noter que cette fiche est en constante évolution et mise à jour chaque fois qu'il y a un changement pertinent dans le chatbot.

Cette transparence est essentielle pour garantir la confiance des utilisateurs dans le système d’IA. Il s’agit de fournir des informations détaillées sur le fonctionnement du chatbot, y compris les données utilisées pour former le modèle et les algorithmes utilisés.

La publication d’une feuille de transparence algorithmique permet aux utilisateurs de comprendre comment les décisions sont prises et quels facteurs influencent les réponses du chatbot.

6.2.2 Supervision humaine

Cela implique d’établir des mécanismes de révision et d’intervention humaine dans les cas où les décisions du chatbot peuvent avoir des conséquences importantes pour les utilisateurs. La surveillance humaine permet de garantir que les décisions sont justes, éthiques et conformes aux valeurs de l’organisation.

Pour se conformer au règlement de l’Union européenne sur l’IA, il est nécessaire de garantir que le chatbot ne prend pas de décisions ayant un impact significatif sur les utilisateurs sans supervision humaine.

Un chatbot doté d’IA générative doit évoluer en permanence pour améliorer la qualité de ses réponses et s’adapter aux nouveaux besoins des utilisateurs. Cela nécessite un processus de surveillance continu qui comprend :

• Examen de la conversation
• Détection de modèles d'erreur
• L'optimisation des intentions génératives.
• Identifier les domaines à améliorer et ajouter de nouvelles connaissances à la base de données du système.

7.1 Routines de révision

7.1.1 Examen des conversations

Il est essentiel de revoir périodiquement les conversations générées par le chatbot pour identifier les réponses incorrectes, les incohérences ou les problèmes de compréhension. Cet examen doit inclure l’analyse d’échantillons aléatoires pour garantir la qualité globale du service. Ces échantillons aléatoires devraient prendre en compte les facteurs suivants :

• Jour de la semaine
• Moment de la journée
• Type de service
• Rechercher des conversations par mots-clés

Le temps consacré à ces revues doit dépendre des ressources dont dispose l'organisation ; dans le cas de l'AOC, environ 1 heure par jour est consacrée à tout ce qui est impliqué dans le point 6 sur les routines de revue.

Il est très important de documenter les erreurs détectées et les actions correctives mises en œuvre pour améliorer en permanence les performances du chatbot.

7.1.2 Analyse des modèles d'erreur

L'analyse des modèles d'erreur vous permet d'identifier les problèmes récurrents dans les réponses du chatbot et de développer des solutions spécifiques pour les corriger. Pour détecter ces schémas d’erreur, il est crucial, une fois la conversation erronée détectée, de rechercher son mot-clé et ainsi identifier d’autres conversations présentant la même erreur.

Ce faisant, il sera plus facile par la suite d’adapter l’intention génératrice correspondante et d’intégrer de nouvelles informations dans la bibliothèque de connaissances.

7.1.3 Optimisation des intentions génératrices et incorporation de nouvelles connaissances

Une fois les modèles d’erreur détectés, il est nécessaire d’optimiser les intentions génératrices en ajustant les instructions de chacune dans le but de garantir qu’elle puisse répondre efficacement à une grande variété de requêtes.

Par exemple, initialement, l’intention de renouveler le certificat idCAT n’incluait pas de liens vers des informations supplémentaires. Une fois l’erreur détectée, dans les instructions d’intention, vous ajoutez « Toujours répondre avec : Comment renouveler le certificat idCAT ?" et une fois que vous aurez posé la question à nouveau au bot, il joindra toujours les informations de la FAQ.

Illustration 19 Insérer de nouvelles informations dans les instructions du robot

Illustration 20 Réponse du bot avec lien vers la FAQ sur le renouvellement

L’intégration de nouvelles connaissances dans la bibliothèque du chatbot est également essentielle pour maintenir sa pertinence et sa précision. Par exemple, si une nouvelle FAQ est générée sur l’un des portails de support, il est essentiel de mettre à jour les informations existantes en intégrant cette nouvelle source de connaissances.

7.2 Suivi des activités

7.2.1 Collecte de statistiques

La surveillance de l’activité du chatbot est essentielle pour comprendre son utilisation et détecter d’éventuels goulots d’étranglement dans l’interaction avec l’utilisateur. La collecte de statistiques sur la fréquence d’utilisation, la durée moyenne des conversations, le pourcentage de questions résolues avec succès et les requêtes les plus courantes permet de prendre des décisions éclairées pour améliorer le système. Ces données peuvent également aider à identifier les périodes de plus grande demande et à optimiser la disponibilité des ressources technologiques.

Illustration 21 Écran de statistiques du chatbot AOC

Ces analyses nous permettent également d’identifier des tendances et des modèles dans l’utilisation du bot, notamment dans les requêtes et réponses les plus fréquentes et les domaines où nous avons le plus de difficulté à fournir des réponses appropriées.

7.3 Notes des utilisateurs

7.3.1 Enquêtes de satisfaction et systèmes de notation

Il est essentiel que ce bot ou l’organisation mette en œuvre des mécanismes d’évaluation des réponses des utilisateurs, tels que des enquêtes de satisfaction ou des systèmes de notation. Cela permet :

• Obtenir une vision objective du degré de satisfaction des utilisateurs
• Apporter des ajustements au fonctionnement du robot
• Évaluez les réponses du chatbot rapidement et facilement

Les enquêtes de satisfaction peuvent inclure des questions sur la qualité des réponses ou inclure l’utilisation d’étoiles, de points ou d’autres mesures pour indiquer le degré de satisfaction à l’égard de la réponse reçue.

Pour s’assurer que le chatbot répond aux attentes de l’organisation, il est nécessaire de mettre en place un système d’évaluation constante. Cela inclut la définition d’indicateurs de performance clés (KPI) tels que le taux de réussite, le temps de réponse et la réduction des tickets d’assistance. Il est également important d’établir des comparaisons périodiques avec d’autres canaux de service client pour évaluer si le chatbot apporte une valeur ajoutée.

Des tests pilotes peuvent être réalisés à différentes périodes de l’année pour identifier d’éventuelles améliorations de ses fonctionnalités et garantir que l’expérience utilisateur soit toujours satisfaisante.

Pour compléter ce processus, les éléments suivants doivent être créés :

• Une méthodologie d’évaluation périodique dans laquelle les conversations réelles des utilisateurs sont examinées pour détecter les erreurs récurrentes.
• Analyser la qualité des réponses (point 6 du guide).
• Mettre en œuvre des ajustements qui améliorent les performances globales du chatbot (point 6 du guide)

8.1 Réduction des tickets d'assistance et comparaisons périodiques avec d'autres canaux d'assistance

Il convient de noter que le bot doté d’intelligence artificielle est également un mécanisme de support qui élargit les canaux de communication traditionnels. Avoir un bot IA ne remplacera en aucun cas complètement le support humain, mais ajoutera plutôt une couche précédente (proche et amicale) à ce support humain.

La réduction des tickets d’assistance est un indicateur qui mesure l’efficacité du chatbot dans la résolution des requêtes sans nécessiter d’intervention humaine. Une réduction significative du nombre de tickets d’assistance indique que le chatbot apporte une valeur ajoutée à l’organisation, améliorant l’efficacité opérationnelle et réduisant la charge de travail des agents humains.

Dans le cas de l'AOC, même s'il est vrai que l'on ne peut pas dire que cela soit exclusivement dû au chatbot puisque d'autres améliorations du support ont été mises en œuvre, en 2024, les demandes d'assistance ont été réduites de 93.000 2023 en 65.000 à 2024 XNUMX en XNUMX. De même, alors que les demandes d'assistance ont diminué, les transactions et le nombre de requêtes ont doublé au cours de la même période. .

Illustration 22 Évolution des demandes de support

Faire des comparaisons périodiques avec d’autres canaux de support tels que le support téléphonique, le courrier électronique ou le chat avec un agent vous permet d’identifier les forces et les faiblesses du chatbot et de déterminer s’il apporte une valeur ajoutée par rapport aux autres canaux.

Ces comparaisons nous permettent également d’identifier si de nouveaux incidents surviennent qui n’ont pas été anticipés par le bot afin d’ajuster les intentions génératrices ou d’améliorer la bibliothèque de connaissances.

L’objectif est de s’assurer que le chatbot offre une expérience utilisateur satisfaisante et alignée avec les attentes de l’organisation.

8.2 Méthodologie d’évaluation périodique

8.2.1 Examen des conversations réelles

Pour garantir que le chatbot répond aux attentes de l'organisation, une méthodologie d'évaluation périodique doit être établie dans laquelle les conversations réelles des utilisateurs sont examinées. Cela vous permet de détecter les erreurs récurrentes, d’analyser la qualité des réponses et de mettre en œuvre des ajustements qui améliorent les performances globales du chatbot.

Il est important de documenter cette méthodologie ainsi que la manière dont ces conversations seront analysées. Dans le cas de l’AOC, la méthodologie suivie est la suivante :

• Période de révision: Mensuel
• Nombre de conversations à examiner: 150 conversations
• Fréquence de révision:5 conversations aléatoires pour chacun des 30 jours du mois.
• Plages horaires de révision quotidienne : 1 conversation aléatoire est examinée dans les heures du matin, de midi, de l'après-midi, du soir et de la nuit.
• Question pour noter la réponse:Le bot a-t-il correctement résolu le problème du citoyen ? OUI / NON
  • OUI : lorsque le bot a correctement répondu à toutes les questions posées par l'utilisateur.
  • NON : Lorsque le bot a répondu de manière incorrecte ou ne répond pas à ce que l'utilisateur a demandé.
• Dans le cas de conversations comportant plus d'une interaction, le nombre total de réponses du bot sera évalué pour conclure si le bot a aidé le citoyen ou non. Si l'une des interactions était incorrecte de la part du bot, elle est notée avec un NON la conversation.
• Il est important d'enregistrer les interactions qui sont en dehors de la compétence du chatbot pour quantifier le nombre de requêtes qui ne sont pas traitables par le bot.
• Vous devez indiquer le service/produit pour lequel le chatbot a fourni une assistance.

Ces analyses de conversation permettent d’identifier les nouveaux besoins des utilisateurs et d’adapter le chatbot pour y répondre.

1. Blog de l'AOC – L'AOC met en œuvre un chatbot de service citoyen de premier plan utilisant l'IA générative (https://www.aoc.cat/blog/2024/xatbot-aoc-iagenerativa/)
2. https://1millionbot.com/
3. Service d'assistant conversationnel virtuel (chatbot) (Informations sur la publication – Plateforme de services de marchés publics)
4. Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées sur l'intelligence artificielle et modifiant les règlements (CE) n° 300/2008, (UE) n° 167/2013, (UE) n° 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (règlement sur l'intelligence artificielle) https://www.boe.es/buscar/doc.php?id=DOUE-L-2024-81079
5. Transparence algorithmique : Chatbots avec IA générative de l'AOC (https://www.aoc.cat/ia-transparencia-xatbots-amb-ia-generativa/)
6. Le chatbot IA génératif innovant permet à l'AOC de doubler le nombre de demandes traitées par le service d'assistance (https://www.aoc.cat/blog/2025/xatbot-ia-generativa-suport/)