Transparencia algorítmica: Chatbots conversacionales

Transparencia algorítmica: Chatbots conversacionales de la AOC

Visión general 

El asistente virtual conversacional de la AOC, también llamado chatbot, es un servicio de apoyo a empleados públicos y ciudadanía, 24 horas los 7 días de la semana, que tiene como objetivo facilitar los procesos de identificación digital y acceso a la información del portal de transparencia, así como mejorar la experiencia de los usuarios e incrementar la autorresolución de las incidencias y consultas. 

El servicio proporciona información relevante a las preguntas específicas de cada usuario de forma más fácil y ágil que buscando la información en el sitio web. 

Casos de uso 

Actualmente la AOC aplica el asistente virtual conversacional a tres áreas de contenido:

La Paula es el chatbot que apoya el servicio VALid. Ofrece respuestas directas, inmediatas y útiles a las cuestiones más habituales que plantean los usuarios en el proceso de identificación que realizan en la página de identificación de VALid, por donde pasan todos los usuarios que deben validar su identidad a la hora de realizar un trámite. 

La Rita se encuentra en la página de solicitud y gestión del idCAT Certificado (https://idcat.cat/) y ayuda a resolver las dudas y preguntas más comunes relacionadas con la obtención, uso y renovación del idCAT Certificado. 

Un nuevo chabot en el portal de Transparencia y e-TRAM 2.0 que ya está disponible en cuatro ayuntamientos piloto: Fornells de la Selva, Llagostera, Sarrià de Ter y Tremp. 

Redirige al contenido buscado, llevando a la fuente de la información para que se tenga una visión completa. El asistente además de una conversación libre permite establecer una guiada en la que se van planteando preguntas para que el usuario elija las respuestas que más se adecuan a su búsqueda.

Los chatbots de la AOC son capaces de gestionar consultas complejas porque interpretan el lenguaje natural de las personas mediante algoritmos de inteligencia artificial.

Responden basándose en: 

  1. La información pública del portal de Apoyo de la AOC (https://www.aoc.cat/suport) que se encuentra estructurada en forma de preguntas-respuestas más frecuentes (FAQ). Esta información se prepara y carga en el bote de forma manual. 
  2. El entrenamiento de los flujos guiados de conversación basados ​​en reglas. 

Los asistentes conversacionales aumentan la eficiencia de la Administració Oberta de Catalunya al permitir la automatización de las respuestas a las preguntas más frecuentes que se reciben por el canal web. 

Información de contacto 

Organismo responsable
Administración Abierta de Cataluña 

Equipo de contacto para consultas
Subdirección de Innovación y Datos

Correo del equipo
innovacio@aoc.cat  

Proveedor externo
ONE MILLION BOT, SL 

Correo-e del proveedor
info@1millionbot.com  

Información más detallada sobre el sistema 

Familiarícese con la información que utiliza el sistema, la lógica de funcionamiento del algoritmo y su gobernanza. 

Conjuntos de datos 

Se utilizan dos fuentes principales de datos: 

Datos para entrenar los algoritmos 

Información pública del portal de Apoyo de la AOC (https://www.aoc.cat/suport) que se encuentra estructurada en forma de preguntas-respuestas del área de contenido del chatbot. Son las preguntas de muestra formuladas por los usuarios cuando son atendidas por el Centro de Atención de Usuarios (CAU) de la AOC. 

La información es propiedad de la AOC y se comparte bajo la licencia Creative Commons CC-Zero. Se puede copiar, modificar, distribuir y reutilizar sin pedir permiso, incluso con fines comerciales. 

El material de entrenamiento no contiene datos personales (motivo por el que no se ha realizado el análisis de protección de datos) 

La información se carga en el sistema algorítmico de forma manual. Algunas de las preguntas de muestra también se utilizan para probar el modelo. 

Registro de la conversación 

El sistema registra en un archivo las preguntas formuladas y las respuestas dadas durante la sesión de chat. El equipo de desarrollo del servicio analiza periódicamente el registro para ver cómo ha respondido el servicio a las preguntas de los usuarios. 

A través del análisis se identifican las áreas de contenido en las que es necesario mejorar el material de entrenamiento y las respuestas proporcionadas por el servicio. Después del análisis, se redefine el material de entrenamiento y se pueden añadir más preguntas de ejemplo o crear nuevos flujos guiados de conversación para mejorar la experiencia del usuario del servicio. También se pueden utilizar los comentarios de los usuarios para definir las respuestas y añadir más información. 

Está previsto que en la próxima versión del bot, el registro de conversaciones se elimine del sistema periódicamente de forma automática después del análisis, pero los informes relacionados con el uso, tales como las tasas de uso, las tasas de respuesta y otros parámetros, continuarán almacenándose para poder supervisar el progreso a largo plazo. 

El registro de conversaciones es propiedad de la AOC, pero carece de licencia. 

Procesamiento de los datos 

La lógica operativa del procesamiento automático de datos y el razonamiento realizado por el sistema se sustenta conforme al siguiente modelo y metodología: 

Arquitectura del modelo 

El servicio Chatbot se basa en la tecnología Dialogflow de Google y la plataforma de administración 1MillionBot que se aloja en la infraestructura de Google Cloud Platform (GCP). Los servidores se encuentran en el Centro de Datos de Google Cloud de Bélgica en el Espacio Económico Europeo (EEE). 

El servicio utiliza algoritmos de IA y modelos de aprendizaje automático para procesar preguntas en lenguaje natural. 

La persona usuaria formula las preguntas a través de una interfaz digital que funciona en distintos dispositivos (web, móvil, tableta) 

Adicionalmente, los chatbots permiten flujos guiados de conversación que faciliten la resolución de la consulta. 

Se ha implementado un sistema para recoger la opinión de los usuarios y valorar la satisfacción de la conversación global. Esta información se utiliza para mejorar el servicio en continuo. 

rendimiento 

El desarrollo del uso y la calidad del servicio se evalúan continuamente.  

Las estadísticas de uso y las medidas de calidad se registran regularmente en informes mensuales automáticos.  

La medida de la calidad incluye el número de respuestas correctas en comparación con todas las preguntas y comentarios directos efectuados por los usuarios sobre el servicio. 

El nivel de precisión del sistema es de un grado de éxito por encima del 95% (actualizado el 24/5/2023) 

No discriminación 

Para garantizar la igualdad en el uso del servicio, éste se encuentra disponible en catalán, castellano e inglés. La persona usuaria puede elegir el idioma al inicio de la conversación o bien, en cualquier momento, desde el menú del bot. 

El servicio entiende el lenguaje natural aunque existan errores ortográficos y/o lingüísticos. 

Supervisión humana 

El algoritmo del chatbot actúa de forma directa, pero bajo una vigilancia ex post del personal responsable de la decisión final, que ha sido especialmente intensa en el período inicial de funcionamiento. De esta forma se pueden compensar los sesgos del algoritmo. 

Así, el servicio es supervisado por el personal que lo gestiona: 

  • Por un lado, el servicio identifica y recopila automáticamente las cuestiones que no se han podido responder. Estas cuestiones se envían a los especialistas del CAU (de primer o segundo nivel) para que desarrollen los flujos de conversación que permitirán darle la respuesta la próxima vez. 
  • Por su parte, los expertos en seguimiento supervisan periódicamente los registros de comentarios y conversaciones y analizan las estadísticas de uso del servicio. A partir de estos datos, los expertos identifican las cuestiones que interesan a los usuarios y desarrollan nuevos flujos de conversación y amplían el corpus conversacional con nuevas palabras clave. 

Gestión de riesgos 

El servicio de chatbot se identifica de principio como “asistente virtual” para evitar que la persona usuaria piense que está interaccionando con una persona. 

El servicio de chatbot nunca solicita información personal identificable. Sin embargo, el servicio implica un riesgo relacionado con el tratamiento de datos personales si el usuario introduce datos personales innecesarios en el servicio.  

Para gestionar este riesgo, los registros de conversaciones son revisados ​​periódicamente por expertos, que eliminan cualquier dato personal que el sistema automatizado haya pasado por alto. 

Está previsto que en la próxima versión, el servicio contará con una función automatizada que borrará de inmediato cualquier número de la seguridad social o dirección de correo electrónico del registro de conversaciones. Además, durante la sesión chat, la persona usuaria podrá pedir que su conversación se borre del sistema para que la información introducida no pueda ser utilizada para realimentar el bot.

Más información