Transparencia algorítmica: Chatbots conversacionales de la AOC
Visión general
El asistente virtual conversacional de la AOC, también llamado chatbot, es un servicio de apoyo a empleados públicos y ciudadanía, 24 horas los 7 días de la semana, que tiene como objetivo facilitar los procesos de identificación digital y acceso a la información del portal de transparencia, así como mejorar la experiencia de los usuarios e incrementar la autorresolución de las incidencias y consultas.
El servicio proporciona información relevante a las preguntas específicas de cada usuario de forma más fácil y ágil que buscando la información en el sitio web.
Casos de uso
Actualmente la AOC aplica el asistente virtual conversacional a tres áreas de contenido:
La Paula es el chatbot que apoya el servicio VALid. Ofrece respuestas directas, inmediatas y útiles a las cuestiones más habituales que plantean los usuarios en el proceso de identificación que realizan en la página de identificación de VALid, por donde pasan todos los usuarios que deben validar su identidad a la hora de realizar un trámite.
La Rita se encuentra en la página de solicitud y gestión del idCAT Certificado (https://idcat.cat/) y ayuda a resolver las dudas y preguntas más comunes relacionadas con la obtención, uso y renovación del idCAT Certificado.
Un nuevo chabot en el portal de Transparencia y e-TRAM 2.0 que ya está disponible en cuatro ayuntamientos piloto: Fornells de la Selva, Llagostera, Sarrià de Ter y Tremp.
Redirige al contenido buscado, llevando a la fuente de la información para que se tenga una visión completa. El asistente además de una conversación libre permite establecer una guiada en la que se van planteando preguntas para que el usuario elija las respuestas que más se adecuan a su búsqueda.
Los chatbots de la AOC son capaces de gestionar consultas complejas porque interpretan el lenguaje natural de las personas mediante algoritmos de inteligencia artificial.
Responden basándose en:
- La información pública del portal de Apoyo de la AOC (https://www.aoc.cat/suport) que se encuentra estructurada en forma de preguntas-respuestas más frecuentes (FAQ). Esta información se prepara y carga en el bote de forma manual.
- El entrenamiento de los flujos guiados de conversación basados en reglas.
Los asistentes conversacionales aumentan la eficiencia de la Administració Oberta de Catalunya al permitir la automatización de las respuestas a las preguntas más frecuentes que se reciben por el canal web.
Información de contacto
Organismo responsable
Administración Abierta de Cataluña
Equipo de contacto para consultas
Subdirección de Innovación y Datos
Correo del equipo
innovacio@aoc.cat
Proveedor externo
ONE MILLION BOT, SL
Correo-e del proveedor
info@1millionbot.com
Información más detallada sobre el sistema
Familiarícese con la información que utiliza el sistema, la lógica de funcionamiento del algoritmo y su gobernanza.
Conjuntos de datos
Se utilizan dos fuentes principales de datos:
Datos para entrenar los algoritmos
Información pública del portal de Apoyo de la AOC (https://www.aoc.cat/suport) que se encuentra estructurada en forma de preguntas-respuestas del área de contenido del chatbot. Son las preguntas de muestra formuladas por los usuarios cuando son atendidas por el Centro de Atención de Usuarios (CAU) de la AOC.
La información es propiedad de la AOC y se comparte bajo la licencia Creative Commons CC-Zero. Se puede copiar, modificar, distribuir y reutilizar sin pedir permiso, incluso con fines comerciales.
El material de entrenamiento no contiene datos personales (motivo por el que no se ha realizado el análisis de protección de datos)
La información se carga en el sistema algorítmico de forma manual. Algunas de las preguntas de muestra también se utilizan para probar el modelo.
Registro de la conversación
El sistema registra en un archivo las preguntas formuladas y las respuestas dadas durante la sesión de chat. El equipo de desarrollo del servicio analiza periódicamente el registro para ver cómo ha respondido el servicio a las preguntas de los usuarios.
A través del análisis se identifican las áreas de contenido en las que es necesario mejorar el material de entrenamiento y las respuestas proporcionadas por el servicio. Después del análisis, se redefine el material de entrenamiento y se pueden añadir más preguntas de ejemplo o crear nuevos flujos guiados de conversación para mejorar la experiencia del usuario del servicio. También se pueden utilizar los comentarios de los usuarios para definir las respuestas y añadir más información.
Está previsto que en la próxima versión del bot, el registro de conversaciones se elimine del sistema periódicamente de forma automática después del análisis, pero los informes relacionados con el uso, tales como las tasas de uso, las tasas de respuesta y otros parámetros, continuarán almacenándose para poder supervisar el progreso a largo plazo.
El registro de conversaciones es propiedad de la AOC, pero carece de licencia.
Procesamiento de los datos
La lógica operativa del procesamiento automático de datos y el razonamiento realizado por el sistema se sustenta conforme al siguiente modelo y metodología:
Arquitectura del modelo
El servicio Chatbot se basa en la tecnología Dialogflow de Google y la plataforma de administración 1MillionBot que se aloja en la infraestructura de Google Cloud Platform (GCP). Los servidores se encuentran en el Centro de Datos de Google Cloud de Bélgica en el Espacio Económico Europeo (EEE).
El servicio utiliza algoritmos de IA y modelos de aprendizaje automático para procesar preguntas en lenguaje natural.
La persona usuaria formula las preguntas a través de una interfaz digital que funciona en distintos dispositivos (web, móvil, tableta)
Adicionalmente, los chatbots permiten flujos guiados de conversación que faciliten la resolución de la consulta.
Se ha implementado un sistema para recoger la opinión de los usuarios y valorar la satisfacción de la conversación global. Esta información se utiliza para mejorar el servicio en continuo.
rendimiento
El desarrollo del uso y la calidad del servicio se evalúan continuamente.
Las estadísticas de uso y las medidas de calidad se registran regularmente en informes mensuales automáticos.
La medida de la calidad incluye el número de respuestas correctas en comparación con todas las preguntas y comentarios directos efectuados por los usuarios sobre el servicio.
El nivel de precisión del sistema es de un grado de éxito por encima del 95% (actualizado el 24/5/2023)
No discriminación
Para garantizar la igualdad en el uso del servicio, éste se encuentra disponible en catalán, castellano e inglés. La persona usuaria puede elegir el idioma al inicio de la conversación o bien, en cualquier momento, desde el menú del bot.
El servicio entiende el lenguaje natural aunque existan errores ortográficos y/o lingüísticos.
Supervisión humana
El algoritmo del chatbot actúa de forma directa, pero bajo una vigilancia ex post del personal responsable de la decisión final, que ha sido especialmente intensa en el período inicial de funcionamiento. De esta forma se pueden compensar los sesgos del algoritmo.
Así, el servicio es supervisado por el personal que lo gestiona:
- Por un lado, el servicio identifica y recopila automáticamente las cuestiones que no se han podido responder. Estas cuestiones se envían a los especialistas del CAU (de primer o segundo nivel) para que desarrollen los flujos de conversación que permitirán darle la respuesta la próxima vez.
- Por su parte, los expertos en seguimiento supervisan periódicamente los registros de comentarios y conversaciones y analizan las estadísticas de uso del servicio. A partir de estos datos, los expertos identifican las cuestiones que interesan a los usuarios y desarrollan nuevos flujos de conversación y amplían el corpus conversacional con nuevas palabras clave.
Gestión de riesgos
El servicio de chatbot se identifica de principio como “asistente virtual” para evitar que la persona usuaria piense que está interaccionando con una persona.
El servicio de chatbot nunca solicita información personal identificable. Sin embargo, el servicio implica un riesgo relacionado con el tratamiento de datos personales si el usuario introduce datos personales innecesarios en el servicio.
Para gestionar este riesgo, los registros de conversaciones son revisados periódicamente por expertos, que eliminan cualquier dato personal que el sistema automatizado haya pasado por alto.
Está previsto que en la próxima versión, el servicio contará con una función automatizada que borrará de inmediato cualquier número de la seguridad social o dirección de correo electrónico del registro de conversaciones. Además, durante la sesión chat, la persona usuaria podrá pedir que su conversación se borre del sistema para que la información introducida no pueda ser utilizada para realimentar el bot.
Más información
- 210.000 personas utilizan cada mes los asistentes virtuales 24×7 de la AOC” (marzo 2023)
- Paula y Rita, las xatbots del AOC que ya han ayudado a más de 93.000 usuarios” (junio 2021)
- Amsterdam AI Register
- Helsinki AI Register
- The OECD Artificial Intelligence Policy Observatory - OECD.AI
- Declaración Europea sobre los Derechos y Principios Digitales para la Década Digital (enero 2023)
- Propuesta Marco de trabajo de ética de los algoritmos, de la Dirección General de Administración Digital (2021)
- Medida de Gobierno de la estrategia municipal de algoritmos y datos para el impulso ético de la IA, del Ayuntamiento de Barcelona (abril 2021)
- Whitepaper Public AI Registers, de las ciudades de Ámsterdam, Helsinki y Saidot Ltd (septiembre 2020) + Ficha del chatbot de Helsinki
- Informe Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights del Comisionado para los Derechos Humanos del Consejo de Europa (mayo 2019)
- Directrices éticas para una IA fiable, del grupo de expertos de alto nivel sobre IA de la Comisión Europea (abril 2019)