En pleno auge de las inteligencias artificiales, la implementación de un chatbot con IA generativa puede ser clave para mejorar la eficiencia y la satisfacción de la ciudadanía hacia las administraciones públicas. Estos chatbots representan una oportunidad para optimizar la atención a la ciudadanía y empresas, resolver consultas de forma eficiente y ofrecer una experiencia personalizada y continua.

Sin embargo, para garantizar una correcta implementación, es necesario seguir una serie de buenas prácticas que aseguren la compatibilidad con los sistemas existentes, el cumplimiento normativo y la calidad de las respuestas.

Esta guía proporciona recomendaciones prácticas para la implantación de un chatbot con IA generativa, a partir de nuestra experiencia creando un chatbot con IA Generativa [ 1 ], que van desde la selección de la tecnología adecuada hasta su optimización y mantenimiento. También aborda aspectos fundamentales como la seguridad, la protección de datos y la supervisión continua para garantizar una constante evolución del sistema.

El objetivo de esta guía es que las administraciones públicas puedan desplegar chatbots que no sólo respondan a las necesidades actuales, sino que también puedan evolucionar y adaptarse a las futuras exigencias.

En este sentido, presentamos este manual como punto de partida para la creación de un chatbot con IA generativa basándose en nuestra experiencia. Desde la AOC también nos encontramos en un proceso de exploración de esta tecnología y esto implica que pueden existir múltiples aspectos susceptibles de ser mejorados, así como distintos enfoques para el desarrollo de un chatbot.

Asimismo, también es importante tener en cuenta que esta tecnología está en constante evolución, lo que genera que continuamente surjan nuevas oportunidades de mejora, tanto a corto como a largo plazo. Es por ello que debe tenerse en cuenta que esta guía es una guía dinámica que se irá actualizando a medida que la AOC disponga de más conocimientos y experiencia en esta materia.

Para poder explicar cómo se ha llegado hasta la implementación del chatbot actual, es de especial importancia fijarnos en los chatbots que, desde la AOC, utilizamos para apoyar a la ciudadanía.

Durante 2020, la AOC apostó por la empresa 1millionbot [ 2 ] para realizar un primer tanteo en la implementación de chatbots tradicionales. En 2021 se adjudicó el contrato AOC-2021-99: Servicio de un asistente conversacional virtual (chatbot) [ 3 ] con el objetivo de prestar un servicio de chatbot para facilitar los procesos de consulta a la información y tramitación relacionados con los servicios de la AOC.

Finalmente, durante los meses de mayo/junio de 2021 se pusieron en producción dos asistentes virtuales por los servicios de ciudadanía de idCAT Certificado y VÀLid, que llegaron a obtener una media de 50.000 usuarios anuales durante 2022 y 2023.

A pesar de estos números, estos chatbots tenían ciertas carencias:

• Las intenciones de respuesta de estos chatbots eran muy rígidas y poco flexibles, no dejando que exista adaptabilidad en función de la respuesta del usuario.
• Poca capacidad de adaptabilidad frente a nuevos problemas de la ciudadanía que acaba derivando en una excesiva biblioteca de intenciones.
• Se requería un chatbot para cada servicio (en los servicios con mayor volumen) lo que provocaba un mantenimiento muy costoso.
• Entrenamiento costoso para derivar las respuestas de los usuarios de una intención hacia otra.
• Exceso de horas entrenando los chatbots debido a que debían entrenar los dos bots por separado y cada uno con sus dos idiomas correspondientes (catalán y castellano).
• No se mantenía el contexto de las conversaciones, hecho que cada interacción con el usuario fuera una nueva “conversación” por el bot.

Estas dificultades y carencias, junto con la explosión de la inteligencia artificial en este último año, hicieron que desde la AOC se hiciera el encargo a 1millionbot para empezar a trabajar con un chatbot de IA.

Para garantizar una implantación efectiva de un chatbot con IA generativa, es fundamental seleccionar una solución que se ajuste a los objetivos inmediatos de la organización y que, al mismo tiempo, permita una evolución y escalabilidad a largo plazo.

En este caso, el chatbot que se ha escogido desde la AOC puede gestionar un volumen elevado de consultas de forma simultánea y se integra con facilidad con los servicios que presta la organización.

Este chatbot se integra en las páginas web corporativas de la AOC mediante Google Tag Manager y se despliega específicamente en las páginas de soporte y servicios donde dispone del conocimiento para dar respuestas a los usuarios. Actualmente está disponible en:

• IdCAT Certificado: https://idcat.cat/ i https://suport-idcat.aoc.cat/hc/ca
• IdCAT Móvil: https://idcatmobil.cat/ i https://suport-idcatmobil.aoc.cat/hc/ca
• e-NOTUM: https://usuari.enotum.cat/ i https://suport-enotum-ciutadania.aoc.cat/hc/ca
• Representa: https://representa.cat/ i https://suport-representa-ciutadania.aoc.cat/hc/ca
• e-FACT: https://efact.aoc.cat/bustia/home.htm i https://suport-efact-empreswww.aoc.cat/es/hc/ca

Ilustración 1 Ubicación del chatbot en los servicios de la AOC

3.1 Evaluación de las necesidades de la organización

Antes de seleccionar una solución de inteligencia artificial, resulta fundamental realizar una evaluación exhaustiva de las necesidades de la organización.

Este proceso debe incluir las siguientes cuestiones y aspectos clave:

Objetivos y necesidades del chatbot

• • ¿Cuáles son los principales objetivos que se quieren conseguir con la implementación del chatbot? (Mejorar la atención a la ciudadanía, reducir la carga de trabajo de los equipos, automatizar procesos internos, etc.
  • ¿Qué problemas actuales podrían resolverse con esta tecnología?
  • ¿Qué impacto se espera que tenga el chatbot en la operativa y la estrategia de la organización?

Público objetivo y caso de uso

• ¿Quiénes son los principales usuarios del chatbot? (ciudadanía, empresas, usuarios internos de la organización, etc.).
• ¿En qué canales se integraría este chatbot? (página web, aplicación móvil, plataformas de mensajería como Whatsapp o Telegram, etc.).
• ¿Qué tipo de consultas tendrá que gestionar el chatbot? (consultas frecuentes y repetitivas, soporte técnico especializado, etc.).
• ¿Qué presupuesto puede destinarse a esta solución? Hay que tener en cuenta que se tendrá que disponer de presupuesto tanto por su implementación como por su mantenimiento.
• ¿Cuáles son las posibles limitaciones o riesgos asociados a la implementación del chatbot? Algunos de los riesgos a tener en cuenta sería la seguridad y el cumplimiento con la protección de los datos.
• ¿Cuáles son los recursos disponibles que dispone la organización? Es importante asegurarse de que la solución disponga de los recursos humanos suficientes para no sólo implementarse, sino también para mantenerla de forma efectiva. Puede verse recomendaciones de entrenamiento en los puntos 6 y 7 de esta guía.

3.2 Escalabilidad y flexibilidad

Es esencial que la solución de IA sea escalable y flexible para adaptarse a las cambiantes necesidades de la organización. Esto implica la capacidad de poder gestionar un aumento en el volumen de consultas en momentos puntuales del año (período para solicitar ayuda o subvención por ejemplo) sin comprometer el rendimiento del sistema.

También es importante que la solución permita añadir nuevas funcionalidades y mejoras conforme la organización crece y evoluciona. Es por eso que es primordial disponer no sólo de los recursos internos necesarios, sino también de un soporte de mantenimiento especialista del propio bot

3.3 Cumplimiento de las normativas de seguridad y protección de datos

La seguridad y protección de datos son aspectos críticos en la implementación de un chatbot con IA generativa. La solución elegida debe cumplir con las normativas vigentes en materia de seguridad de la información y protección de datos, tales como el Reglamento General de Protección de Datos (RGPD) de la Unión Europea. Esto incluye:

• Garantizar la confidencialidad, integridad y disponibilidad de los datos
• Implementar medidas de seguridad adecuadas para prevenir accesos no autorizados y ciberataques
• Anonimización de los datos personales
• Establecimiento de un período de custodia de conversaciones para mejorar el servicio.

Una vez seleccionada la solución de IA, es imprescindible evaluar si ésta cumple con los requisitos técnicos y operativos necesarios para su implementación y posterior escalabilidad. Este sistema debe garantizar una operatividad continua, ofreciendo soporte 24/7 y manteniendo una alta tasa de respuesta.

4.1 Pruebas de rendimiento y capacidad

Antes de la implementación definitiva, es recomendable realizar:

• Pruebas de rendimiento y capacidad para asegurarse de que el chatbot pueda manejar el volumen de consultas esperado sin problemas.
• Simulaciones de carga para evaluar el comportamiento del sistema bajo distintas condiciones de tráfico con el fin de evitar posibles cuellos de botella o puntos débiles.

4.2 Pruebas piloto

Las pruebas piloto son esenciales para evaluar el rendimiento del chatbot en un entorno controlado antes de su implementación completa o cuando se desea implementar todo un nuevo servicio a ofrecer.

Estas pruebas permiten identificar posibles problemas y ajustar el sistema para mejorar su funcionalidad.

En el caso de la AOC, las pruebas piloto pueden incluir:

• La simulación de distintos escenarios de uso.
• La variación argumental de una misma incidencia.
• El análisis de los resultados para realizar ajustes necesarios.

 

4.2 Infraestructura segura y fiable

Para garantizar una correcta disponibilidad y seguridad del bote, la infraestructura del servicio debe estar alojada en servidores seguros y fiables, dentro del Espacio Económico Europeo, para cumplir con la normativa de protección de datos y seguridad.

Al mismo tiempo, si se desea tener una buena seguridad de este agente virtual, debe incluirse aquí el uso de centros de datos certificados y la implementación de copias de seguridad regulares para prevenir la pérdida de datos en caso de incidentes.

5.1 Instrucciones

Para garantizar un funcionamiento óptimo, el chatbot debe contar con un conjunto de instrucciones claras que guíen al modelo de IA en sus interacciones con los usuarios. Estas instrucciones deben incluir directrices específicas sobre cómo estructurar las respuestas y cómo priorizar la información relevante.

Como se ve en la imagen, es muy importante que las instrucciones sirvan para dejar explicado cómo gestionar consultas complejas para evitar conflictos y confusiones con la ciudadanía.

Ilustración 3 Instrucciones AOC chatbot AI

Estas instrucciones deben ser revisadas y actualizadas periódicamente, no sólo para asegurarse de que el chatbot se adapte a las nuevas necesidades de la organización, sino también para poder subsanar los errores y anticiparse a futuros problemas.

5.1.1 Estructura de las respuestas

Las respuestas del chatbot deben seguir una estructura clara y coherente para facilitar la comprensión por parte de los usuarios. El chatbot debe ser capaz de:

• Emplear frases cortas y sencillas.
• Dividir la información en párrafos o puntos para facilitar su lectura.
• Utilizar un lenguaje accesible.
• Evitar tecnicismos o términos complejos que puedan generar confusión.
• Proporcionar de dónde ha sacado la información para que la ciudadanía consulte la fuente de origen.

Ilustración 4 Ejemplo de estructura clara y coherente así como el envío de la fuente de información

Como ve en el ejemplo, es muy importante que, cuando la información sea muy extensa o simplemente se busque ampliar la información, el chatbot siempre adjunte las FAQS de origen ya que aporta un valor añadido y fiabilidad en la respuesta.

5.2 Personalidad

El chatbot debe tener una personalidad definida que se adapte a las necesidades de los usuarios y, sobre todo, a la imagen institucional que la organización quiere dar. Asimismo, De acuerdo con el punto 27 del Reglamento Europeo (UE) 2024/1689 [ 4 ], estos sistemas de inteligencia artificial deben desarrollarse y utilizarse de tal manera que permita que las personas que lo utilizan sean conscientes de que se están comunicando o interactuando con una IA.

Es fundamental establecer un tono de comunicación adecuado que sea cercano, natural y alineado con las expectativas de los usuarios.

Ilustración 5 Personalidad del bote de la AOC

Este bote debe mantener:

• Coherencia en el lenguaje y estilo de respuesta para ofrecer una experiencia fluida y satisfactoria.
• Disponer no sólo el uso de un lenguaje adecuado, sino también la capacidad de transmitir empatía en las respuestas,
• Hacer que los usuarios se sientan escuchados y valorados.
• Ofrecerse en todo momento a continuar con la conversación por si la ciudadanía necesita información adicional a la pregunta formulada.

Ilustración 6 Ejemplo de información

 

Ilustración 7 Ofrecimiento al continuar la conversación y ampliar más información

5.2.1 Definición del tono de voz y adaptación del chatbot

El tono de voz del bote debe reflejar los valores y la cultura de la organización. Por ejemplo, un chatbot de una institución financiera puede optar por un tono más formal y profesional, mientras que el de una administración pública puede optar por un tono más cercano y conciliador.

Es importante que el tono de voz sea consistente en todas las interacciones para generar confianza y credibilidad entre sus usuarios. Este tono de voz debe ser capaz, no sólo de ser estable y tratar a todas las personas por igual, sino que también debe ser capaz de adaptarse a diferentes situaciones, manteniendo siempre una actitud positiva y proactiva, incluso en momentos de conflicto o insatisfacción por parte del usuario.

El chatbot debe ser capaz de adaptarse a distintos tipos de usuarios teniendo en cuenta factores como:

• La edad
• El nivel de conocimiento tecnológico
• Las preferencias personales
• La tipología de servicio/producto por el que necesitan ayuda

Para conseguir esta adaptabilidad y, en definitiva, una experiencia de usuario más satisfactoria y relevante, es esencial personalizar las respuestas a través de las intenciones generativas.

Ilustración 8 Adaptación del bote a una persona con pocos conocimientos tecnológicos

5.3 Biblioteca de Conocimiento

El conocimiento del chatbot debe estar basado en una combinación de fuentes fiables como preguntas frecuentes, bases de datos documentales, sistemas de información actualizados e incidencias previas de los usuarios. Esta biblioteca de conocimiento debe ser fácilmente accesible y navegable para permitir al chatbot encontrar la información necesaria de forma rápida y eficiente.

En el caso de la AOC, la biblioteca de conocimiento del chatbot contiene las siguientes informaciones:

• Enlaces a todas las FAQS del Portal de Apoyo de la AOC.
• Instrucciones para responder a preguntas complejas
• Incidencias reales de usuarios en formato Pregunta/Respuesta

La diversidad de estas fuentes de información permite al bote ofrecer respuestas más completas y bien fundamentadas. Adicionalmente, utilizar fuentes también ayuda a garantizar que el chatbot pueda responder a una amplia gama de consultas y proporcionar información actualizada y precisa en todo momento.

Ilustración 9 Incidencia de usuarios con formato Pregunta/Respuesta

 

Ilustración 10 Instrucciones para responder a preguntas complejas

Es esencial que esta biblioteca de conocimiento se mantenga actualizada de forma constante para garantizar la precisión y relevancia de las respuestas. Esto implica:

• Revisar periódicamente las fuentes de información
• Incorporación de nuevos contenidos a medida que se generen o modifiquen.
• Establecer un proceso de validación de la información para asegurarse de que los datos utilizados son correctos y fiables.

5.4 Creación de Intenciones Generativas

Es crucial definir con precisión las principales intenciones del chatbot para asegurar una interpretación flexible y eficiente de las preguntas de los usuarios. A diferencia de los chatbots tradicionales, un bote con IA generativa debe poder entender consultas formuladas de diferentes formas y adaptar la respuesta según el contexto.

Crear una intención generativa no dista mucho de la creación de intenciones tradicionales, la principal diferencia recae en que se pueden añadir pequeñas instrucciones para orientar el bote en una respuesta más personalizada.

Ilustración 12 Intención generativa error de acceso a una notificación

Como se ve en la imagen, primero se definen unas frases de entrenamiento (al igual que en las intenciones clásicas) para después redactar una serie de instrucciones para que el bote genere una respuesta generativa. Hay que tener en cuenta que la IA permite generar variaciones de la frase de entrenamiento introducida sin tener que crearlas una por una.

Esto debe definirse de forma clara y precisa para asegurar una interpretación correcta de las consultas de los usuarios. Para ello, es necesario identificar las preguntas más frecuentes y las necesidades más comunes de los usuarios, creando intenciones específicas para cada una de ellas.

Es necesario implementar filtros para detectar y gestionar consultas fuera del alcance del servicio, proporcionando recomendaciones alternativas a los usuarios cuando sea necesario. Esto puede incluir la redirección a otros canales de atención, la sugerencia de recursos adicionales o la derivación a un agente humano cuando sea necesario. Además, el chatbot debe ser capaz de reconocer cuándo una consulta es demasiado compleja para ser resuelta automáticamente.

Esta intención de fuera de catálogo es clave para que el ciudadano tenga claro cuál es el alcance de la prestación y conocimiento del chatbot. Es importante no generar falsas expectativas y dejar claro que el usuario debe tener debe dirigirse a la administración correspondiente, siempre ofreciéndole más información de los servicios de la AOC.

Ilustración 13 Intención fuera del alcance de la AOC y sugerencia de recurso adicional

Es importante revisar y actualizar las intenciones de forma regular para adaptarse a las nuevas necesidades. Hay que tener en cuenta que el bot debe ser capaz de gestionar múltiples intenciones simultáneamente en una misma conversación, ofreciendo respuestas coherentes y relevantes en todo momento.

Por último tener intenciones bien estructuradas y claras permitirá ofrecer una experiencia de usuario más satisfactoria y evitar frustraciones.

5.4.1 Adaptabilidad y flexibilidad

El bot debe ser capaz de adaptarse a diferentes formas de formular las consultas por parte de los usuarios. Esto implica la capacidad de reconocer sinónimos, variaciones gramaticales y diferentes estructuras de frase.

También es importante que el chatbot pueda adaptar sus respuestas según el contexto de la conversación, ofreciendo información relevante y precisa en todo momento. Asimismo, éste debe ser capaz de aprender de las interacciones anteriores y ajustar sus respuestas en función de las preferencias y necesidades específicas de cada usuario.

Ilustración 14 Ejemplos de flexibilidad en variaciones y estructura de la frase

Ilustración 15 Ejemplos de flexibilidad en variaciones y estructura de la frase

5.4.2 Canales alternativos de atención

Para evitar la dependencia exclusiva de un sistema automatizado, es importante ofrecerle canales alternativos de atención personalizada.

Esto permite a los usuarios acceder a soporte humano en casos en los que el chatbot no pueda proporcionar una respuesta adecuada o cuando se requiera una atención más detallada. Los canales alternativos pueden incluir atención telefónica, correo electrónico o chat en vivo con agentes humanos.

Ilustración 16 Ofrecimiento de canales alternativos de contacto

6.1 Protección de datos, minimización y eliminación

El chatbot debe garantizar la minimización de datos, evitando la recogida de información personal innecesaria. Todas las conversaciones deben ser anonimizadas y eliminadas después de un período de tiempo establecido para evitar riesgos en materia de protección de datos.

En el caso de la AOC, las conversaciones son eliminadas después de 3 meses dado que se considera que ya ha pasado el plazo suficiente para analizar las respuestas. En todo momento los usuarios están informados de forma transparente sobre la recogida de datos y mejora.

Ilustración 17 Mensaje de bienvenida sobre el tratamiento de datos

La minimización de datos es un principio fundamental en la protección de datos personales. El chatbot debe recoger únicamente la información estrictamente necesaria para ofrecer el servicio, evitando la recopilación de datos sensibles o innecesarios. Esto ayuda a reducir los riesgos asociados a la protección de datos ya cumplir con las normativas vigentes.

Para garantizar la privacidad de los usuarios, todas las conversaciones deben ser anonimizadas, eliminando cualquier información que pueda identificar personalmente a los usuarios.

Por ejemplo, en la AOC a nivel de ciudadanía y empresas se hace que cuando el usuario da algún dato personal, el chatbot le comenta que está introduciendo datos sensibles entendiendo que estos datos son esenciales para realizar el trámite.

En la AOC se está trabajando para disponer de mecanismos de anonimización en el momento en que un usuario adjunte algún dato personal. Esto es importante porque, dado que las conversaciones se guardan durante 3 meses, no almacenar los datos personales introducidos por el usuario añade una capa extra de seguridad.

 

Ilustración 18 Datos personal visión ciudadana

6.2 Protección de datos, minimización y eliminación

Para cumplir con el Reglamento de IA de la Unión Europea, el chatbot debe ser claramente identificable como un asistente virtual y proporcionar información transparente sobre su funcionamiento.

La publicación de una ficha de transparencia algorítmica permite a los usuarios conocer qué datos se han utilizado para entrenar el sistema y qué modelo de IA se está utilizando. Asimismo, es necesario garantizar que el sistema no tome decisiones con impacto significativo sobre los usuarios sin supervisión humana.

6.2.2 Transparencia algorítmica

Para garantizar la confianza de los usuarios en el sistema de IA, desde la AOC recomendamos y defendemos la plena transparencia tecnológica a través de nuestra ficha de transparencia algorítmica [ 5 ]. Hay que tener en cuenta que esta ficha está en constante evolución y actualización cada vez que existe un cambio relevante en el chatbot.

Esta transparencia es esencial para garantizar la confianza de los usuarios en el sistema de IA. Esto implica proporcionar información detallada sobre el funcionamiento del chatbot, incluyendo los datos utilizados para entrenar el modelo y los algoritmos utilizados.

La publicación de una ficha de transparencia algorítmica permite a los usuarios comprender cómo se toman las decisiones y qué factores influyen en las respuestas del chatbot.

6.2.2 Supervisión humana

Esto implica establecer mecanismos de revisión e intervención humana en casos en los que las decisiones del chatbot puedan tener consecuencias importantes para los usuarios. La supervisión humana ayuda a asegurar que las decisiones son justas, éticas y alineadas con los valores de la organización.

Para cumplir con el Reglamento de IA de la Unión Europea, es necesario garantizar que el chatbot no tome decisiones con impacto significativo sobre los usuarios sin supervisión humana.

Un chatbot con IA generativa debe estar en constante evolución para mejorar la calidad de sus respuestas y adaptarse a las nuevas necesidades de los usuarios. Esto requiere un proceso de supervisión continuada que incluya:

• La revisión de conversaciones
• La detección de patrones de error
• La optimización de las intenciones generativas.
• Identificar áreas de mejora y añadir nuevos conocimientos a la base de datos del sistema.

7.1 Rutinas de revisión

7.1.1 Revisión de conversaciones

Es fundamental realizar una revisión periódica de las conversaciones generadas por el chatbot para identificar respuestas incorrectas, incoherencias o problemas de comprensión. Esta revisión debe incluir el análisis de muestras aleatorias para garantizar la calidad global del servicio. Estas muestras aleatorias deberían tener en cuenta los siguientes factores:

• Día de la semana
• Hora del día
• Tipología de servicio
• Buscar conversaciones por palabras claves

El tiempo dedicado a estas revisiones debe ir en función de los recursos que disponga de la organización, en el caso de la AOC se dedica aproximadamente 1 hora diaria a todo lo que implica el punto 6 sobre las rutinas de revisión.

Es muy importante documentar los errores detectados y las acciones correctivas implementadas para mejorar continuamente el rendimiento del chatbot.

7.1.2 Análisis de patrones de error

El análisis de patrones de error permite identificar problemas recurrentes en las respuestas del chatbot y desarrollar soluciones específicas para su corrección. Para detectar estos patrones de error es crucial, una vez detectada la conversación errónea, buscar por su palabra clave y así identificar otras conversaciones con el mismo error.

Haciendo esto, después será mucho más sencillo poder adaptar la intención generativa correspondiente e incorporar nuevas informaciones a la biblioteca de conocimiento.

7.1.3 Optimización de las intenciones generativas e incorporación de nuevos conocimientos

Una vez detectados los patrones de error, es necesario optimizar las intenciones generativas ajustando las instrucciones de cada una con el objetivo de asegurar que pueda responder de forma efectiva a una amplia variedad de consultas.

Por ejemplo, inicialmente la intención de renovación de idCAT Certificado no adjuntaba los enlaces para ampliar más información. Una vez detectado el error, en las instrucciones de la intención añades “Responde siempre con: ¿Cómo renuevo el idCAT Certificado?” y una vez le vuelvas a preguntar al bot siempre adjuntará la información de la FAQ.

Ilustración 19 Insertar nueva información en las instrucciones del bot

Ilustración 20 Respuesta del bot con enlace a la FAQ de renovación

La incorporación de nuevos conocimientos en la biblioteca del chatbot es también esencial para mantener su relevancia y precisión. Por ejemplo, si se genera una nueva FAQ en alguno de los portales de soporte, es imprescindible actualizar la información existente, incorporando esta nueva fuente de conocimiento.

7.2 Monitorización de la actividad

7.2.1 Recopilación de estadísticas

Monitorear la actividad del chatbot es clave para comprender su uso y detectar posibles cuellos de botella en la interacción con los usuarios. La recopilación de estadísticas sobre la frecuencia de uso, la duración media de las conversaciones, el porcentaje de preguntas resueltas con éxito y las consultas más habituales permite tomar decisiones informadas para mejorar el sistema. Estos datos también pueden ayudar a identificar momentos de mayor demanda y optimizar la disponibilidad de los recursos tecnológicos.

Ilustración 21 Pantalla de estadísticas del chatbot AOC

Estos análisis permiten también identificar tendencias y patrones en el uso del bote, sobre todo en las consultas y respuestas más frecuentes y las áreas donde se tienen mayores dificultades para proporcionar respuestas adecuadas.

7.3 Valoraciones de los usuarios

7.3.1 Encuestas de satisfacción y sistemas de puntuación

Es clave que este bot o la organización implemente mecanismos de valoración de las respuestas por parte de los usuarios, como encuestas de satisfacción o sistemas de puntuación. Esto permite:

• Obtener una visión objetiva del grado de satisfacción de los usuarios
• Realizar ajustes en el funcionamiento del bot
• Valorar las respuestas del chatbot de forma rápida y sencilla

Las encuestas de satisfacción pueden incluir preguntas sobre la calidad de las respuestas o incluir el uso de estrellas, puntos u otras métricas para indicar el grado de satisfacción con la respuesta recibida.

Para garantizar que el chatbot cumple con las expectativas de la organización, es necesario establecer un sistema de evaluación constante. Esto incluye la definición de indicadores de rendimiento clave (KPIs) como la tasa de éxito, el tiempo de respuesta y la reducción de tickets de soporte. También es importante establecer comparaciones periódicas con otros canales de atención para evaluar si el chatbot está proporcionando un valor añadido.

Se pueden realizar pruebas piloto en diferentes momentos del año para identificar posibles mejoras en su funcionalidad y garantizar que la experiencia del usuario sea siempre satisfactoria.

Para complementar este proceso se debe crear:

• Una metodología de evaluación periódica en la que se revisen conversaciones reales de los usuarios para detectar errores recurrentes.
• Analizar la calidad de las respuestas (punto 6 de la guía).
• Implementar ajustes que mejoren el rendimiento global del chatbot (punto 6 de la guía)

8.1 Reducción de tiques de apoyo y comparaciones periódicas con otros canales de atención

Hay que tener en cuenta que el bote con inteligencia artificial también es un mecanismo de soporte que amplía los canales de comunicación tradicionales. Tener un bote con IA en ningún caso sustituirá por completo el soporte humano, sino que añade una capa previa (próxima y amigable) a ese soporte humano.

La reducción de tiques de apoyo es un indicador que mide la efectividad del chatbot en la resolución de consultas sin la necesidad de intervención humana. Una reducción significativa en el número de tickets de soporte indica que el chatbot está proporcionando un valor añadido a la organización, mejorando la eficiencia operativa y reduciendo la carga de trabajo de los agentes humanos.

En el caso de la AOC, si bien es cierto que no se puede afirmar que haya sido exclusivamente para el chatbot ya que se han implementado otras mejoras de apoyo, en el año 2024 las peticiones de apoyo se han visto reducidas de 93.000 en 2023 a 65.000 en 2024. Así mismo, mientras las de consultas[ 6 ].

Ilustración 22 Evolución de las peticiones de apoyo

Hacer unas comparaciones periódicas con otros canales de atención como atención telefónica, correo electrónico o chat con un agente permite identificar las fortalezas y debilidades del chatbot y determinar si está proporcionando un valor añadido en comparación con otros canales.

Estas comparaciones también permiten identificar si se están dando nuevas incidencias no previstas por el bot para ajustar las intenciones generativas o la mejora de la biblioteca de conocimiento.

El objetivo es asegurar que el chatbot ofrece una experiencia de usuario satisfactoria y está alineada con las expectativas de la organización.

8.2 Metodología de evaluación periódica

8.2.1 Revisión de conversaciones reales

Para garantizar que el chatbot cumple con las expectativas de la organización, debe establecerse una metodología de evaluación periódica en la que se revisen conversaciones reales de los usuarios. Hacer esto permite detectar errores recurrentes, analizar la calidad de las respuestas e implementar ajustes que mejoren el rendimiento global del chatbot.

Es importante dejar constancia de esta metodología junto con la forma en que se van a analizar estas conversaciones. En el caso de la AOC, la metodología que se sigue es la siguiente:

• Periodo de revisión: Mensual
• Número de conversaciones a revisar: 150 conversaciones
• Frecuencia de revisión: 5 conversaciones aleatorias por cada uno de los 30 días del mes.
• Franjas horarias de revisión diaria: Se revisa 1 conversación aleatoria dentro del horario de mañana, mediodía, tarde, noche y noche.
• Pregunta por valorar la respuesta: ¿El bot ha resuelto correctamente el problema del ciudadano? SI / NO
  • SI: Cuando el bote haya contestado correctamente a todo lo solicitado por el usuario.
  • NO: Cuando el bote haya contestado incorrectamente o no responda a lo que el usuario ha pedido.
• En caso de conversaciones de más de una interacción, se valorará el cómputo total de las respuestas del bote para concluir si el bote ha ayudado al ciudadano o no. Si una de las interacciones ha sido errónea por parte del bote, se valora con un NO la conversación.
• Es importante dejar constancia de las interacciones que hayan estado fuera de la competencia del chatbot para cuantificar cuántas consultas no llegan a ser tratables por el bot.
• Es necesario apuntar el servicio/producto por el que el chatbot ha dado ayuda.

Estas revisiones de conversaciones ayudan a identificar nuevas necesidades de los usuarios ya adaptar el chatbot para satisfacerlas.

1. Blog AOC – Aoc implementa un chatbot líder de atención ciudadana utilizando IA generativa (https://www.aoc.cat/blog/2024/xatbot-aoc-iagenerativa/)
2. https://1millionbot.com/
3. Servicio de un asistente conversacional virtual (chatbot)(Información de la publicación – Plataforma de Servicios de Contratación Pública)
4. Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) nº 300/2008, (UE) nº 167/2013, (UE) UE) 168/2013 y (UE) 2018/858 y las Directivas 2018/1139/UE, (UE) 2019/2144 y (UE) 2014/90 (Reglamento de Inteligencia Artificial) https://www.boe.es/buscar/doc.php?id=DOUE-L-2024-81079
5. Transparencia algorítmica: Chatbots con IA generativa de la AOC (https://www.aoc.cat/ia-transparencia-xatbots-amb-ia-generativa/)
6. El innovador chatbot de IA generativa permite a la AOC duplicar el número de peticiones gestionadas por el servicio de soporte (https://www.aoc.cat/blog/2025/xatbot-ia-generativa-suport/)