No auge da inteligência artificial, a implementação de um chatbot com IA generativa pode ser fundamental para melhorar a eficiência e a satisfação dos cidadãos com as administrações públicas. Esses chatbots representam uma oportunidade para otimizar o atendimento aos cidadãos e empresas, resolver dúvidas de forma eficiente e oferecer uma experiência personalizada e contínua.

No entanto, para garantir uma implementação correta, é necessário seguir uma série de boas práticas que garantam a compatibilidade com os sistemas existentes, a conformidade regulatória e a qualidade das respostas.

Este guia fornece recomendações práticas para implementar um chatbot com IA generativa, com base em nossa experiência na criação de um chatbot com IA generativa. , desde a seleção da tecnologia adequada até sua otimização e manutenção. Também aborda aspectos fundamentais como segurança, proteção de dados e monitoramento contínuo para garantir a evolução constante do sistema.

O objetivo deste guia é que as administrações públicas possam implementar chatbots que não só respondam às necessidades atuais, mas também possam evoluir e se adaptar às demandas futuras.

Nesse sentido, apresentamos este manual como um ponto de partida para a criação de um chatbot com IA generativa com base em nossa experiência. No AOC também estamos em um processo de exploração dessa tecnologia e isso implica que pode haver vários aspectos que podem ser melhorados, bem como diferentes abordagens para desenvolver um chatbot.

Da mesma forma, também é importante levar em consideração que essa tecnologia está em constante evolução, o que significa que novas oportunidades de melhoria surgem continuamente, tanto no curto quanto no longo prazo. É por isso que é preciso levar em conta que este guia é dinâmico e será atualizado à medida que o AOC tiver mais conhecimento e experiência no assunto.

Para poder explicar como o chatbot atual foi implementado, é especialmente importante observar os chatbots que, desde o AOC, usamos para dar suporte aos cidadãos.

Durante 2020, a AOC apostou na empresa 1millionbot para fazer uma primeira tentativa de implementar chatbots tradicionais. Em 2021, foi adjudicado o contrato AOC-2021-99: Serviço de assistente virtual de conversação (chatbot) com o objetivo de fornecer um serviço de chatbot para facilitar os processos de consulta e processamento de informações relacionadas aos serviços da AOC.

Por fim, durante os meses de maio/junho de 2021, foram colocados em produção dois assistentes virtuais para serviços de cidadania do idCAT, o Certificat e o VÀLid, que atingiram uma média de 50.000 usuários anuais durante 2022 e 2023.

Apesar desses números, esses chatbots tinham certas deficiências:

• As intenções de resposta desses chatbots eram muito rígidas e inflexíveis, não permitindo adaptabilidade com base na resposta do usuário.
• Pouca capacidade de adaptação aos novos problemas enfrentados pelos cidadãos, o que acaba resultando em uma biblioteca excessiva de intenções.
• Era necessário um chatbot para cada serviço (nos serviços com maior volume), o que gerava uma manutenção muito custosa.
• Treinamento caro para derivar respostas do usuário de uma intenção para outra.
• Excesso de horas gastas treinando os chatbots devido ao fato de que os dois bots tiveram que ser treinados separadamente e cada um com seus dois idiomas correspondentes (catalão e espanhol).
• O contexto das conversas não era mantido, o que significa que cada interação com o usuário era uma nova “conversa” para o bot.

Essas dificuldades e deficiências, juntamente com a explosão da inteligência artificial no último ano, levaram o AOC a contratar a 1millionbot para começar a trabalhar com um chatbot de IA.

Para garantir uma implementação eficaz de um chatbot com IA generativa, é essencial selecionar uma solução que se ajuste aos objetivos imediatos da organização e que, ao mesmo tempo, permita evolução e escalabilidade a longo prazo.

Nesse caso, o chatbot escolhido pelo AOC consegue gerenciar um alto volume de consultas simultaneamente e se integra facilmente aos serviços prestados pela organização.

Este chatbot é integrado às páginas corporativas da AOC usando o Google Tag Manager e é implantado especificamente em páginas de suporte e serviços onde tem o conhecimento para fornecer respostas aos usuários. Atualmente está disponível em:

• Certificado IdCAT: https://idcat.cat/ i https://suport-idcat.aoc.cat/hc/ca
• IDCAT móvel: https://idcatmobil.cat/ i https://suport-idcatmobil.aoc.cat/hc/ca
• e-NOTUM: https://usuari.enotum.cat/ i https://suport-enotum-ciutadania.aoc.cat/hc/ca
• Representa: https://representa.cat/ i https://suport-representa-ciutadania.aoc.cat/hc/ca
• e-FATO: https://efact.aoc.cat/bustia/home.htm i https://suport-efact-empreses.aoc.cat/hc/ca

Ilustração 1 Localização do chatbot nos serviços do AOC

3.1 Avaliação das necessidades da organização

Antes de selecionar uma solução de inteligência artificial, é essencial realizar uma avaliação completa das necessidades da organização.

Este processo deve incluir as seguintes questões e aspectos principais:

Objetivos e necessidades do chatbot

• • Quais são os principais objetivos que você deseja atingir com a implementação do chatbot? (Melhorar o atendimento ao cidadão, reduzir a carga de trabalho da equipe, automatizar processos internos, etc.)
  • Quais problemas atuais poderiam ser resolvidos com essa tecnologia?
  • Qual impacto o chatbot deve ter nas operações e na estratégia da organização?

Público-alvo e caso de uso

• Quem são os principais usuários do chatbot? (cidadãos, empresas, usuários internos da organização, etc.).
• Em quais canais esse chatbot seria integrado? (site, aplicativo móvel, plataformas de mensagens como Whatsapp ou Telegram, etc.).
• Que tipo de consultas o chatbot precisará lidar? (consultas frequentes e repetitivas, suporte técnico especializado, etc.).
• Qual orçamento pode ser alocado para esta solução? É preciso levar em conta que é preciso dispor de orçamento tanto para sua implementação quanto para sua manutenção.
• Quais são as possíveis limitações ou riscos associados à implementação do chatbot? Alguns dos riscos a serem considerados seriam a segurança e a conformidade com a proteção de dados.
• Quais são os recursos disponíveis que a organização tem? É importante garantir que a solução tenha recursos humanos suficientes não apenas para implementá-la, mas também para mantê-la eficazmente. Recomendações de treinamento podem ser encontradas nos pontos 6 e 7 deste guia.

3.2 Escalabilidade e flexibilidade

É essencial que a solução de IA seja escalável e flexível para se adaptar às necessidades de mudança da organização. Isso implica na capacidade de gerenciar um aumento no volume de consultas em épocas específicas do ano (período de solicitação de auxílios ou subsídios, por exemplo) sem comprometer o desempenho do sistema.

Também é importante que a solução permita a adição de novas funcionalidades e melhorias à medida que a organização cresce e evolui. É por isso que é essencial ter não apenas os recursos internos necessários, mas também suporte de manutenção especializado para o próprio bot.

3.3 Conformidade com os regulamentos de segurança e proteção de dados

Segurança e proteção de dados são aspectos essenciais na implementação de um chatbot com IA generativa. A solução escolhida deve estar em conformidade com as normas vigentes sobre segurança da informação e proteção de dados, como o Regulamento Geral de Proteção de Dados (GDPR) da União Europeia. Isso inclui:

• Garantir a confidencialidade, integridade e disponibilidade dos dados
• Implementar medidas de segurança adequadas para evitar acesso não autorizado e ataques cibernéticos
• Anonimização de dados pessoais
• Estabelecimento de prazo de custódia de conversação para melhoria do serviço.

Uma vez selecionada a solução de IA, é essencial avaliar se ela atende aos requisitos técnicos e operacionais necessários para sua implementação e posterior escalabilidade. Este sistema deve garantir operação contínua, oferecendo suporte 24 horas por dia, 7 dias por semana e mantendo uma alta taxa de resposta.

4.1 Testes de desempenho e capacidade

Antes da implementação final, recomenda-se realizar:

• Testes de desempenho e capacidade para garantir que o chatbot possa lidar com o volume esperado de consultas sem problemas.
• Simulações de carga para avaliar o comportamento do sistema em diferentes condições de tráfego, a fim de evitar possíveis gargalos ou pontos fracos.

4.2 Testes piloto

Os testes piloto são essenciais para avaliar o desempenho do chatbot em um ambiente controlado antes de sua implementação completa ou quando você deseja implementar um serviço totalmente novo para oferecer.

Esses testes nos permitem identificar possíveis problemas e ajustar o sistema para melhorar sua funcionalidade.

No caso do AOC, os testes piloto podem incluir:

• A simulação de diferentes cenários de uso.
• A variação do enredo do mesmo incidente.
• Analisando os resultados para fazer os ajustes necessários.

 

4.2 Infraestrutura segura e confiável

Para garantir a disponibilidade e a segurança corretas do bot, a infraestrutura do serviço deve ser hospedada em servidores seguros e confiáveis, dentro do Espaço Econômico Europeu, para cumprir com os regulamentos de proteção e segurança de dados.

Ao mesmo tempo, se você deseja ter uma boa segurança para este agente virtual, isso deve incluir o uso de data centers certificados e a implementação de backups regulares para evitar perda de dados em caso de incidentes.

5.1 Instruções

Para garantir o funcionamento ideal, o chatbot deve ter um conjunto de instruções claras que orientem o modelo de IA em suas interações com os usuários. Essas instruções devem incluir diretrizes específicas sobre como estruturar respostas e como priorizar informações relevantes.

Como pode ser visto na imagem, é muito importante que as instruções sirvam para explicar como gerenciar consultas complexas para evitar conflitos e confusões com os cidadãos.

Ilustração 3 Instruções do chatbot AOC AI

Essas instruções devem ser revisadas e atualizadas periodicamente, não apenas para garantir que o chatbot se adapte às novas necessidades da organização, mas também para poder corrigir erros e antecipar problemas futuros.

5.1.1 Estrutura das respostas

As respostas do chatbot devem seguir uma estrutura clara e coerente para facilitar o entendimento pelos usuários. O chatbot deve ser capaz de:

• Use frases curtas e simples.
• Divida as informações em parágrafos ou pontos para facilitar a leitura.
• Use uma linguagem acessível.
• Evite detalhes técnicos ou termos complexos que possam gerar confusão.
• Informe de onde veio a informação para que os cidadãos possam consultar a fonte original.

Ilustração 4 Exemplo de estrutura clara e coerente, bem como envio da fonte de informação

Como você pode ver no exemplo, é muito importante que, quando a informação for muito extensa ou simplesmente buscar ampliar a informação, o chatbot sempre anexe as FAQs originais, pois isso agrega valor e confiabilidade na resposta.

5.2 Personalidade

O chatbot deve ter uma personalidade definida que se adapte às necessidades dos usuários e, principalmente, à imagem institucional que a organização deseja passar. Da mesma forma, de acordo com o ponto 27 do Regulamento Europeu (UE) 2024/1689 , esses sistemas de inteligência artificial devem ser desenvolvidos e utilizados de forma que permitam que as pessoas que os utilizam saibam que estão se comunicando ou interagindo com uma IA.

É essencial estabelecer um tom de comunicação adequado, próximo, natural e alinhado às expectativas dos usuários.

Ilustração 5 Personalidade do bot AOC

Este bot deve manter:

• Consistência na linguagem e no estilo de resposta para oferecer uma experiência tranquila e satisfatória.
• Ter não apenas o uso de uma linguagem apropriada, mas também a capacidade de transmitir empatia nas respostas,
• Faça com que os usuários se sintam ouvidos e valorizados.
• Ofereça-se para continuar a conversa o tempo todo, caso o cidadão precise de informações adicionais à pergunta feita.

Ilustração 6 Exemplo de informação

 

Ilustração 7 Ofereça-se para continuar a conversa e fornecer mais informações

5.2.1 Definição do tom de voz e adaptação do chatbot

O tom de voz do bot deve refletir os valores e a cultura da organização. Por exemplo, um chatbot de uma instituição financeira pode optar por um tom mais formal e profissional, enquanto um de uma administração pública pode optar por um tom mais acessível e conciliador.

É importante que o tom de voz seja consistente em todas as interações para gerar confiança e credibilidade entre os usuários. Esse tom de voz deve ser capaz não só de ser estável e tratar todas as pessoas igualmente, mas também deve ser capaz de se adaptar a diferentes situações, mantendo sempre uma atitude positiva e proativa, mesmo em momentos de conflito ou insatisfação por parte do usuário.

O chatbot deve ser capaz de se adaptar a diferentes tipos de usuários levando em consideração fatores como:

• Idade
• O nível de conhecimento tecnológico
• Preferências pessoais
• O tipo de serviço/produto para o qual eles precisam de ajuda

Para alcançar essa adaptabilidade e, finalmente, uma experiência do usuário mais satisfatória e relevante, é essencial personalizar as respostas por meio de intenções generativas.

Ilustração 8 Adaptando o bot a uma pessoa com pouco conhecimento tecnológico

5.3 Biblioteca de conhecimento

O conhecimento do chatbot deve ser baseado em uma combinação de fontes confiáveis, como perguntas frequentes, bancos de dados documentais, sistemas de informação atualizados e incidentes anteriores de usuários. Essa biblioteca de conhecimento deve ser facilmente acessível e navegável para permitir que o chatbot encontre as informações necessárias de forma rápida e eficiente.

No caso do AOC, a biblioteca de conhecimento do chatbot contém as seguintes informações:

• Links para todas as perguntas frequentes no Portal de suporte da AOC.
• Instruções para responder a perguntas complexas
• Incidentes de usuários reais com formato de pergunta/resposta

A diversidade dessas fontes de informação permite que o bot ofereça respostas mais completas e fundamentadas. Além disso, o uso de fontes também ajuda a garantir que o chatbot possa responder a uma ampla gama de consultas e fornecer informações atualizadas e precisas o tempo todo.

Ilustração 9 Incidência do usuário com formato Pergunta/Resposta

 

Ilustração 10 Instruções para responder perguntas complexas

É essencial que esta biblioteca de conhecimento seja mantida constantemente atualizada para garantir a precisão e a relevância das respostas. Isto implica:

• Revise periodicamente as fontes de informação
• Incorporação de novo conteúdo à medida que ele é gerado ou modificado.
• Estabeleça um processo de validação de informações para garantir que os dados utilizados sejam corretos e confiáveis.

5.4 Criando Intenções Generativas

É crucial definir com precisão as principais intenções do chatbot para garantir uma interpretação flexível e eficiente das perguntas dos usuários. Ao contrário dos chatbots tradicionais, um bot com IA generativa deve ser capaz de entender consultas formuladas de diferentes maneiras e adaptar a resposta de acordo com o contexto.

Criar uma intenção generativa não está muito longe de criar intenções tradicionais. A principal diferença é que pequenas instruções podem ser adicionadas para guiar o bot a uma resposta mais personalizada.

Ilustração 12 Erro de intenção generativa ao acessar uma notificação

Como visto na imagem, primeiro algumas frases de treinamento são definidas (assim como nas intenções clássicas) e então uma série de instruções são escritas para que o bot gere uma resposta generativa. Vale ressaltar que a IA permite a geração de variações da frase de treinamento inserida sem precisar criá-las uma por uma.

Isso deve ser definido de forma clara e precisa para garantir a interpretação correta das consultas do usuário. Para fazer isso, você precisa identificar as perguntas mais frequentes e as necessidades comuns dos usuários e criar intenções específicas para cada uma delas.

É necessário implementar filtros para detectar e gerenciar consultas fora do escopo do serviço, fornecendo recomendações alternativas aos usuários quando necessário. Isso pode incluir redirecionamento para outros canais de atendimento, sugestão de recursos adicionais ou encaminhamento a um agente humano quando necessário. Além disso, o chatbot deve ser capaz de reconhecer quando uma consulta é muito complexa para ser resolvida automaticamente.

Essa intenção pronta é fundamental para que os cidadãos tenham clareza sobre o escopo do serviço e do conhecimento do chatbot. É importante não gerar falsas expectativas e deixar claro que o usuário deve entrar em contato com a administração correspondente, sempre oferecendo mais informações sobre os serviços do AOC.

Ilustração 13 Intenção fora do escopo do AOC e sugestão de recurso adicional

É importante revisar e atualizar as intenções regularmente para se adaptar às novas necessidades. É preciso levar em conta que o bot deve ser capaz de gerenciar múltiplas intenções simultaneamente na mesma conversa, oferecendo respostas coerentes e relevantes em todos os momentos.

Por fim, ter intenções bem estruturadas e claras permitirá que você ofereça uma experiência de usuário mais satisfatória e evite frustrações.

5.4.1 Adaptabilidade e flexibilidade

O bot deve ser capaz de se adaptar às diferentes formas de formulação de consultas pelos usuários. Isso envolve a capacidade de reconhecer sinônimos, variações gramaticais e diferentes estruturas de frases.

Também é importante que o chatbot consiga adaptar suas respostas de acordo com o contexto da conversa, oferecendo informações relevantes e precisas em todos os momentos. Da mesma forma, ele deve ser capaz de aprender com interações anteriores e ajustar suas respostas com base nas preferências e necessidades específicas de cada usuário.

Ilustração 14 Exemplos de flexibilidade em variações e estrutura de frases

Ilustração 15 Exemplos de flexibilidade em variações e estrutura de frases

5.4.2 Canais alternativos de atenção

Para evitar a dependência exclusiva de um sistema automatizado, é importante oferecer canais alternativos de atendimento personalizado.

Isso permite que os usuários acessem suporte humano nos casos em que o chatbot não pode fornecer uma resposta adequada ou quando é necessária atenção mais detalhada. Canais alternativos podem incluir suporte por telefone, e-mail ou chat ao vivo com agentes humanos.

Ilustração 16 Oferecendo canais de contato alternativos

6.1 Proteção de dados, minimização e eliminação

O chatbot deve garantir a minimização de dados, evitando a coleta de informações pessoais desnecessárias. Todas as conversas devem ser tornadas anônimas e excluídas após um determinado período de tempo para evitar riscos à proteção de dados.

No caso do AOC, as conversas são excluídas após 3 meses, pois considera-se que já passou tempo suficiente para analisar as respostas. Em todos os momentos, os usuários são informados de forma transparente sobre a coleta e melhoria de dados.

Ilustração 17 Mensagem de boas-vindas sobre o processamento de dados

A minimização de dados é um princípio fundamental na proteção de dados pessoais. O chatbot deve coletar apenas as informações estritamente necessárias para oferecer o serviço, evitando a coleta de dados sensíveis ou desnecessários. Isso ajuda a reduzir os riscos associados à proteção de dados e a cumprir as regulamentações atuais.

Para garantir a privacidade do usuário, todas as conversas devem ser anonimizadas, removendo qualquer informação que possa identificá-lo pessoalmente.

Por exemplo, no AOC a nível de cidadão e empresarial, quando o utilizador fornece alguns dados pessoais, o chatbot informa-o de que está a introduzir dados sensíveis, entendendo que estes dados são essenciais para a realização do procedimento.

O AOC está trabalhando para implementar mecanismos de anonimato quando um usuário adiciona quaisquer dados pessoais. Isso é importante porque, como as conversas são mantidas por 3 meses, não armazenar os dados pessoais inseridos pelo usuário adiciona uma camada extra de segurança.

 

Ilustração 18 Dados pessoais visão do cidadão

6.2 Proteção de dados, minimização e eliminação

Para cumprir o Regulamento de IA da União Europeia, o chatbot deve ser claramente identificável como um assistente virtual e deve fornecer informações transparentes sobre sua operação.

A publicação de uma folha de transparência algorítmica permite que os usuários saibam quais dados foram usados ​​para treinar o sistema e qual modelo de IA está sendo usado. Da mesma forma, é necessário garantir que o sistema não tome decisões com impacto significativo nos usuários sem supervisão humana.

6.2.2 Transparência algorítmica

Para garantir a confiança do usuário no sistema de IA, o AOC recomenda e defende total transparência tecnológica por meio de nossa folha de transparência algorítmica. . Vale ressaltar que esta ficha está em constante evolução e é atualizada sempre que houver alguma alteração relevante no chatbot.

Essa transparência é essencial para garantir a confiança do usuário no sistema de IA. Isso envolve fornecer informações detalhadas sobre como o chatbot funciona, incluindo os dados usados ​​para treinar o modelo e os algoritmos usados.

Publicar uma folha de transparência algorítmica permite que os usuários entendam como as decisões são tomadas e quais fatores influenciam as respostas do chatbot.

6.2.2 Supervisão humana

Isso implica estabelecer mecanismos de revisão e intervenção humana nos casos em que as decisões do chatbot podem ter consequências importantes para os usuários. A supervisão humana ajuda a garantir que as decisões sejam justas, éticas e alinhadas com os valores da organização.

Para cumprir o Regulamento de IA da União Europeia, é necessário garantir que o chatbot não tome decisões com impacto significativo nos usuários sem supervisão humana.

Um chatbot com IA generativa deve estar em constante evolução para melhorar a qualidade de suas respostas e se adaptar às novas necessidades dos usuários. Isso requer um processo de monitoramento contínuo que inclui:

• A revisão da conversa
• Detectando padrões de erro
• A otimização de intenções generativas.
• Identifique áreas para melhoria e adicione novos conhecimentos ao banco de dados do sistema.

7.1 Rotinas de revisão

7.1.1 Revisando conversas

É essencial revisar periodicamente as conversas geradas pelo chatbot para identificar respostas incorretas, inconsistências ou problemas de compreensão. Esta revisão deve incluir a análise de amostras aleatórias para garantir a qualidade geral do serviço. Essas amostras aleatórias devem levar em consideração os seguintes fatores:

• Dia da semana
• Hora do dia
• Tipo de serviço
• Pesquisar conversas por palavras-chave

O tempo dedicado a essas revisões deve depender dos recursos disponíveis para a organização; no caso do AOC, aproximadamente 1 hora por dia é dedicada a tudo o que está implícito no ponto 6 sobre rotinas de revisão.

É muito importante documentar os erros detectados e implementar ações corretivas para melhorar continuamente o desempenho do chatbot.

7.1.2 Análise de padrões de erro

A análise de padrões de erro permite identificar problemas recorrentes nas respostas do chatbot e desenvolver soluções específicas para corrigi-los. Para detectar esses padrões de erro, é crucial, uma vez detectada a conversa errônea, procurar sua palavra-chave e assim identificar outras conversas com o mesmo erro.

Ao fazer isso, será muito mais fácil adaptar a intenção generativa correspondente e incorporar novas informações à biblioteca de conhecimento.

7.1.3 Otimização de intenções generativas e incorporação de novos conhecimentos

Uma vez detectados os padrões de erro, é necessário otimizar as intenções generativas ajustando as instruções para cada um com o objetivo de garantir que ele possa responder efetivamente a uma ampla variedade de consultas.

Por exemplo, inicialmente a intenção de renovar o Certificado idCAT não incluía links para mais informações. Uma vez detectado o erro, nas instruções de intenção você adiciona “Sempre responda com: Como renovo o Certificado idCAT?" e quando você perguntar ao bot novamente, ele sempre anexará as informações do FAQ.

Ilustração 19 Insira novas informações nas instruções do bot

Ilustração 20 Resposta do bot com link para FAQ de renovação

Incorporar novos conhecimentos à biblioteca do chatbot também é essencial para manter sua relevância e precisão. Por exemplo, se uma nova FAQ for gerada em um dos portais de suporte, é essencial atualizar as informações existentes, incorporando essa nova fonte de conhecimento.

7.2 Monitoramento de atividades

7.2.1 Coleta de estatísticas

Monitorar a atividade do chatbot é essencial para entender seu uso e detectar possíveis gargalos na interação do usuário. Coletar estatísticas sobre frequência de uso, duração média das conversas, porcentagem de perguntas resolvidas com sucesso e dúvidas mais comuns permite que decisões informadas sejam tomadas para melhorar o sistema. Esses dados também podem ajudar a identificar horários de maior demanda e otimizar a disponibilidade de recursos tecnológicos.

Ilustração 21 Tela de estatísticas do chatbot AOC

Essas análises também nos permitem identificar tendências e padrões no uso do bot, especialmente nas consultas e respostas mais frequentes e nas áreas onde temos mais dificuldade em fornecer respostas adequadas.

7.3 Avaliações do usuário

7.3.1 Pesquisas de satisfação e sistemas de pontuação

É fundamental que esse bot ou a organização implemente mecanismos para avaliar as respostas dos usuários, como pesquisas de satisfação ou sistemas de pontuação. Isso permite:

• Obter uma visão objetiva do grau de satisfação do usuário
• Faça ajustes na operação do bot
• Avalie as respostas do chatbot de forma rápida e fácil

Pesquisas de satisfação podem incluir perguntas sobre a qualidade das respostas ou incluir o uso de estrelas, pontos ou outras métricas para indicar o grau de satisfação com a resposta recebida.

Para garantir que o chatbot atenda às expectativas da organização, é necessário estabelecer um sistema de avaliação constante. Isso inclui a definição de indicadores-chave de desempenho (KPIs), como taxa de sucesso, tempo de resposta e redução de tickets de suporte. Também é importante estabelecer comparações periódicas com outros canais de atendimento ao cliente para avaliar se o chatbot está agregando valor.

Testes piloto podem ser realizados em diferentes épocas do ano para identificar possíveis melhorias em sua funcionalidade e garantir que a experiência do usuário seja sempre satisfatória.

Para complementar este processo, deve-se criar:

• Uma metodologia de avaliação periódica na qual conversas reais de usuários são revisadas para detectar erros recorrentes.
• Analisar a qualidade das respostas (ponto 6 do guia).
• Implementar ajustes que melhorem o desempenho geral do chatbot (ponto 6 do guia)

8.1 Redução de tickets de suporte e comparações periódicas com outros canais de suporte

Vale destacar que o bot com inteligência artificial também é um mecanismo de suporte que amplia os canais de comunicação tradicionais. Ter um bot de IA não substituirá completamente o suporte humano, mas sim adicionará uma camada anterior (próxima e amigável) a esse suporte humano.

A redução de tickets de suporte é um indicador que mede a eficácia do chatbot em resolver dúvidas sem a necessidade de intervenção humana. Uma redução significativa no número de tickets de suporte indica que o chatbot está agregando valor à organização, melhorando a eficiência operacional e reduzindo a carga de trabalho dos agentes humanos.

No caso do AOC, embora seja verdade que não se pode dizer que foi exclusivamente devido ao chatbot, já que outras melhorias de suporte foram implementadas, em 2024 as solicitações de suporte foram reduzidas de 93.000 em 2023 para 65.000 em 2024. Da mesma forma, enquanto as solicitações de suporte diminuíram, as transações e o número de consultas dobraram no mesmo período. .

Ilustração 22 Evolução das solicitações de suporte

Fazer comparações periódicas com outros canais de suporte, como suporte por telefone, e-mail ou chat com um agente, permite identificar os pontos fortes e fracos do chatbot e determinar se ele está agregando valor em comparação a outros canais.

Essas comparações também nos permitem identificar se estão ocorrendo novos incidentes que não foram previstos pelo bot, a fim de ajustar as intenções generativas ou melhorar a biblioteca de conhecimento.

O objetivo é garantir que o chatbot ofereça uma experiência satisfatória ao usuário e esteja alinhado às expectativas da organização.

8.2 Metodologia de avaliação periódica

8.2.1 Revisão de conversas reais

Para garantir que o chatbot atenda às expectativas da organização, é necessário estabelecer uma metodologia de avaliação periódica, na qual sejam revisadas conversas reais dos usuários. Isso permite que você detecte erros recorrentes, analise a qualidade das respostas e implemente ajustes que melhorem o desempenho geral do chatbot.

É importante documentar essa metodologia junto com a maneira como essas conversas serão analisadas. No caso do AOC, a metodologia seguida é a seguinte:

• Período de revisão: Mensal
• Número de conversas para revisar: 150 conversas
• Frequência de revisão: 5 conversas aleatórias para cada um dos 30 dias do mês.
• Intervalos de tempo para revisão diária: 1 conversa aleatória é revisada nos horários da manhã, meio-dia, tarde, noite e noite.
• Pergunta para avaliar a resposta:O bot resolveu corretamente o problema do cidadão? SIM / NÃO
  • SIM: Quando o bot respondeu corretamente a tudo o que o usuário perguntou.
  • NÃO: Quando o bot respondeu incorretamente ou não responde ao que o usuário solicitou.
• No caso de conversas com mais de uma interação, a contagem total de respostas do bot será avaliada para concluir se o bot ajudou o cidadão ou não. Se uma das interações do bot for incorreta, ela será classificada com uma NÃO a conversa.
• É importante registrar interações que estejam fora da competência do chatbot para quantificar quantas consultas não podem ser tratadas pelo bot.
• Você deve indicar o serviço/produto para o qual o chatbot forneceu assistência.

Essas análises de conversas ajudam a identificar novas necessidades dos usuários e a adaptar o chatbot para atendê-las.

1. Blog AOC – O AOC implementa um chatbot líder de atendimento ao cidadão usando IA generativa (https://www.aoc.cat/blog/2024/xatbot-aoc-iagenerativa/)
2. https://1millionbot.com/
3. Serviço de assistente de conversação virtual (chatbot)(Informação da publicação – Plataforma de Serviços de Contratação Pública)
4. Regulamento (UE) 2024/1689 do Parlamento Europeu e do Conselho, de 13 de junho de 2024, que estabelece regras harmonizadas sobre inteligência artificial e altera os Regulamentos (CE) n.º 300/2008, (UE) n.º 167/2013, (UE) n.º 168/2013, (UE) 2018/858, (UE) 2018/1139 e (UE) 2019/2144 e as Diretivas 2014/90/UE, (UE) 2016/797 e (UE) 2020/1828 (Regulamento sobre Inteligência Artificial) https://www.boe.es/buscar/doc.php?id=DOUE-L-2024-81079
5. Transparência Algorítmica: Chatbots com IA Generativa da AOC (https://www.aoc.cat/ia-transparencia-xatbots-amb-ia-generativa/)
6. O inovador chatbot de IA generativa permite que o AOC duplique o número de solicitações tratadas pelo serviço de suporte (https://www.aoc.cat/blog/2025/xatbot-ia-generativa-suport/)