Transparência algorítmica: chatbots conversacionais

Transparência algorítmica: chatbots conversacionais AOC

Visão geral 

O assistente virtual conversacional do AOC, também denominado chatbot, é um serviço de apoio a funcionários públicos e cidadãos, 24 horas por dia, 7 dias por semana, que visa facilitar os processos de identificação digital e acesso à informação a partir da transparência portal, além de melhorar a experiência do usuário e aumentar a autorresolução de incidentes e dúvidas. 

O serviço fornece informações relevantes às dúvidas específicas de cada usuário de forma mais fácil e ágil do que a busca pelas informações no site. 

Casos de uso 

O AOC aplica atualmente o assistente virtual conversacional a três áreas de conteúdo:

La Paula é o chatbot que apoia o serviço VALid nas dúvidas mais comuns levantadas pelos usuários no processo de identificação dos serviços de processamento e notificação do AOC. 

La Rita pode ser encontrado na página de aplicação e gerenciamento do Certificado idCAT (https://idcat.cat/) e ajuda a esclarecer as dúvidas e dúvidas mais comuns relacionadas à obtenção, utilização e renovação do Certificado idCAT. 

Un novo chatbot no portal Transparência e Sede Eletrônica que ajuda a encontrar a informação ou procedimento que o usuário necessita. Está em fase piloto em cinco municípios: Fornells de la Selva, Llagostera, Sarrià de Ter, Tordera e Tremp. 

Os chatbots AOC são capazes de lidar com consultas complexas porque interpretam a linguagem natural das pessoas usando algoritmos de inteligência artificial.

Eles respondem com base em: 

  1. As informações públicas do portal de suporte AOC (https://www.aoc.cat/suport) que está estruturado na forma de perguntas frequentes (FAQ). Essas informações são preparadas e carregadas manualmente no bot. 
  2. O treinamento de fluxos de conversação guiados baseados em regras. 

Os assistentes de conversação aumentam a eficiência da Administração Aberta da Catalunha ao permitir a automatização das respostas às perguntas mais frequentes recebidas através do canal web. 

Informações de contato 

Órgão responsável
Administração Aberta da Catalunha 

Contate a equipe para dúvidas
Ramo de Inovação e Dados

E-mail da equipe
innovacio@aoc.cat  

Fornecedor externo
UM MILHÃO DE BOT, SL 

E-mail do fornecedor
info@1millionbot.com  

Informações mais detalhadas sobre o sistema 

Familiarize-se com as informações que o sistema utiliza, a lógica operacional do algoritmo e sua governança. 

Conjuntos de dados 

Duas fontes principais de dados são usadas: 

Dados para treinar os algoritmos 

Informações públicas do portal de suporte AOC (https://www.aoc.cat/suport) que está estruturado em forma de perguntas-respostas na área de conteúdo do chatbot. Esses são exemplos de perguntas feitas pelos usuários quando são atendidos pelo Centro de Atendimento ao Usuário (CAU) da AOC. 

As informações são propriedade da AOC e são compartilhadas sob a licença Creative Commons CC-Zero. Pode ser copiado, modificado, distribuído e reutilizado sem permissão, inclusive para fins comerciais. 

O material de treinamento não contém dados pessoais (razão pela qual a análise de proteção de dados não foi feita) 

As informações são carregadas no sistema algorítmico manualmente. Alguns dos exemplos de perguntas também são usados ​​para testar o modelo. 

Gravação de conversa 

O sistema registra em um arquivo as perguntas feitas e as respostas dadas durante a sessão de chat. A equipe de desenvolvimento de serviço analisa periodicamente o log para ver como o serviço respondeu às perguntas dos usuários. 

Através da análise são identificadas as áreas de conteúdo em que o material de formação e as respostas fornecidas pelo serviço necessitam de ser melhoradas. Após a análise, o material de treinamento é redefinido e mais exemplos de perguntas podem ser adicionados ou novos fluxos de conversação guiada podem ser criados para melhorar a experiência do usuário do serviço. Os comentários dos usuários também podem ser usados ​​para refinar as respostas e adicionar mais informações. 

Está previsto que na próxima versão do bot, o log de conversas será excluído automaticamente do sistema periodicamente após a análise, mas relatórios relacionados ao uso, como taxas de uso, taxas de resposta e outros parâmetros, continuarão a ser armazenados para monitorar o progresso a longo prazo. 

O log de bate-papo é de propriedade do AOC, mas não está licenciado para ele. 

Processamento de dados 

A lógica operacional do processamento automático de dados e o raciocínio realizado pelo sistema baseia-se no seguinte modelo e metodologia: 

Arquitetura do modelo 

O serviço Xatbot é baseado na tecnologia Dialogflow do Google e na plataforma de administração 1MillionBot hospedada na infraestrutura Google Cloud Platform (GCP). Os servidores estão localizados no Google Cloud Data Center na Bélgica, no Espaço Económico Europeu (EEE). 

O serviço usa algoritmos de IA e modelos de aprendizado de máquina para processar perguntas em linguagem natural. 

O usuário faz as perguntas por meio de uma interface digital que funciona em diversos dispositivos (web, mobile, tablet) 

Além disso, os chatbots permitem fluxos de conversação guiados que facilitam a resolução de consultas. 

Foi implementado um sistema para recolher a opinião dos utilizadores e poder avaliar a satisfação da conversa geral. Essas informações são usadas para melhorar continuamente o serviço. 

atuação 

O desenvolvimento da utilização e a qualidade do serviço são continuamente avaliados.  

As estatísticas de utilização e as medidas de qualidade são registadas regularmente em relatórios mensais automáticos.  

A medida de qualidade inclui o número de respostas corretas em relação a todas as questões e comentários diretos feitos pelos usuários sobre o serviço. 

O nível de precisão do sistema é um taxa de sucesso acima de 95% (atualizado em 24/5/2023) 

Sem discriminação 

Para garantir a igualdade na utilização do serviço, está disponível em catalão, espanhol e inglês. O usuário pode escolher o idioma no início da conversa ou a qualquer momento no menu do bot. 

O serviço compreende a linguagem natural mesmo que haja erros ortográficos e/ou linguísticos. 

Supervisão humana 

O algoritmo do chatbot atua diretamente, mas sob vigilância ex post do pessoal responsável pela decisão final, que foi particularmente intensa no período inicial de operação. Desta forma, os vieses do algoritmo podem ser compensados. 

Assim, o serviço é supervisionado pelos funcionários que o administram: 

  • Por um lado, o serviço identifica e recolhe automaticamente questões que não puderam ser respondidas. Essas perguntas são enviadas aos especialistas do CAU (primeiro ou segundo nível) para desenvolverem os fluxos conversacionais que permitirão que sejam respondidas nas próximas vezes. 
  • Por outro lado, especialistas em monitoramento monitoram periodicamente os registros de comentários e conversas e analisam as estatísticas de utilização do serviço. Com base nesses dados, os especialistas identificam os assuntos que interessam aos usuários e desenvolvem novos fluxos de conversação e ampliam o corpus conversacional com novas palavras-chave. 

Gerenciamento de riscos 

O serviço chatbot é identificado desde o início como um “assistente virtual” para evitar que o usuário pense que está interagindo com uma pessoa. 

O serviço chatbot nunca solicita informações de identificação pessoal. No entanto, o serviço envolve um risco relacionado com o tratamento de dados pessoais caso o utilizador introduza dados pessoais desnecessários no serviço.  

Para gerir este risco, os registos de conversas são regularmente revistos por especialistas, que removem quaisquer dados pessoais que o sistema automatizado possa ter perdido. 

Está previsto que na próxima versão o serviço tenha uma função automatizada que apagará imediatamente qualquer CPF ou endereço de e-mail do registro de conversas. Além disso, durante a sessão de chat, o usuário poderá solicitar que sua conversa seja excluída do sistema para que as informações inseridas não possam ser utilizadas para alimentar o bot.

Mais Informações