AOC

Desafio

Como garantir o uso responsável, seguro e justo dos algoritmos de inteligência artificial que aplicamos aos serviços de governo digital e ganhar a confiança do usuário

Problema e contexto atual

A inteligência artificial (IA) tornou-se parte integrante de nossas vidas diárias. Os governos o utilizam para melhorar a acessibilidade e a experiência dos serviços públicos, otimizar processos ou administrar o espaço público, por exemplo.

Os algoritmos são a base dos sistemas de IA e geralmente agem como “caixas pretas” para as pessoas que os usam e os afetam. Para evitar que isso aconteça, é essencial que os algoritmos possam ser entendidos pelos usuários, que eles possam entender como uma determinada decisão foi tomada e por que essa decisão é tomada. Ainda mais no caso do governo, que só funciona quando há confiança entre ele e a população. Uma boa administração deve permitir que todos os cidadãos compreendam as razões das decisões e tenham a possibilidade de as contestar.

Nos governos democráticos, a confiança é garantida por meio de inúmeras salvaguardas legais. Sobre a obrigatoriedade de tornar transparentes os algoritmos de IA utilizados em serviços digitais de governo, a lei estabelece o direito dos indivíduos de obterem explicação sobre decisões automatizadas (RGPD) e prevê a criação de “mecanismos” para que os algoritmos envolvidos na decisão - levando em conta critérios de transparência e explicabilidade (Lei Integral 5/2023 de igualdade de tratamento e não discriminação), mas não estabelece nenhum mecanismo específico ou instrumento legal para fazê-lo Ele apenas dá recomendações e deixa para as organizações encontrarem a ferramenta mais adequada para:

  • fornecer informações significativas sobre a lógica dos algoritmos usados, bem como as consequências esperadas, que sejam claras e usem linguagem compreensível,
  • permitir que as pessoas entendam por que um algoritmo deu um determinado resultado, bem como indicar o órgão perante o qual podem recorrer de suas decisões específicas ou contestar seu funcionamento geral,
  • abrir os algoritmos ao controle democrático.

Diante da falta de mecanismos, técnicas ou métodos concretos para alcançar a transparência algorítmica, a AOC realizou um estudo para buscar formas padronizadas de transparência e priorizar o entendimento dos algoritmos que aplicamos aos nossos serviços de administração digital

É daí que vem a iniciativa de transparência algorítmica que apresentamos.

Solução proposta 

A transparência no desenvolvimento e uso da inteligência artificial (IA) é uma questão crucial para garantir que essa tecnologia seja responsável e justa para a sociedade.

Como meio de alcançar a transparência algorítmica, o AOC propõe a publicação no Portal da Transparência de tokens compreensíveis para cada algoritmo de IA empregados em serviços de administração digital.

Esta iniciativa pretende ser uma ferramenta para:

  • ajudar as pessoas a entender como funcionam os algoritmos usados ​​no governo local e qual é sua finalidade,
  • fornecer transparência significativa de forma padronizada e permitir comparação entre diferentes algoritmos,
  • tornar mais fácil para todos darem a sua opinião e participarem na criação de algoritmos centrados no ser humano.

Conteúdo do arquivo

Cada guia de transparência algorítmica contém:

  • o problema a ser resolvido pelo algoritmo de IA em questão,
  • a explicação das características do algoritmo, bem como seu funcionamento,
  • os grupos que podem ser afetados pelo algoritmo,
  • a análise de risco ou avaliação de impacto na proteção de dados que foi realizada (conforme aplicável) para determinar os possíveis vieses discriminatórios do algoritmo,
  • a análise de risco de segurança do sistema que foi feita para identificar as possíveis contingências de disponibilidade e segurança do sistema que contém o algoritmo,
  • la gerenciamento de riscos tomadas e as medidas aplicadas para garantir o cumprimento dos direitos fundamentais, 
  • o órgão perante o qual é possível recorrer das decisões específicas do algoritmo ou contestar o seu funcionamento geral,
  • os dados de contato do responsável e do fornecedor do algoritmo.

→ Veja o folha de transparência algorítmica do modelo AOC (PDF)

Como o conteúdo do arquivo foi determinado

Para determinar o conteúdo dos arquivos de transparência algorítmica, a equipe de Inovação e Dados, com o apoio dos serviços jurídicos da AOC, realizou um estudo que inclui:  

  1. Uma análise dos regulamentos existentes que aborda a questão da transparência das decisões automatizadas tomadas por algoritmos de IA, com atenção especial para:  
  • Regulamento Europeu de Proteção de Dados (RGPD) 
  • Proposta de Regulamento sobre a utilização de inteligência artificial do Conselho da Europa 
  • Lei 15/2022, de 12 de julho, abrangente para a igualdade de tratamento e não discriminação 
  1. Documentos que fornecem diretrizes e orientações para alcançar uma IA segura e confiável. Deve-se notar: 
  • Diretrizes éticas para IA confiável, do grupo de especialistas de alto nível da Comissão Europeia em IA (abril de 2019) 
  • Relatório "Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights" do Comissário para os Direitos Humanos do Conselho da Europa (maio de 2019)
  • Relatório APDCAT “Decisões automatizadas na Catalunha” (janeiro de 2020)  
  • Declaração Europeia sobre Direitos Digitais e Princípios para a Década Digital (janeiro de 2023)
  1. Eles também foram explorados iniciativas de transparência algorítmica de diferentes administrações, que estão em fase de desenvolvimento. Deve-se notar: 
  • Registro de Algoritmos da cidade de Amsterdã – implementado
  • Registro de Inteligência Artificial da cidade de Helsinque – implementado
  • Padrão algorítmico do Reino Unido – implementado
  • Registro de Algoritmos Municipais da Câmara Municipal de Barcelona 
  • Cadastro de Algoritmos da Fundação TIC Saúde Social 
  • Radar de algoritmos de IA da Tabela de entidades do Terceiro Setor Social da Catalunha
  • Proposta de um quadro ético de trabalho para os algoritmos da Generalitat de Catalunya

Conclusões do estudo

Os estados membros da União Europeia comprometem-se, através da Declaração Europeia dos Direitos Digitais e Princípios para a Década Digital, a garantir um nível adequado de transparência na utilização de algoritmos e inteligência artificial e porque as pessoas são informadas e treinadas para usá-los quando eles interagir com eles.

Para cumprir a exigência de transparência dos sistemas de IA das administrações públicas, a normativa hoje existente NÃO estabelece nenhum mecanismo, forma padronizada ou instrumento legal “concreto” para tanto; embora:

  • o Regulamento de IA que está a ser preparado pelo Conselho da Europa aponta, como primeira ação recomendada, “registar e documentar” os sistemas de IA utilizados por organizações que possam estar sujeitas a este regulamento;
  • o artigo 23.º da abrangente Lei 15/2022 de igualdade de tratamento e não discriminação fala em favorecer a implementação de “mecanismos” para que os algoritmos envolvidos na tomada de decisão tenham em conta critérios de minimização de enviesamento, transparência e responsabilização;
  • algumas portarias municipais estabelecem a obrigatoriedade de publicar no site a lista de ações administrativas automatizadas – que podem ou não envolver o uso de algoritmos de IA –, com informações sobre as regras aplicadas e seu funcionamento.

Exploramos diferentes iniciativas que estão sendo promovidas pelos governos locais e regionais europeus, a fim de encontrar uma “forma padronizada” que nos permita cumprir o requisito de transparência dos algoritmos de IA que aplicamos aos nossos serviços de governo digital.

Entre todas as iniciativas exploradas e de acordo com as obrigações legais em vigor, chegámos à conclusão de que o publicação de arquivos de transparência algorítmica no Portal da Transparência é um solução rápida e simples que facilita o cumprimento do requisito de transparência estabelecido nos regulamentos i permite ganhar a confiança dos usuários nos sistemas de IA das administrações públicas.

O estudo também nos permitiu determinar quais informações relevantes precisam ser fornecidas sobre os serviços públicos baseados em IA para que os usuários possam compreender como os algoritmos tomam decisões e como essas decisões são verificadas. Caso contrário, nos aprofundamos na identificação e análise dos riscos mais prováveis ​​envolvidos no uso de algoritmos de IA em relação a direitos fundamentais, e os relacionamos com as medidas que devem ser aplicadas em cada caso para garantir o cumprimento desses direitos. (Consulte a seção Gestão de Riscos das Fichas de Transparência Algorítmica).

ARQUIVOS PUBLICADOS:

Status do projeto

Em produção. As três primeiras folhas de transparência algorítmica foram publicadas.

Mais Informações

Casos práticos implementados:

Casos em fase de desenvolvimento:

Referências bibliográficas:

Obrigações legais:

quadro europeu

  • Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016, relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais e à livre circulação desses dados e pelo qual revoga a Diretiva 95 /46/EC (“RGPD"). Link
  • Orientações sobre decisões individuais automatizadas e perfis para efeitos do Regulamento 2016/679. Adotado em 3 de outubro de 2017 e revisado pela última vez e adotado em 6 de fevereiro de 2018. Grupo de Trabalho sobre Proteção de Dados Artigo 29 da Diretiva 95/46/CE. Link
  • Proposta de regulamento do Parlamento Europeu e do Conselho que estabelece regras harmonizadas em matéria de inteligência artificial (Lei da Inteligência Artificial) e que altera determinados atos legislativos da União. 21 de abril de 2021. Comissão Europeia. COM(2021) 206 final. Link / Anexo I da proposta de Regulamento de IA da Comissão Europeia (2021)

estrutura do estado

  • Lei Orgânica 3/2018, de 5 de dezembro, sobre proteção de dados pessoais e garantia de direitos digitais (“LOPDGDD"). Link
  • Cumprimento do RGPD dos tratamentos que incorporam Inteligência Artificial. Uma introdução Fevereiro de 2020. AEPD. Link
  • Lei 15/2022, de 12 de julho, abrangente para a igualdade de tratamento e não discriminação. Link

quadro catalão

  • Lei 19/2014, de 29 de dezembro, sobre transparência, acesso à informação pública e boa governação. Link
  • Decreto 76/2020, de 4 de agosto, sobre Administração Digital. Link