AOC

Desafio

Como conquistar a confiança dos utilizadores em serviços governamentais digitais que utilizam dados e algoritmos de inteligência artificial, garantindo ao mesmo tempo a sua utilização responsável, segura e justa. 

Problema e contexto atual

A inteligência artificial (IA) tornou-se parte integrante de nossas vidas diárias. Os governos o utilizam para melhorar a acessibilidade e a experiência dos serviços públicos, otimizar processos ou administrar o espaço público, por exemplo.

Os algoritmos são a base dos sistemas de IA e geralmente agem como “caixas pretas” para as pessoas que os usam e os afetam. Para evitar que isso aconteça, é essencial que os algoritmos possam ser entendidos pelos usuários, que eles possam entender como uma determinada decisão foi tomada e por que essa decisão é tomada. Ainda mais no caso do governo, que só funciona quando há confiança entre ele e a população. Uma boa administração deve permitir que todos os cidadãos compreendam as razões das decisões e tenham a possibilidade de as contestar.

Nos governos democráticos, a confiança é garantida por meio de inúmeras salvaguardas legais. Sobre a obrigatoriedade de tornar transparentes os algoritmos de IA utilizados em serviços digitais de governo, a lei estabelece o direito dos indivíduos de obterem explicação sobre decisões automatizadas (RGPD) e prevê a criação de “mecanismos” para que os algoritmos envolvidos na decisão - levando em conta critérios de transparência e explicabilidade (Lei Integral 15/2022 de igualdade de tratamento e não discriminação), mas não estabelece nenhum mecanismo específico ou instrumento legal para fazê-lo Ele apenas dá recomendações e deixa para as organizações encontrarem a ferramenta mais adequada para:

  • fornecer informações significativas sobre a lógica dos algoritmos usados, bem como as consequências esperadas, que sejam claras e usem linguagem compreensível,
  • permitir que as pessoas entendam por que um algoritmo deu um determinado resultado, bem como indicar o órgão perante o qual podem recorrer de suas decisões específicas ou contestar seu funcionamento geral,
  • abrir os algoritmos ao controle democrático.

Diante da falta de mecanismos, técnicas ou métodos concretos para alcançar a transparência algorítmica, a AOC realizou um estudo para buscar formas padronizadas de transparência e priorizar o entendimento dos algoritmos que aplicamos aos nossos serviços de administração digital

É daí que vem a iniciativa de transparência algorítmica que apresentamos.

Solução proposta 

A transparência no desenvolvimento e utilização da IA ​​é uma questão crucial para garantir que esta tecnologia seja utilizada de forma responsável e justa perante a sociedade.

Como meio de alcançar a transparência algorítmica, o AOC propõe a publicação no Portal da Transparência de relatórios compreensíveis para cada algoritmo aplicado a serviços de administração digital.

Esta iniciativa pretende ser uma ferramenta para:

  • ajudar as pessoas a entender como funcionam os algoritmos usados ​​no governo local e qual é sua finalidade,
  • fornecer transparência significativa de forma padronizada e permitir comparação entre diferentes algoritmos,
  • tornar mais fácil para todos darem a sua opinião e participarem na criação de algoritmos centrados no ser humano.

Além disso, embora a iniciativa se concentre principalmente em sistemas de inteligência artificial, também inclui relatórios de transparência para algoritmos determinísticos em casos de uso sensíveis, como sistemas complexos de automação para assistência social de amplo alcance, seguindo o critério de que eles também podem ter um impacto relevante nas pessoas.

Conteúdo do arquivo

Cada guia de transparência algorítmica contém:

  • o problema a ser resolvido com o algoritmo em questão,
  • a explicação das características do algoritmo, bem como seu funcionamento,
  • os grupos que podem ser afetados pelo algoritmo,
  • a análise de risco ou avaliação de impacto na proteção de dados que foi realizada (conforme aplicável) para determinar os possíveis vieses discriminatórios do algoritmo,
  • a análise de risco de segurança do sistema que foi feita para identificar as possíveis contingências de disponibilidade e segurança do sistema que contém o algoritmo,
  • la gerenciamento de riscos tomadas e as medidas aplicadas para garantir o cumprimento dos direitos fundamentais, 
  • o órgão perante o qual é possível recorrer das decisões específicas do algoritmo ou contestar o seu funcionamento geral quando a lei o exigir,
  • os dados de contato do responsável e do fornecedor do algoritmo.

→ Veja o folha de transparência algorítmica do modelo AOC (PDF)

Como o conteúdo do arquivo foi determinado

Para determinar o conteúdo dos arquivos de transparência algorítmica, a equipe de Inovação e Dados, com o apoio dos serviços jurídicos da AOC, realizou um estudo que inclui:  

  1. Uma análise dos regulamentos existentes que aborda a questão da transparência das decisões automatizadas tomadas por algoritmos de IA, com atenção especial para:  
  • Regulamento Europeu de Proteção de Dados (RGPD)
  • Regulamento sobre a utilização de inteligência artificial do Conselho da Europa (AI Act)
  • Lei 40/2015 sobre o Regime Jurídico do Setor Público (LRJSP) e Regulamento para o desempenho e funcionamento do Setor Público por meios eletrónicos (RD 203/2021)
  • Lei Integral 15/2022 para igualdade de tratamento e não discriminação 
  1. Documentos que fornecem diretrizes e orientações para alcançar uma IA segura e confiável. Deve-se notar: 
  • Diretrizes éticas para IA confiável, do grupo de especialistas de alto nível da Comissão Europeia em IA (abril de 2019) 
  • Relatório "Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights" do Comissário para os Direitos Humanos do Conselho da Europa (maio de 2019)
  • Princípios para a gestão responsável de IA confiável da recomendação do Conselho de Inteligência Artificial da OCDE (maio de 2019)
  • Relatório APDCAT “Decisões automatizadas na Catalunha” (janeiro de 2020)  
  • Declaração Europeia sobre Direitos Digitais e Princípios para a Década Digital (janeiro de 2023)
  • Ferramenta da estrutura de gerenciamento de risco de inteligência artificial do NIST (janeiro de 2023)
  1. Eles também foram explorados iniciativas de transparência algorítmica de diferentes administrações, que estão em fase de desenvolvimento. Deve-se notar: 
  • Registro de Algoritmos da cidade de Amsterdã – implementado
  • Registro de Inteligência Artificial da cidade de Helsinque – implementado
  • Padrão de transparência algorítmica Eurocities, baseado no padrão do Reino Unido – implementado
  • Registro de Algoritmos Municipais da Câmara Municipal de Barcelona 
  • Cadastro de Algoritmos da Fundação TIC Saúde Social 
  • Radar de algoritmos de IA da Tabela de entidades do Terceiro Setor Social da Catalunha
  • Proposta de um quadro ético de trabalho para os algoritmos da Generalitat de Catalunya

Conclusões do estudo

Os estados membros da União Europeia comprometem-se, através da Declaração Europeia dos Direitos Digitais e Princípios para a Década Digital, a garantir um nível adequado de transparência na utilização de algoritmos e inteligência artificial e porque as pessoas são informadas e treinadas para usá-los quando eles interagir com eles.

Para cumprir o requisito de transparência dos sistemas de IA das administrações públicas, a regulamentação atual especifica as informações que devem ser prestadas de acordo com os casos , mas não define um mecanismo “concreto”, um formato padronizado ou um instrumento legal para fazê-lo; embora: 

  • o Regulamento IA estabelece a obrigação de manter um registo de todas as informações relevantes dos sistemas de IA de alto risco (art. 17);
  • a abrangente Lei 15/2022 de igualdade de tratamento e não discriminação fala em favorecer a implementação de “mecanismos” para que os algoritmos envolvidos na tomada de decisões tenham em conta critérios de minimização de preconceitos, transparência e entrega de contas (art. 23);
  • o Regulamento sobre a atuação e funcionamento do Setor Público por meios eletrónicos estabelece a obrigação de publicar no seu site a lista de ações administrativas automatizadas (AAA) - que podem ou não envolver a utilização de algoritmos de IA -, e acompanhar cada AAA com uma descrição da sua concepção e funcionamento (art. 11). 

Explorámos diferentes iniciativas que estão a ser promovidas pelos governos locais e regionais europeus, de forma a encontrar uma forma padronizada que nos permita cumprir o requisito de transparência dos algoritmos de IA que aplicamos aos nossos serviços de governo digital.

Entre todas as iniciativas exploradas e de acordo com as obrigações legais em vigor, chegámos à conclusão de que o publicação de relatórios de transparência algorítmica no Portal da Transparência é um solução rápida e simples que facilita o cumprimento do requisito de transparência estabelecido nos regulamentos i permite ganhar a confiança dos usuários nos sistemas de IA das administrações públicas.

O estudo também nos permitiu determinar quais informações relevantes precisam ser fornecidas sobre os serviços públicos baseados em IA para que os usuários possam compreender como os algoritmos tomam decisões e como essas decisões são verificadas. Caso contrário, o estudo nos levou a desenvolver uma metodologia ágil e prática para identificar e analisar os riscos mais prováveis ​​envolvidos no uso de algoritmos de IA em relação a direitos fundamentais, e conectá-los com as medidas que deverão ser aplicadas em cada caso para garantir o cumprimento desses direitos.

Metodologia de gestão de riscos focada na proteção dos direitos fundamentais

Para garantir uma IA fiável, ética e segura nos serviços públicos, a AOC desenvolveu a sua própria metodologia de gestão de riscos. Esta metodologia, focada na proteção dos direitos fundamentais, aborda os possíveis riscos que podem afetar os cidadãos e detalha como podem ser mitigados ou minimizados. A metodologia consiste em três etapas principais, cada uma com uma base sólida em regulamentos e diretrizes internacionais.

  • Passo 1: Identificação dos princípios e direitos fundamentais a proteger
    Para garantir uma IA que respeite os valores democráticos, baseámo-nos na Carta dos Direitos Fundamentais da União Europeia, que nos ajuda a definir as principais famílias de direitos e princípios que podem ser afetados pela IA. Estes são:

    • A) Igualdade e não discriminação
    • B) Proteção de dados e privacidade
    • C) Segurança e robustez
    • D) Transparência e explicabilidade
    • E) Conservação de contas e auditabilidade
    • F) Desenvolvimento sustentável e solidariedade

  • Passo 2: Identificação dos riscos associados e sua relação com os princípios e direitos a serem protegidos
    Para identificar os riscos mais comuns no uso da IA, o AOC adotou oEstrutura de gerenciamento de riscos de inteligência artificial (AI RMF 1.0) do NIST, que relaciona os riscos potenciais aos princípios e direitos acima mencionados. Esta abordagem permite determinar quais os riscos que podem pôr em perigo cada uma das famílias dos direitos fundamentais, ajudando assim a antecipar e gerir problemas como a discriminação, a privacidade ou a segurança.

  • Passo 3: Determinação de medidas de gestão de risco
    Para identificar os mecanismos e salvaguardas que podem ser mais apropriados e eficazes em cada caso para evitar a violação dos princípios e direitos fundamentais, baseamo-nos no Capítulo II do Diretrizes Éticas para IA Confiável da Comissão Europeia, e no Regulamento IA recentemente aprovado (aplicação obrigatória a partir de 2/8/2026), para que os mecanismos sejam determinados com base no nível de risco do sistema de IA e para determinados sistemas ou modelos de IA. Por exemplo:
    • alto risco: sujeito a requisitos específicos de segurança e transparência, e à obrigação de realizar uma avaliação de impacto relacionada com os direitos fundamentais antes da implantação do sistema (art. 27.º)
    • Risco limitado: Obrigações mínimas de transparência para permitir que os usuários tomem decisões informadas e estejam atentos ao interagir com uma IA.

Esta metodologia ajuda-nos a manter um sistema de IA transparente, seguro e comprometido com a proteção dos direitos fundamentais.

→ Em apresentação (PPT, 7/11/2024) você pode ver uma tabela resumo das três etapas da metodologia de gerenciamento de risco do AOC.

RELATÓRIOS PUBLICADOS:

Status do projeto

Em produção. Quatro relatórios de transparência algorítmica foram publicados.

Mais Informações

Casos práticos implementados:

Casos em fase de desenvolvimento:

Referências bibliográficas:

Obrigações legais:

quadro europeu

  • Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016, relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais e à livre circulação desses dados e pelo qual revoga a Diretiva 95 /46/EC (“RGPD"). Link
  • Orientações sobre decisões individuais automatizadas e perfis para efeitos do Regulamento 2016/679. Adotado em 3 de outubro de 2017 e revisado pela última vez e adotado em 6 de fevereiro de 2018. Grupo de Trabalho sobre Proteção de Dados Artigo 29 da Diretiva 95/46/CE. Link
  • Regulamento do Parlamento Europeu e do Conselho que estabelece regras harmonizadas em matéria de inteligência artificial (Lei de IA) e determinados atos legislativos da União são alterados. 12/7/2024. Link 

estrutura do estado

  • Lei Orgânica 3/2018, de 5 de dezembro, sobre proteção de dados pessoais e garantia de direitos digitais (“LOPDGDD"). Link
  • Cumprimento do RGPD dos tratamentos que incorporam Inteligência Artificial. Uma introdução Fevereiro de 2020. AEPD. Link
  • Lei 15/2022, de 12 de julho, abrangente para a igualdade de tratamento e não discriminação. Link

quadro catalão

  • Lei 19/2014, de 29 de dezembro, sobre transparência, acesso à informação pública e boa governação. Link
  • Decreto 76/2020, de 4 de agosto, sobre Administração Digital. Link

Por exemplo, o Regulamento IA especifica as informações que devem ser fornecidas em relação a determinados sistemas de IA (art. 50); o RGPD determina as informações que devem ser prestadas ao interessado quando existem decisões automatizadas (art. 13); e a LRJSP estabelece a obrigatoriedade de comunicação ao órgão responsável pela ação administrativa automatizada na sede eletrônica, para fins de recurso (art. 41).