Desafio

Como conquistar a confiança dos utilizadores em serviços governamentais digitais que utilizam dados e algoritmos de inteligência artificial, garantindo ao mesmo tempo a sua utilização responsável, segura e justa. 

Solução proposta: que cada serviço digital inclua, em sua página inicial e no Portal, a seguinte informação. Transparència Da entidade responsável, um relatório compreensível sobre o funcionamento do sistema e o impacto que ele pode ter sobre as pessoas.
→ Veja o Modelo de relatório em PDF transparència Algoritmo AOC (atualizado em 17/4/2026)

Problema e contexto atual

A inteligência artificial (IA) tornou-se parte integrante de nossas vidas diárias. Os governos o utilizam para melhorar a acessibilidade e a experiência dos serviços públicos, otimizar processos ou administrar o espaço público, por exemplo.

Os algoritmos são a base dos sistemas de IA e geralmente agem como “caixas pretas” para as pessoas que os usam e os afetam. Para evitar que isso aconteça, é essencial que os algoritmos possam ser entendidos pelos usuários, que eles possam entender como uma determinada decisão foi tomada e por que essa decisão é tomada. Ainda mais no caso do governo, que só funciona quando há confiança entre ele e a população. Uma boa administração deve permitir que todos os cidadãos compreendam as razões das decisões e tenham a possibilidade de as contestar.

Em governos democráticos, a confiança é garantida por inúmeras salvaguardas legais. No que diz respeito à obrigação de tornar transparentes os algoritmos de IA utilizados em serviços governamentais digitais, a lei estabelece o direito dos indivíduos a obterem uma explicação das decisões automatizadas (RGPD) e prevê a criação de “mecanismos” para que os algoritmos envolvidos na tomada de decisões levem em consideração critérios de transparência. transparència e explicabilidade (Lei Abrangente 15/2022 sobre igualdade de tratamento e não discriminação), mas não estabelece nenhum mecanismo específico ou instrumento legal para tal. Ela apenas oferece recomendações e deixa ao critério das organizações encontrar a ferramenta mais adequada para:

  • fornecer informações significativas sobre a lógica dos algoritmos usados, bem como as consequências esperadas, que sejam claras e usem linguagem compreensível,
  • permitir que as pessoas entendam por que um algoritmo deu um determinado resultado, bem como indicar o órgão perante o qual podem recorrer de suas decisões específicas ou contestar seu funcionamento geral,
  • abrir os algoritmos ao controle democrático.

Tendo em vista a falta de mecanismos, técnicas ou métodos concretos para alcançar o transparència algorítmico, o AOC conduziu um estudo em 2023 a fim de encontrar formas padronizadas de transparència e priorizar a compreensão dos algoritmos que aplicamos aos nossos serviços de administração digital.

É aqui que entra a iniciativa de transparència algoritmo que apresentamos.

Solução proposta 

La transparència No desenvolvimento e utilização da IA, é crucial garantir que essa tecnologia seja usada de forma responsável e justa para com a sociedade.

Como meio de alcançar o transparència algorítmico, A AOC propõe que cada serviço digital inclua, em sua página inicial e no Portal, Transparència Da entidade responsável, um relatório compreensível sobre o funcionamento do sistema e os algoritmos que ele utiliza..

Esta iniciativa pretende ser uma ferramenta para:

  • Ajudar as pessoas a entender como funcionam os algoritmos usados ​​nos governos locais, qual é o seu propósito e como eles podem afetá-las.
  • para fornecer um transparència significativos de forma padronizada e que permitam a comparação entre diferentes algoritmos,
  • tornar mais fácil para todos darem a sua opinião e participarem na criação de algoritmos centrados no ser humano.

Além disso, embora a iniciativa se concentre principalmente em sistemas de inteligência artificial, também inclui relatórios de transparència para algoritmos determinísticos em casos de uso sensíveis., como sistemas complexos de automação para assistência social de amplo alcance, seguindo o critério de que eles também podem ter um impacto relevante nas pessoas.

→ Veja o Modelo de relatório em PDF transparència Algoritmo AOC (atualizado em 17/4/2026)

Conteúdo do relatório

Cada relatório de transparència O algoritmo contém:

  • o problema a ser resolvido com o algoritmo em questão,
  • a explicação das características do algoritmo, bem como seu funcionamento,
  • os grupos que podem ser afetados pelo algoritmo,
  • a estimativa do nível de risco do sistema algorítmico, com base em:
    • a análise de risco ou avaliação de impacto sobre os direitos fundamentais que foi realizada (conforme apropriado) para determinar os possíveis vieses discriminatórios do algoritmo,
    • a análise de risco de segurança do sistema que foi feita para identificar as possíveis contingências de disponibilidade e segurança do sistema que contém o algoritmo,
    • la gerenciamento de riscos tomadas e as medidas aplicadas para garantir o cumprimento dos direitos fundamentais, 
  • o órgão perante o qual é possível recorrer das decisões específicas do algoritmo ou contestar o seu funcionamento geral quando a lei o exigir,
  • os dados de contato do responsável e do fornecedor do algoritmo.

Como o conteúdo do relatório foi determinado

Para determinar o conteúdo dos relatórios transparència Algorithmic: a equipe de Inovação e Dados, com o apoio dos serviços jurídicos da AOC, realizou, em 2023, um estudo que incluiu:  

  1. Um análise das regulamentações existentes naquela época em que o assunto do transparència de decisões automatizadas tomadas por algoritmos de IA, prestando especial atenção às seguintes regras:  
  • Regulamento Europeu de Proteção de Dados (RGPD)
  • Proposta de Regulamento sobre a utilização da inteligência artificial do Conselho da Europa (Lei de IA)
  • Lei 40/2015 sobre o Regime Jurídico do Setor Público (LRJSP) e Regulamento para o desempenho e funcionamento do Setor Público por meios eletrónicos (RD 203/2021)
  • Lei Integral 15/2022 para igualdade de tratamento e não discriminação 
  1. Documentos que ofereciam diretrizes e orientações. para alcançar uma IA segura e confiável. Deve-se notar: 
  • Diretrizes éticas para IA confiável, do grupo de especialistas de alto nível da Comissão Europeia em IA (abril de 2019) 
  • Relatório "Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights" do Comissário para os Direitos Humanos do Conselho da Europa (maio de 2019)
  • Princípios para a gestão responsável de IA confiável da recomendação do Conselho de Inteligência Artificial da OCDE (maio de 2019)
  • Relatório APDCAT “Decisões automatizadas na Catalunha” (janeiro de 2020)  
  • Declaração Europeia sobre Direitos Digitais e Princípios para a Década Digital (janeiro de 2023)
  • Ferramenta da estrutura de gerenciamento de risco de inteligência artificial do NIST (janeiro de 2023)
  1. Eles também foram explorados. iniciativas de transparència algorítmico de diferentes administrações, que estavam em fase de desenvolvimento ou foram implementadas recentemente. Vale ressaltar: 
  • Registro de Inteligência Artificial das cidades de Helsinque e Amsterdã – implementado
  • Padrão de transparència Algoritmo Eurocities, baseado no padrão do Reino Unido – implementado
  • Proposta de um quadro de trabalho ético para os algoritmos da Generalitat de Catalunya (maio de 2021)
  • Modelo de algoritmo de registro municipal da Câmara Municipal de Barcelona baseado no padrão de transparència da Eurocities (janeiro de 2023)
  • Coletânea de algoritmos de IA do Sistema Catalão de Saúde (SISCAT) e centros de pesquisa na Catalunha, no âmbito do Observatório de IA em Saúde da Fundação TIC Salut Social (dezembro de 2022)
  • Radar de algoritmos de IA da Tabela de entidades do Terceiro Setor Social da Catalunha (janeiro de 2024)

Conclusões do estudo

Os Estados-Membros da União Europeia comprometem-se, através da Declaração Europeia sobre os Direitos Digitais e dos Princípios para a Década Digital, a assegurar um nível adequado de transparència no uso de algoritmos e inteligência artificial, e para que as pessoas sejam informadas e treinadas para usá-los ao interagir com eles.

Para cumprir a exigência de transparència Em relação aos sistemas de IA das administrações públicas, as normas vigentes especificam as informações que devem ser fornecidas de acordo com cada caso. , mas não define um mecanismo “concreto”, um formato padronizado ou um instrumento legal para fazê-lo; embora: 

  • o Regulamento IA estabelece a obrigação de manter um registo de todas as informações relevantes dos sistemas de IA de alto risco (art. 17);
  • A Lei 15/2022 sobre igualdade de tratamento e não discriminação fala da promoção da implementação de "mecanismos" para que os algoritmos envolvidos na tomada de decisões levem em consideração critérios para minimizar o viés. transparència e prestação de contas (artigo 23);
  • o Regulamento sobre a atuação e funcionamento do Setor Público por meios eletrónicos estabelece a obrigação de publicar no seu site a lista de ações administrativas automatizadas (AAA) - que podem ou não envolver a utilização de algoritmos de IA -, e acompanhar cada AAA com uma descrição da sua concepção e funcionamento (art. 11). 

Analisamos diferentes iniciativas promovidas por governos locais e regionais europeus, a fim de encontrar uma forma padronizada que nos permita cumprir os requisitos de transparència dos algoritmos de IA que aplicamos aos nossos serviços de administração digital.

Entre todas as iniciativas exploradas e de acordo com as obrigações legais em vigor, chegámos à conclusão de que o publicação de relatórios transparència algorítmico no Portal de Transparència é um solução rápida e simples que facilita o cumprimento da exigência de transparència estabelecido nos regulamentos i permite ganhar a confiança dos usuários nos sistemas de IA das administrações públicas.

O estudo também nos permitiu determinar quais informações relevantes precisam ser fornecidas sobre os serviços públicos baseados em IA para que os usuários possam compreender como os algoritmos tomam decisões e como essas decisões são verificadas. Caso contrário, o estudo nos levou a desenvolver uma metodologia ágil e prática para identificar e analisar os riscos mais prováveis ​​envolvidos no uso de algoritmos de IA em relação a direitos fundamentais, e conectá-los com as medidas que deverão ser aplicadas em cada caso para garantir o cumprimento desses direitos.

Metodologia de gestão de riscos focada na proteção dos direitos fundamentais

Para garantir uma IA fiável, ética e segura nos serviços públicos, a AOC desenvolveu a sua própria metodologia de gestão de riscos. Esta metodologia, focada na proteção dos direitos fundamentais, aborda os possíveis riscos que podem afetar os cidadãos e detalha como podem ser mitigados ou minimizados. A metodologia consiste em três etapas principais, cada uma com uma base sólida em regulamentos e diretrizes internacionais.

  • Passo 1: Identificação dos princípios e direitos fundamentais a proteger
    Para garantir uma IA que respeite os valores democráticos, baseámo-nos na Carta dos Direitos Fundamentais da União Europeia, que nos ajuda a definir as principais famílias de direitos e princípios que podem ser afetados pela IA. Estes são:

    • A) Igualdade e não discriminação
    • B) Proteção de dados, privacidade e autonomia pessoal
    • C) Segurança, robustez e cibersegurança
    • D) Transparènciaexplicabilidade e acesso à informação
    • E) Responsabilidade, prestação de contas e auditabilidade
    • F) Impacto social, sustentabilidade e direitos econômicos

  • Passo 2: Identificação dos riscos associados e sua relação com os princípios e direitos a serem protegidos
    Para identificar os riscos mais comuns no uso da IA, o AOC adotou oEstrutura de gerenciamento de riscos de inteligência artificial (AI RMF 1.0) do NIST, que relaciona os riscos potenciais aos princípios e direitos acima mencionados. Esta abordagem permite determinar quais os riscos que podem pôr em perigo cada uma das famílias dos direitos fundamentais, ajudando assim a antecipar e gerir problemas como a discriminação, a privacidade ou a segurança.

  • Passo 3: Determinação de medidas de gestão de risco
    Para identificar os mecanismos e salvaguardas que podem ser mais apropriados e eficazes em cada caso para evitar a violação dos princípios e direitos fundamentais, baseamo-nos no Capítulo II do Diretrizes Éticas para IA Confiável da Comissão Europeia, e no Regulamento IA recentemente aprovado (aplicação obrigatória a partir de 2/8/2026), para que os mecanismos sejam determinados com base no nível de risco do sistema de IA e para determinados sistemas ou modelos de IA. Por exemplo:
    • alto risco: sujeito a requisitos específicos de segurança e proteção transparènciae a obrigação de realizar uma avaliação de impacto relativa aos direitos fundamentais antes de implementar o sistema (artigo 27.º)
    • Risco limitado: obrigações mínimas de transparència Permitir que os usuários tomem decisões informadas e estejam cientes ao interagir com uma IA.

Esta metodologia ajuda-nos a manter um sistema de IA transparente, seguro e comprometido com a proteção dos direitos fundamentais.

→ Para obter mais detalhes, consulte o documento completo: Metodologia de Gestão de Riscos de Sistemas de IA da AOC (PDF)

→ Em apresentação (PPT, 7/11/2024) você pode ver uma tabela resumo das três etapas da metodologia de gerenciamento de risco do AOC.

Relatórios publicados:

Status do projeto

Em produçãoQuatro relatórios foram publicados. transparència algorítmico.

Mais Informações

Casos práticos implementados:

Casos em fase de desenvolvimento:

Referências bibliográficas:

Obrigações legais:

quadro europeu

  • Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016, relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais e à livre circulação desses dados e pelo qual revoga a Diretiva 95 /46/EC (“RGPD"). Link
  • Orientações sobre decisões individuais automatizadas e perfis para efeitos do Regulamento 2016/679. Adotado em 3 de outubro de 2017 e revisado pela última vez e adotado em 6 de fevereiro de 2018. Grupo de Trabalho sobre Proteção de Dados Artigo 29 da Diretiva 95/46/CE. Link
  • Regulamento do Parlamento Europeu e do Conselho que estabelece regras harmonizadas em matéria de inteligência artificial (Lei de IA) e determinados atos legislativos da União são alterados. 12/7/2024. Link 

estrutura do estado

  • Lei Orgânica 3/2018, de 5 de dezembro, sobre proteção de dados pessoais e garantia de direitos digitais (“LOPDGDD"). Link
  • Cumprimento do RGPD dos tratamentos que incorporam Inteligência Artificial. Uma introdução Fevereiro de 2020. AEPD. Link
  • Lei 15/2022, de 12 de julho, abrangente para a igualdade de tratamento e não discriminação. Link

quadro catalão

  • Lei 19/2014, de 29 de dezembro, de transparència, acesso à informação pública e boa governança. Link
  • Decreto 76/2020, de 4 de agosto, sobre Administração Digital. Link

Por exemplo, o Regulamento de IA especifica as informações que devem ser fornecidas em relação a determinados sistemas de IA (artigo 50); o RGPD determina as informações que devem ser fornecidas ao titular dos dados.eresquando houver decisões automatizadas (artigo 13); e a LRJSP estabelece a obrigação de informar sobre o órgão responsável por uma ação administrativa automatizada no escritório eletrônico, para fins de impugnação (artigo 41).