A AOC participou no Macro-Workshop de Inteligência Artificial do Comité Técnico Interno da Rede Espanhola de Cidades Inteligentes (RECI), realizado a 14 de setembro em Málaga, partilhando a nossa experiência em governação. transparència e a responsabilização dos sistemas de IA.
Como podemos passar dos princípios gerais da IA responsável para a governança eficaz de cada sistema de inteligência artificial que incorporamos em um serviço público?
Essa era a pergunta que o Carme Callés eu o davi pastor, a Subdiretoria de Estratégia e Inovação do AOC, Participamos do Workshop de Macro IA da RECI.
O blog dedicado ao futuro e à estratégia municipal da IA propôs uma jornada da governança geral para o caso específico: Sant Feliu de Llobregat apresentou o mapa das dimensões que precisam ser governadas; Viladecans, como essas dimensões são implementadas em uma organização real; e da AOC descemos mais um nível: Como governamos cada um dos sistemas de IA que incorporamos aos serviços públicos?
Quando explicar a IA nos leva a governá-la.
Na AOC, começamos a trabalhar em 2023 com o relatórios de transparència algorítmico (TRAL) Partindo de uma pergunta muito clara: o que devemos explicar aos cidadãos quando utilizamos algoritmos ou inteligência artificial em um serviço público?
O objetivo era Tornar esses sistemas mais compreensíveis e construir confiança nos serviços públicos que utilizam IA. e cumprir as obrigações de transparència que estavam sendo incorporadas ao quadro regulatório. Essa é a origem da nossa iniciativa de transparència algorítmico.
A experiência nos fez revisitar essa ideia: ser capaz de explicar e justificar um sistema de IA, Primeiro precisamos entendê-lo, avaliá-lo, fornecer garantias e supervisioná-lo..
Isso envolve responder a perguntas muito específicas: por que usamos IA? Com quais dados e tecnologias ela trabalha? O que pode dar errado? Quais direitos podem ser afetados? Quais garantias oferecemos? Como verificamos se ela funciona? Quem supervisiona e é responsável pelo sistema? E o que explicamos ao público sobre tudo isso?
Então, o que começou principalmente como um ferramenta transparència está se transformando em uma ferramenta ágil e prática que nos ajuda ordenar, documentar e tornar transparente a governança de cada sistema de IA específico., desde a sua concepção e ao longo de todo o seu ciclo de vida.
No entanto, o TRAL não substitui as avaliações e os controles legalmente exigidos em matéria de proteção de dados, segurança ou direitos fundamentais: ele os complementa e ajuda a reunir as diferentes perspectivas e responsabilidades envolvidas na governança de um sistema de IA.
O TRAL incompleto: da teoria à prática
Após a apresentação, colocamos essa ideia à prova com os participantes por meio da dinâmica. “O TRAL incompleto: encontre as lacunas”.
O desafio começou com um caso simples: uma câmara municipal usa IA para ajudar anonimizar os atos municipais antes de publicá-los., um caso de uso em que A AOC já está trabalhandoA IA analisa o documento e propõe quais dados devem ser ocultados, mas a Câmara Municipal revisa o resultado e decide o que publicar.
Os participantes receberam um TRAL que, à primeira vista, parecia completo: abordava o objetivo, os dados e a tecnologia, os riscos, as garantias, a supervisão e as responsabilidades. No entanto, fazia isso com afirmações excessivamente genéricas: os riscos eram “controláveis”, “medidas para reduzir erros” eram aplicadas e o sistema era revisto “periodicamente”, sem especificar quais medidas eram aplicadas, como eram verificadas, quem supervisionava ou quem respondia caso algo desse errado.
Organizados em grupos, os participantes tiveram que identificar essas lacunas e propor soluções. As contribuições foram compiladas em um grande TRAL compartilhado, construindo-se em conjunto um mapa das informações necessárias para compreender o sistema, supervisioná-lo e exigir responsabilidade por seu funcionamento.
Fazer as perguntas certas também é governar.
O workshop permitiu-nos testar uma ideia simples: Preparar um TRAL não se resume apenas a preencher as seções de um formulário.Mas, para formular as perguntas que precisamos responder para realmente governar um sistema de IA:
Compreender → Avaliar → Garantir → Monitorar → Explicar → Responder.
Porque o transparència Algorítmico não significa apenas que usamos IA. Trata-se de ser capaz de explicar por que o utilizamos, como o gerenciamos, quais garantias incorporamos e como verificamos se elas funcionam.
E esta é a etapa em que estamos trabalhando agora na AOC: aprimorar os relatórios de transparència algorítmicos para que continuem sendo uma ferramenta de transparència para os cidadãos e, ao mesmo tempo, nos ajudar a transformar os princípios da IA ética e responsável em realidade. governança eficaz de cada caso de uso.
