L’AOC ha participat en el Macro-Taller d’Intel·ligència Artificial del Comitè Tècnic Intern de la Red Española de Ciudades Inteligentes (RECI), celebrat el 14 de setembre a Màlaga, compartint la nostra experiència en governança, transparència i rendició de comptes dels sistemes d’IA.
Com passem dels principis generals d’una IA responsable a governar, de manera efectiva, cada sistema d’intel·ligència artificial que incorporem a un servei públic?
Aquesta va ser la pregunta que la Carme Callés i el David Pastor, de la Subdirecció d’Estratègia i Innovació de l’AOC, vam portar al Macro-Taller d’IA de la RECI.
El bloc dedicat al futur i a l’estratègia municipal d’IA va proposar un recorregut des de la governança general fins al cas concret: Sant Feliu de Llobregat va presentar el mapa de dimensions que cal governar; Viladecans, com aquestes dimensions es despleguen en una organització real; i des de l’AOC vam baixar un nivell més: com governem cadascun dels sistemes d’IA que incorporem als serveis públics?
Quan explicar la IA ens porta a governar-la
A l’AOC vam començar a treballar l’any 2023 amb els informes de transparència algorísmica (TRAL) a partir d’una pregunta molt clara: què hem d’explicar a la ciutadania quan utilitzem algorismes o intel·ligència artificial en un servei públic?
L’objectiu era fer aquests sistemes més comprensibles, generar confiança en els serveis públics que utilitzen IA i donar resposta a les obligacions de transparència que s’anaven incorporant al marc normatiu. És l’origen de la nostra iniciativa de transparència algorísmica.
L’experiència ens ha fet fer una segona volta a aquesta idea: per poder explicar un sistema d’IA i retre’n comptes, primer l’hem d’entendre, avaluar, dotar de garanties i supervisar.
Això implica respondre preguntes molt concretes: per què utilitzem IA? Amb quines dades i tecnologia funciona? Què pot sortir malament? Quins drets es poden veure afectats? Quines garanties posem? Com comprovem que funcionen? Qui supervisa i respon del sistema? I, de tot això, què expliquem a la ciutadania?
Així, el que va començar sobretot com una eina de transparència està evolucionant cap a una eina àgil i pràctica que ens ajuda a ordenar, documentar i fer transparent la governança de cada sistema concret d’IA, des del seu disseny i al llarg del seu cicle de vida.
Ara bé, el TRAL no substitueix les avaluacions i controls legalment exigibles en matèria de protecció de dades, seguretat o drets fonamentals: els complementa i ajuda a posar en comú les diferents mirades i responsabilitats que intervenen en la governança d’un sistema d’IA.
El TRAL incomplet: de la teoria a la pràctica
Després de la presentació, vam posar aquesta idea a prova amb els participants a través de la dinàmica “El TRAL incomplet: troba els buits”.
El repte partia d’un cas senzill: un ajuntament utilitza IA per ajudar a anonimitzar les actes municipals abans de publicar-les, un cas d’ús en què l’AOC ja està treballant. La IA analitza el document i proposa quines dades cal ocultar, però l’Ajuntament revisa el resultat i decideix què publica.
Els participants van rebre un TRAL que, a primera vista, semblava complet: parlava de la finalitat, les dades i la tecnologia, els riscos, les garanties, la supervisió i les responsabilitats. Però ho feia amb afirmacions massa genèriques: els riscos eren “controlables”, s’aplicaven “mesures per reduir els errors” i el sistema es revisava “periòdicament”, sense concretar quines mesures s’aplicaven, com es verificaven, qui supervisava o qui responia si alguna cosa fallava.
Organitzats en grups, els participants van haver de trobar aquests buits i proposar com completar-los. Les aportacions es van recollir en un gran TRAL compartit, construint entre tots un mapa de la informació necessària per entendre el sistema, supervisar-lo i exigir responsabilitats sobre el seu funcionament.
Fer-se les preguntes adequades també és governar
El taller ens va permetre comprovar una idea senzilla: elaborar un TRAL no consisteix només a emplenar els apartats d’un formulari, sinó a formular les preguntes que necessitem respondre per governar realment un sistema d’IA:
Entendre → Avaluar → Garantir → Supervisar → Explicar → Respondre.
Perquè la transparència algorísmica no és només dir que fem servir IA. És poder explicar per què la fem servir, com la governem, quines garanties hi hem incorporat i com comprovem que funcionen.
I aquest és el pas que estem treballant ara a l’AOC: evolucionar els informes de transparència algorísmica perquè continuïn sent una eina de transparència per a la ciutadania i, alhora, ens ajudin a convertir els principis d’una IA ètica i responsable en governança efectiva de cada cas d’ús.
