La AOC ha participado en el Macro-Taller de Inteligencia Artificial del Comité Técnico Interno de la Red Española de Ciudades Inteligentes (RECI), celebrado el 14 de septiembre en Málaga, compartiendo nuestra experiencia en gobernanza, transparència y rendición de cuentas de los sistemas de IA.
¿Cómo pasamos de los principios generales de una IA responsable en gobernar, de forma efectiva, cada sistema de inteligencia artificial que incorporamos a un servicio público?
Ésta fue la pregunta que la Carme Callés y el david pastor, de la Subdirección de Estrategia e Innovación de la AOC, llevamos al Macro-Taller de IA de la RECI.
El bloque dedicado al futuro ya la estrategia municipal de IA propuso un recorrido desde la gobernanza general hasta el caso concreto: Sant Feliu de Llobregat presentó el mapa de dimensiones a gobernar; Viladecans, como estas dimensiones se despliegan en una organización real; y desde la AOC bajamos un nivel más: ¿cómo gobernamos cada uno de los sistemas de IA que incorporamos a los servicios públicos?
Cuando explicar la IA nos lleva a gobernarla
En la AOC empezamos a trabajar en 2023 con los informes de transparència algorítmica (TRAL) a partir de una pregunta muy clara: ¿qué debemos explicar a la ciudadanía cuándo utilizamos algoritmos o inteligencia artificial en un servicio público?
El objetivo era hacer estos sistemas más comprensibles, generar confianza en los servicios públicos que utilizan IA y dar respuesta a las obligaciones de transparència que se iban incorporando al marco normativo. Es el origen de la nuestra iniciativa de transparència algorítmica.
La experiencia nos ha hecho dar una segunda vuelta a esta idea: para poder explicar un sistema de IA y rendir cuentas, primero debemos entender, evaluar, dotar de garantías y supervisar.
Esto implica responder a preguntas muy concretas: ¿por qué utilizamos IA? ¿Con qué datos y tecnología funciona? ¿Qué puede salir mal? ¿Qué derechos pueden verse afectados? ¿Qué garantías ponemos? ¿Cómo comprobamos que funcionan? ¿Quién supervisa y responde del sistema? Y, de todo esto, ¿qué explicamos a la ciudadanía?
Así, lo que empezó sobre todo como una herramienta de transparència está evolucionando hacia una herramienta ágil y práctica que nos ayuda a ordenar, documentar y hacer transparente la gobernanza de cada sistema concreto de IA, desde su diseño ya lo largo de su ciclo de vida.
Ahora bien, el TRAL no sustituye a las evaluaciones y controles legalmente exigibles en materia de protección de datos, seguridad o derechos fundamentales: los complementa y ayuda a poner en común las diferentes miradas y responsabilidades que intervienen en la gobernanza de un sistema de IA.
El TRAL incompleto: de la teoría a la práctica
Después de la presentación, pusimos esta idea a prueba con los participantes a través de la dinámica "El TRAL incompleto: encuentra los vacíos".
El reto partía de un caso sencillo: un ayuntamiento utiliza IA para ayudar a anonimizar las actas municipales antes de publicarlas, un caso de uso en el que la AOC ya está trabajando. La IA analiza el documento y propone qué datos es necesario ocultar, pero el Ayuntamiento revisa el resultado y decide qué publica.
Los participantes recibieron un TRAL que, a simple vista, parecía completo: hablaba de la finalidad, los datos y la tecnología, los riesgos, las garantías, la supervisión y las responsabilidades. Pero lo hacía con afirmaciones demasiado genéricas: los riesgos eran “controlables”, se aplicaban “medidas para reducir los errores” y el sistema se revisaba “periódicamente”, sin concretar qué medidas se aplicaban, cómo se verificaban, quién supervisaba o quién respondía si algo fallaba.
Organizados en grupos, los participantes tuvieron que encontrar estos vacíos y proponer cómo completarlos. Las aportaciones se recogieron en un gran TRAL compartido, construyendo entre todos un mapa de la información necesaria para entender el sistema, supervisarlo y exigir responsabilidades sobre su funcionamiento.
Hacerse las preguntas adecuadas también es gobernar
El taller nos permitió comprobar una idea sencilla: elaborar un TRAL no consiste sólo en rellenar los apartados de un formulario, sino a formular las preguntas que necesitamos responder para gobernar realmente un sistema de IA:
Entender → Evaluar → Garantizar → Supervisar → Explicar → Responder.
Porque la transparència algorítmica no es sólo decir que utilizamos IA. Es poder explicar por qué la utilizamos, cómo la gobernamos, qué garantías hemos incorporado y cómo comprobamos que funcionan.
Y ese es el paso que estamos trabajando ahora en la AOC: evolucionar los informes de transparència algorítmica para que sigan siendo una herramienta de transparència para la ciudadanía y, al mismo tiempo, nos ayuden a convertir los principios de una IA ética y responsable en gobernanza efectiva de cada caso de uso.
