El director de la AOC, Miquel Estapé, y la jefa de servicio de Innovación, Carme Callés, presentaron en el Smart City Expo World Congress (SCEWC) la iniciativa de transparència algorítmica que la AOC aplica a sus servicios. El objetivo principal es fomentar la confianza en los servicios de administración digital que utilizan datos e inteligencia artificial (IA), asegurando un uso ético y responsable. La sesión, celebrada el pasado 7 de noviembre en el Ágora del stand Catalonia del SCEWC, tuvo una muy buena acogida. Desde la AOC, queremos agradecer especialmente la presencia de los representantes de ayuntamientos catalanes interessados en esta iniciativa.
Con este proyecto, la AOC busca promover la transparència, facilitar la comprensión de los algoritmos, fomentar la participación ciudadana en su desarrollo y asegurar datos de calidad para el entrenamiento de modelos de IA. Esto incluye también garantizar que los algoritmos carecen de sesgos y son supervisados periódicamente.
Publicación de informes de transparència algorítmica
Para alcanzar estos objetivos, la AOC ha desarrollado informes de transparència algorítmica con contenido estandarizado para ofrecer una visión clara y comprensible de cada sistema de IA. Estos informes explican, con un lenguaje accesible y llano, el funcionamiento y los efectos de los algoritmos sobre las personas. Son una herramienta para cumplir con las obligaciones de transparència establecidas en la normativa, además de permitir la comparación entre distintos algoritmos de IA.
Los informes siguen estándares internacionales, como el modelo de registro de algoritmos de Ámsterdam y Helsinki, el estándar algorísmico europeo de Eurocities, y recomendaciones de la OCDE y el NIST de EE.UU. Estos referentes han ayudado a establecer buenas prácticas que faciliten una transparència significativa, permitiendo a la ciudadanía entender mejor el uso de sus datos y el propósito de estos algoritmos.
Metodología de gestión de riesgos centrada en la protección de los derechos fundamentales
Otro elemento esencial de la iniciativa ha sido el desarrollo de una metodología propia de gestión de riesgos para evaluar el impacto de la IA sobre los derechos fundamentales. Esta metodología identifica los principios y derechos fundamentales que pueden verse afectados por el uso de grandes volúmenes de datos procesados con algoritmos. La AOC realiza así una evaluación de impacto que permite un análisis de riesgos accesible y comprensible para personas no expertas.
Esta herramienta, ágil y basada en la normativa vigente, ayuda a identificar y mitigar riesgos de discriminación, vulnerabilidad de datos o sesgos que puedan afectar a la ciudadanía.
La metodología también se adapta a los requisitos del Reglamento de Inteligencia Artificial (Ley de IA), que especifica la necesidad de analizar los riesgos conocidos y previsibles en relación con la salud, la seguridad y los derechos fundamentales. Con esto, queremos garantizar que nuestros sistemas de IA cumplan con los estándares de seguridad, transparència y responsabilidad necesarios para generar confianza en la administración digital.
Aquí dispone de la presentación:
A día de hoy, se han publicado tres informes:
Próximamente estarán disponibles los informes sobre:
- Chatbots con IA generativa
- Clasificación automática de incidencias en la vía pública
