AOC

reto

Cómo conseguir la confianza de los usuarios en los servicios de administración digital que utilizan datos y algoritmos de inteligencia artificial, garantizando un uso responsable, seguro y justo. 

Problemática y contexto actual

La inteligencia artificial (IA) se ha convertido en parte integrante de nuestra vida cotidiana. Los gobiernos la utilizan para mejorar la accesibilidad y la experiencia de los servicios públicos, optimizar procesos o gestionar el espacio público, por ejemplo.

Los algoritmos son la base de los sistemas de IA ya menudo sucede que se comportan como “cajas negras” para las personas que los utilizan y afectan. Para que esto no ocurra, es imprescindible que los algoritmos puedan ser entendidos por los usuarios, que éstos puedan comprender cómo se ha llegado a una determinada decisión y por qué se toma esta decisión. Más aún en el caso del gobierno, que sólo puede funcionar cuando existe confianza entre éste y la ciudadanía. Una buena administración debe permitir a todos los ciudadanos comprender los motivos de las decisiones y tener la posibilidad de impugnarlas.

En los gobiernos democráticos, la confianza se garantiza mediante numerosas salvaguardias legales. En cuanto a la obligación de hacer transparentes los algoritmos de IA que se usan en los servicios de administración digital, la ley establece el derecho de las personas a obtener una explicación de las decisiones automatizadas (RGPD) y prevé la creación de “mecanismos” para que los algoritmos involucrados en la toma de decisiones tengan en cuenta criterios de transparencia y explicabilidad (Ley 15/2022 integral para la igualdad de trato y la no discriminación), pero no establece ningún mecanismo o instrumento jurídico concreto para lo. Sólo da recomendaciones y deja a criterio de los organismos encontrar la herramienta más adecuada para:

  • facilitar información significativa sobre la lógica de los algoritmos empleados así como de las consecuencias previstas, que sea clara y que haga uso de un lenguaje comprensible,
  • permitir a las personas entender por qué un algoritmo ha dado un determinado resultado, así como indicar el órgano ante el que se podrán recurrir sus decisiones particulares o impugnar su funcionamiento general,
  • abrir los algoritmos en el control democrático.

Ante la falta de concreción de mecanismos, técnicas o métodos para conseguir la transparencia algorítmica, la AOC ha realizado un estudio para buscar formas normalizadas de transparencia y dar prioridad a la comprensión de los algoritmos que aplicamos a nuestros servicios de administración digital.

De ahí surge la iniciativa de transparencia algorítmica que presentamos.

solución propuesta 

La transparencia en el desarrollo y uso de la IA es una cuestión crucial para garantizar que esta tecnología sea utilizada de forma responsable y justa hacia la sociedad.

Como medio para alcanzar la transparencia algorítmica, la AOC propone la publicación en el Portal de Transparencia de informes comprensibles para cada algoritmo aplicado a los servicios de administración digital.

Esta iniciativa pretende ser una herramienta para:

  • ayudar a las personas a comprender cómo funcionan los algoritmos utilizados en las administraciones locales y cuál es su propósito,
  • proporcionar una transparencia significativa de forma estandarizada y permitir la comparación entre diferentes algoritmos,
  • facilitar que todo el mundo pueda dar su opinión y participar en la creación de algoritmos centrados en las personas.

Además, aunque la iniciativa se centra principalmente en sistemas de inteligencia artificial, también incluye informes de transparencia para algoritmos deterministas en casos de uso sensibles, como sistemas de automatización complejos de ayudas sociales de amplio alcance, siguiendo el criterio de que también pueden tener un impacto relevante en las personas.

Contenido de la ficha

Cada ficha de transparencia algorítmica contiene:

  • el problema a resolver con el algoritmo en cuestión,
  • la explicación de las características del algoritmo así como su funcionamiento,
  • los colectivos que pueden verse afectados por el algoritmo,
  • el análisis de riesgos o la evaluación de impacto de protección de datos que se ha hecho (según corresponda) para determinar los posibles sesgos discriminatorios del algoritmo,
  • el análisis de riesgos de seguridad del sistema que se ha realizado para identificar las posibles contingencias de disponibilidad y seguridad del sistema que contiene el algoritmo,
  • la gestión de riesgos hecha y las medidas aplicadas para garantizar el cumplimiento de los derechos fundamentales, 
  • el órgano ante el que se podrá recurrir las decisiones particulares del algoritmo o impugnar su funcionamiento general cuando la ley lo exige,
  • los datos de contacto del responsable y del proveedor del algoritmo.

→ Véase el modelo de ficha de transparencia algorítmica de la AOC (pdf)

Cómo se ha llegado a determinar el contenido de la ficha

Para determinar el contenido de las fichas de transparencia algorítmica, el equipo de Innovación y Datos con el apoyo de los servicios jurídicos de la AOC, ha llevado a cabo un estudio que incluye:  

  1. Una análisis de la normativa existente en el que se aborda el tema de la transparencia de las decisiones automatizadas tomadas por los algoritmos de IA, poniendo especial atención a:  
  • Reglamento europeo de protección de datos (RGPD)
  • Reglamento sobre el uso de la inteligencia artificial del Consejo de Europa (AI Act)
  • Ley 40/2015 de Régimen Jurídico del Sector Público (LRJSP) y Reglamento de actuación y funcionamiento del Sector Público por medios electrónicos (RD 203/2021)
  • Ley 15/2022 integral para la igualdad de trato y la no discriminación 
  1. Documentos que ofrecen directrices y orientaciones para conseguir una IA segura y fiable. Cabe destacar: 
  • Directrices éticas para una IA fiable, del grupo de expertos de alto nivel sobre IA de la Comisión Europea (abril 2019) 
  • Informe “Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights” del Comisionado para los Derechos Humanos del Consejo de Europa (mayo 2019)
  • Principios para la gestión responsable de una IA fiable de la Recomendación del Consejo sobre Inteligencia Artificial de la OCDE (mayo 2019)
  • Informe “Decisiones Automatizadas en Cataluña” de la APDCAT (enero 2020)  
  • Declaración Europea sobre los Derechos y principios digitales para la Década Digital (enero 2023)
  • Herramienta marco de gestión de Riesgos de la Inteligencia Artificial del NIST (enero 2023)
  1. También se han explorado iniciativas de transparencia algorítmica de diferentes administraciones, las cuales se encuentran en fase de desarrollo. Cabe destacar: 
  • Registro de Algoritmos de la ciudad de Ámsterdam – implementado
  • Registro de Inteligencia Artificial de la ciudad de Helsinki – implementado
  • Estándar de transparencia algorítmica de Eurocities, basado en el estándar del Reino Unido – implementado
  • Registro de Algoritmos municipal del Ayuntamiento de Barcelona 
  • Registro de Algoritmos de la Fundación TIC Salud Social 
  • Radar de algoritmos de IA de la Mesa de entidades del Tercer Sector Social de Cataluña
  • Propuesta de un marco de trabajo de ética de los algoritmos de la Generalidad de Cataluña

Conclusiones del estudio

Los Estados miembros de la Unión Europea se comprometen, a través de la Declaración Europea sobre los Derechos y Principios Digitales para la Década Digital, a velar por un adecuado nivel de transparencia en el uso de los algoritmos y la inteligencia artificial y porqué las personas estén informadas y capacitadas para utilizarlos cuando interactúen.

Para dar cumplimiento al requisito de transparencia de los sistemas de IA de las administraciones públicas, la normativa actual especifica la información a dar según los casos [ 1 ]pero no define un mecanismo, formato normalizado o instrumento jurídico “concreto” para hacerlo; si bien: 

  • el Reglamento de IA establece el requisito de llevar un registro de la toda la información pertinente de los sistemas de IA de alto riesgo (art 17);
  • la Ley 15/2022 integral para la igualdad de trato y la no discriminación habla de favorecer la puesta en marcha de “mecanismos” para que los algoritmos involucrados en la toma de decisiones tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas (art 23);
  • el Reglamento de actuación y funcionamiento del Sector Público por medios electrónicos establece la obligación de publicar en su sede la relación de actuaciones administrativas automatizadas (AAA) –que pueden implicar o no el uso de algoritmos de IA– , y acompañar a cada AAA con la descripción de su diseño y funcionamiento (art 11). 

Hemos explorado diferentes iniciativas que están impulsando los gobiernos locales y regionales europeos, a fin de encontrar una forma normalizada que nos permita dar cumplimiento al requisito de transparencia de los algoritmos de IA que aplicamos a nuestros servicios de administración digital.

De entre todas las iniciativas exploradas y de acuerdo con las obligaciones legales vigentes, hemos llegado a la conclusión de que la publicación de informes de transparencia algorítmica en el Portal de Transparencia es una solución ágil y sencilla que esta facilita el cumplimiento del requisito de transparencia establecido en la normativa i permite conseguir la confianza de los usuarios en los sistemas de IA de las administraciones públicas.

El estudio también nos ha permitido determinar cuál es la información relevante que se debe dar de los servicios públicos basados ​​en IA para que los usuarios puedan comprender cómo los algoritmos toman las decisiones y cómo se verifican estas decisiones. Por otra parte, el estudio nos ha llevado a desarrollar una metodología ágil y práctica para identificar y analizar los riesgos más probables que comporta el uso de algoritmos de IA en relación con los derechos fundamentales, y conectarlos con las medidas a aplicar en cada caso para garantizar el cumplimiento de estos derechos.

Metodología de gestión de riesgos centrada en la protección de los derechos fundamentales

Para garantizar una IA fiable, ética y segura en los servicios públicos, la AOC ha desarrollado una metodología propia de gestión de riesgos. Esta metodología, centrada en la protección de los derechos fundamentales, aborda los posibles riesgos que pueden afectar a la ciudadanía y detalla cómo pueden mitigarse o minimizarse. La metodología consta de tres pasos principales, cada uno con bases sólidas en normativas y directrices internacionales.

  • Paso 1: Identificación de los principios y derechos fundamentales a proteger
    Para asegurar una IA que respete los valores democráticos, nos hemos basado en la Carta de Derechos Fundamentales de la Unión Europea, la cual nos ayuda a definir a las principales familias de derechos y principios que pueden verse afectados por la IA.

    • A) Igualdad y no discriminación
    • B) Protección de datos y privacidad
    • C) Seguridad y robustez
    • D) Transparencia y explicabilidad
    • E) Rendición de cuentas y auditabilidad
    • F) Desarrollo sostenible y solidaridad

  • Paso 2: Identificación de los riesgos asociados y su relación con los principios y derechos a proteger
    Para identificar los riesgos más comunes en el uso de la IA, la AOC ha adoptado elArtificial Intelligence Risk Management Framework (AI RMF 1.0) del NIST, que relaciona los riesgos potenciales con los principios y derechos citados. Este enfoque permite determinar qué riesgos pueden poner en peligro a cada una de las familias de derechos fundamentales, ayudando así a anticipar y gestionar problemas como la discriminación, la privacidad o la seguridad.

  • Paso 3: Determinación de las medidas de gestión de riesgos
    Para identificar los mecanismos y salvaguardias que pueden ser más adecuados y eficaces en cada caso para evitar la vulneración de los principios y derechos fundamentales, nos hemos basado en el capítulo II de las Directrices Éticas para una IA fiable de la Comisión Europea, y en el Reglamento de IA recientemente aprobado (de obligada aplicación a partir del 2/8/2026), de modo que los mecanismos se determinan en función del nivel de riesgo del sistema de IA y para determinados sistemas o modelos de IA. Por ejemplo:
    • Riesgo alto: sujeto a requisitos específicos de seguridad y transparencia, ya la obligación de realizar una evaluación de impacto relativa a los derechos fundamentales antes de desarrollar el sistema (art 27)
    • Riesgo limitado: obligaciones mínimas de transparencia para permitir que los usuarios tomen decisiones informadas y sean conscientes cuando interactúan con una IA.

Esta metodología nos ayuda a mantener un sistema de IA transparente, seguro y comprometido con la protección de derechos fundamentales.

→ En la presentación (PPT, 7/11/2024) puede ver una tabla síntesis de los tres pasos de la metodología de gestión de riesgos de la AOC.

INFORMES PUBLICADOS:

Estado del proyecto

En producción. Se han publicado cuatro informes de transparencia algorítmica.

más información

Casos prácticos implementados:

Casos en fase de desarrollo:

Referencias bibliográficas:

Obligaciones legales:

Marco europeo

  • Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en cuanto al tratamiento de datos personales ya la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (“RGPD"). Enlace
  • Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a efectos del Reglamento 2016/679. Adoptadas el 3 de octubre de 2017 y revisadas por última vez y adoptadas el 6 de febrero de 2018. Grupo de trabajo sobre protección de datos del artículo 29 de la Directiva 95/46/CE. Enlace
  • Reglamento del Parlamento Europeo y el Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de IA) y se modifican determinados actos legislativos de la Unión. 12/7/2024. Enlace 

Marco estatal

  • Ley orgánica 3/2018, de 5 de diciembre, de protección de datos personales y garantía de los derechos digitales (“LOPDGDD"). Enlace
  • Adecuación al RGPD de tratamientos que incorporen Inteligencia Artificial. Una introducción. Febrero de 2020. AEPD. Enlace
  • Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación. Enlace

Marco catalán

  • Ley 19/2014, de 29 de diciembre, de transparencia, acceso a la información pública y buen gobierno. Enlace
  • Decreto 76/2020, de 4 de agosto, de administración digital. Enlace

[ 1 ] Por ejemplo, el Reglamento de IA especifica la información que debe darse en relación con determinados sistema de IA (art 50); el RGPD determina la información a facilitar a la persona interesada cuando existen decisiones automatizadas (art 13); y la LRJSP establece la obligación de informar sobre el órgano responsable de una actuación administrativa automatizada en la sede electrónica, a efectos de impugnación (art 41).