Repte
Com garantir l’ús responsable, segur i just dels algorismes d’intel·ligència artificial que apliquem als serveis d’administració digital i aconseguir la confiança dels usuaris
Problemàtica i context actual
La intel·ligència artificial (IA) ha esdevingut part integrant de la nostra vida quotidiana. Els governs la fan servir per millorar l’accessibilitat i l’experiència dels serveis públics, optimitzar processos o gestionar l’espai públic, per exemple.
Els algorismes són la base dels sistemes d’IA i sovint succeeix que es comporten com “caixes negres” per a les persones que els fan servir i afecten. Perquè això no passi, és imprescindible que els algorismes puguin ser entesos pels usuaris, que aquests puguin comprendre com s’ha arribat a una determinada decisió i per què es pren aquesta decisió. Més encara en el cas del govern, que només pot funcionar quan hi ha confiança entre aquest i la ciutadania. Una bona administració ha de permetre a tots els ciutadans comprendre els motius de les decisions i tenir la possibilitat d’impugnar-les.
Als governs democràtics, la confiança es garanteix mitjançant nombroses salvaguardes legals. Pel que fa a l’obligació de fer transparents els algorismes d’IA que s’usen als serveis d’administració digital, la llei estableix el dret de les persones a obtenir una explicació de les decisions automatitzades (RGPD) i preveu la creació de “mecanismes” perquè els algorismes involucrats en la presa de decisions tinguin en compte criteris de transparència i explicabilitat (Llei 5/2023 integral per a la igualtat de tracte i la no discriminació), però no estableix cap mecanisme o instrument jurídic concret per fer-ho. Només dona recomanacions i deixa a criteri dels organismes trobar l’eina més adient per:
- facilitar informació significativa sobre la lògica dels algorismes emprats així com de les conseqüències previstes, que sigui clara i que faci ús d’un llenguatge entenedor,
- permetre a les persones entendre per què un algorisme ha donat un determinat resultat, així com indicar l’òrgan davant del qual es podran recórrer les seves decisions particulars o impugnar el seu funcionament general,
- obrir els algorismes al control democràtic.
En vista de la manca de concreció de mecanismes, tècniques o mètodes per aconseguir la transparència algorísmica, l’AOC ha realitzat un estudi per bé de cercar formes normalitzades de transparència i donar prioritat a la comprensió dels algorismes que apliquem als nostres serveis d’administració digital.
D’aquí sorgeix la iniciativa de transparència algorísmica que presentem.
Solució proposada
La transparència en el desenvolupament i ús de la intel·ligència artificial (IA) és una qüestió crucial per garantir que aquesta tecnologia sigui responsable i justa envers la societat.
Com a mitjà per assolir la transparència algorísmica, l’AOC proposa la publicació al Portal de Transparència de fitxes entenedores per a cada algorisme d’IA emprat als serveis d’administració digital.
Aquesta iniciativa pretén ser una eina per:
- ajudar les persones a comprendre com funcionen els algorismes utilitzats a les administracions locals i quin és el seu propòsit,
- proporcionar una transparencia significativa de forma estandarizada i permetre la comparació entre diferents algorismes,
- facilitar que tothom pugui donar la seva opinió i participar en la creació d’algorismes centrats en les persones.
Contingut de la fitxa
Cada fitxa de transparència algorísmica conté:
- el problema a resoldre amb l’algorisme d’IA en qüestió,
- l’explicació de les característiques de l’algorisme així com el seu funcionament,
- els col·lectius que es poden veure afectats per l’algorisme,
- l’anàlisi de riscos o l’avaluació d’impacte de protecció de dades que s’ha fet (segons pertoqui) per determinar els possibles biaixos discriminatoris de l’algorisme,
- l’anàlisi de riscos de seguretat del sistema que s’ha fet per identificar les possibles contingències de disponibilitat i seguretat del sistema que conté l’algorisme,
- la gestió de riscos feta i les mesures aplicades per garantir el compliment dels drets fonamentals,
- l’òrgan davant del qual es podrà recórrer contra les decisions particulars de l’algorisme o impugnar el seu funcionament general,
- les dades de contacte del responsable i del proveïdor de l’algorisme.
→ Vegeu el model de fitxa de transparència algorísmica de l’AOC (pdf)
Com s’ha arribat a determinar el contingut de la fitxa
Per determinar el contingut de les fitxes de transparència algorísmica, l’equip d’Innovació i Dades amb el suport dels serveis jurídics de l’AOC, ha dut a terme un estudi que inclou:
- Una anàlisi de la normativa existent en què s’aborda el tema de la transparència de les decisions automatitzades preses pels algorismes d’IA, posant especial atenció a:
- Reglament europeu de protecció de dades (RGPD)
- Proposta de Reglament sobre l’ús de la intel·ligència artificial del Consell d’Europa
- Llei 15/2022, de 12 de juliol, integral per a la igualtat de tracte i la no discriminació
- Documents que ofereixen directrius i orientacions per aconseguir una IA segura i fiable. Cal destacar:
- Directrius ètiques per a una IA fiable, del grup d’experts d’alt nivell sobre IA de la Comissió Europea (abril 2019)
- Informe “Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights” del Comissionat per als Drets Humans del Consell d’Europa (maig 2019)
- Informe “Decisions Automatitzades a Catalunya” de l’APDCAT (gener 2020)
- Declaració Europea sobre els Drets i principis digitals per a la Dècada Digital (gener 2023)
- També s’han explorat iniciatives de transparència algorísmica de diferents administracions, les quals es troben en fase de desenvolupament. Cal destacar:
- Registre d’Algorismes de la ciutat d’Amsterdam – implementat
- Registre d’Intel·ligència Artificial de la ciutat de Hèlsinki – implementat
- Estàndar algorísmic del Regne Unit – implementat
- Registre d’Algorismes municipal de l’Ajuntament de Barcelona
- Registre d’Algorismes de la Fundació TIC Salut Social
- Radar d’algorismes d’IA de la Taula d’entitats del Tercer Sector Social de Catalunya
- Proposta d’un marc de treball d’ètica dels algorismes de la Generalitat de Catalunya
Conclusions de l’estudi
Els estats membres de la Unió Europea es comprometen, a través de la Declaració Europea sobre els Drets i Principis Digitals per a la Dècada Digital, a vetllar per un nivell adequat de transparència en l’ús dels algorismes i la intel·ligència artificial i perquè les persones estiguin informades i capacitades per utilitzar-los quan hi interactuïn.
Per donar compliment al requisit de transparència dels sistemes d’IA de les administracions públiques, la normativa existent avui dia NO estableix cap mecanisme, forma normalitzada o instrument jurídic “concret” per fer-ho; si bé:
- el Reglament d’IA que prepara el Consell d’Europa apunta, com a primera actuació recomanable, “registrar i documentar” els sistemes d’IA utilitzats per les organitzacions que puguin quedar sotmesos a aquesta normativa;
- l’article 23 de la Llei 15/2022 integral per a la igualtat de tracte i la no discriminació parla d’afavorir la posada en marxa de “mecanismes” perquè els algorismes involucrats en la presa de decisions tinguin en compte criteris de minimització de biaixos, transparència i rendició de comptes;
- algunes ordenances municipals estableixen l’obligació de publicar a la seu-e la relació d’actuacions administratives automatitzades –que poden implicar o no l’ús d’algorismes d’IA–, amb informació de les regles aplicades i el seu funcionament.
Hem explorat diferents iniciatives que estan impulsant els governs locals i regionals europeus, a fi de trobar una “forma normalitzada” que ens permeti donar compliment al requisit de transparència dels algorismes d’IA que apliquem als nostres serveis d’administració digital.
D’entre totes les iniciatives explorades i d’acord amb les obligacions legals vigents, hem arribat a la conclusió que la publicació de fitxes de transparència algorísmica al Portal de Transparència és una solució àgil i senzilla que facilita el compliment del requisit de transparència establert a la normativa i permet aconseguir la confiança dels usuaris en els sistemes d’IA de les administracions públiques.
L’estudi també ens ha permès determinar quina és la informació rellevant que cal donar dels serveis públics basats en IA per tal que els usuaris puguin comprendre com els algorismes prenen les decisions i com es verifiquen aquestes decisions. Altrament, hem aprofundit en la identificació i l’anàlisi dels riscos més probables que comporta l’ús d’algorismes d’IA en relació amb els drets fonamentals, i els hem connectat amb les mesures que cal aplicar en cada cas per garantir el compliment d’aquests drets. (Vegeu l’apartat Gestió de riscos de les fitxes de transparència algorísmica).
FITXES PUBLICADES:
- Xatbots conversacionals de l’AOC – publicada al Portal de Transparència de l’AOC (26/5/2023)
- Videoidentificació per obtenir l’idCat Mòbil (2/2/2024)
- Automatització de l’informe de pobresa energètica (5/2/2024)
Estat del projecte
En Producció. S’han publicat les tres primeres fitxes de transparència algorísmica.
Mes informació
Casos pràctics implementats:
- Registre d’Algorismes de la ciutat d’Amsterdam – Amsterdam Algoritmeregister
- Registre d’Intel·ligència Artificial de la ciutat de Hèlsinki – City of Helsinki AI Register
- Estàndard algorísmic del Regne Unit – Algorithmic Transparency Reports
Casos en fase de desenvolupament:
- Registre d’algorismes municipal de l’Ajuntament de Barcelona
- Registre d’eines d’IA de la Fundació TIC Salut Social
- Radar d’algorismes d’IA de la Taula d’entitats del Tercer Sector Social de Catalunya
- Proposta Marc de treball d’ètica dels algorismes, de la DGAD – Generalitat de Catalunya
Referències bibliogràfiques:
- Document “Una definició de la IA: capacitats i disciplines principals” del grup d’experts d’alt nivell sobre IA de la Comissió Europea (abril 2019)
- Directrius ètiques per a una IA fiable, del grup d’experts d’alt nivell sobre IA de la Comissió Europea (abril 2019)
- Recomanació del Consell sobre Intel·ligència Artificial de l’OCDE (maig 2019)
- Informe Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights del Comissionat per als Drets Humans del Consell d’Europa (maig 2019)
- Informe “IA en els serveis públics” de la IA Watch, CE (2020)
- Informe “Decisions Automatitzades a Catalunya” de l’APDCAT (gener 2020)
- AI Implementation and Self-Assessment Guide for Organitzation (ISAGO) de Singapur (gener 2020)
- Whitepaper Public AI Registers, de les ciutats d’Amsterdam, Helsinki i Saidot Ltd (setembre 2020)
- Mesura de Govern de l’estratègia municipal d’algoritmes i dades per a l’impuls ètic de la IA, de l’Ajuntament de Barcelona (abril 2021)
- Fundamental Rights and Algorithms Impact Assessment (FRAIA) dels Països Baixos (juliol 2021)
- Llei 1/2022, de 13 d’abril, de Transparència i Bon Govern de la Comunitat Valenciana (art 16 Informació de rellevància jurídica) Enllaç
- Informe Artificial intelligence in the public sector de l’OECD-OPSI (juliol 2022)
- Guia sobre l’explicabilitat en la Intel·ligència Artificial, de la Fundació TIC Salut Social (desembre 2022)]
- AI Risk management Framework del NIST (gener 2023)
- Algorithmic Impact Assessment tool de Canadà (abril 2023)
- Model d’autoavaluació PIO de l’Observatori d’Ètica en IA de Catalunya (OEIAC)
- Volum 9 Col·lecció Govern Obert: Transparència algorísmica al sector públic de la Generalitat de Catalunya (març 2023)
Obligacions legals:
Marc europeu
- Reglament (UE) 2016/679 del Parlament Europeu i del Consell, de 27 d’abril de 2016, relatiu a la protecció de les persones físiques pel que fa al tractament de dades personals i a la lliure circulació d’aquestes dades i pel qual es deroga la Directiva 95/46/CE (“RGPD”). Enllaç
- Directrius sobre decisions individuals automatitzades i elaboració de perfils als efectes del Reglament 2016/679. Adoptades el 3 d’octubre de 2017 i revisades per darrer cop i adoptades el 6 de febrer de 2018. Grup de treball sobre protecció de dades de l’article 29 de la Directiva 95/46/CE. Enllaç
- Proposta de Reglament del Parlament Europeu i el Consell pel qual s’estableixen normes harmonitzades en matèria d’intel·ligència artificial (Llei d’intel·ligència artificial) i es modifiquen determinats actes legislatius de la Unió. 21 d’abril del 2021. Comissió Europea. COM (2021) 206 final. Enllaç / Annex I de la proposta de Reglament d’IA de la Comissió Europea (2021)
Marc estatal
- Llei orgànica 3/2018, de 5 de desembre, de protecció de dades personals i garantia dels drets digitals (“LOPDGDD”). Enllaç
- Adequació al RGPD de tractaments que incorporen Intel·ligència Artificial. Una introducció. Febrer de 2020. AEPD. Enllaç
- Llei 15/2022, de 12 de juliol, integral per a la igualtat de tracte i la no discriminació. Enllaç
Marc català