AOC

Uitdaging

Hoe we het vertrouwen van gebruikers kunnen winnen in digitale overheidsdiensten die gebruik maken van data en kunstmatige intelligentie-algoritmen, en tegelijkertijd het verantwoorde, veilige en eerlijke gebruik ervan kunnen garanderen. 

Probleem en huidige context

Kunstmatige intelligentie (AI) is niet meer weg te denken uit ons dagelijks leven. Overheden gebruiken het bijvoorbeeld om de bereikbaarheid en beleving van publieke diensten te verbeteren, processen te optimaliseren of de openbare ruimte te beheren.

Algoritmen vormen de basis van AI-systemen en fungeren vaak als "zwarte dozen" voor de mensen die ze gebruiken en beïnvloeden. Om te voorkomen dat dit gebeurt, het is essentieel dat de algoritmen door de gebruikers kunnen worden begrepen, dat ze kunnen begrijpen hoe een bepaalde beslissing tot stand is gekomen en waarom deze beslissing is genomen. Zeker in het geval van de overheid, die alleen kan functioneren als er vertrouwen is tussen haar en het publiek. Een goed bestuur moet alle burgers in staat stellen de redenen voor besluiten te begrijpen en de mogelijkheid te hebben deze aan te vechten.

In democratische regeringen wordt het vertrouwen gegarandeerd door tal van wettelijke waarborgen. Wat betreft de verplichting om de AI-algoritmen die worden gebruikt in digitale overheidsdiensten transparant te maken, stelt de wet het recht van individuen vast om uitleg te krijgen over geautomatiseerde beslissingen (RGPD) en voorziet ze in de creatie van "mechanismen" zodat de algoritmen die betrokken zijn bij de besluitvorming - rekening houden met transparantie- en uitlegbaarheidscriteria (Algemene Wet 15/2022 voor gelijke behandeling en non-discriminatie), maar stelt geen specifiek mechanisme of wettelijk instrument vast om dit te doen Het geeft alleen aanbevelingen en laat het aan de organisaties over om de meest geschikte tool te vinden voor:

  • zinvolle informatie verstrekken over de logica van de gebruikte algoritmen en de verwachte gevolgen, die duidelijk is en begrijpelijke taal gebruikt,
  • mensen in staat stellen te begrijpen waarom een ​​algoritme een bepaald resultaat heeft opgeleverd, en ook aangeven bij welke instantie ze in beroep kunnen gaan tegen hun specifieke beslissingen of de algemene werking ervan kunnen aanvechten,
  • open de algoritmen voor democratische controle.

Gezien het ontbreken van concrete mechanismen, technieken of methodes om tot algoritmische transparantie te komen, heeft het AOC een studie uitgevoerd om te zoeken naar gestandaardiseerde vormen van transparantie en prioriteit te geven aan het begrijpen van de algoritmen die we toepassen op onze digitale administratie

Dit is waar het algoritmische transparantie-initiatief dat we presenteren vandaan komt.

Voorgestelde oplossing 

Transparantie bij de ontwikkeling en het gebruik van AI is van cruciaal belang om ervoor te zorgen dat deze technologie op verantwoorde en eerlijke wijze door de samenleving wordt gebruikt.

Als middel om algoritmische transparantie te bereiken, stelt de AOC de publicatie op het Transparantieportaal van begrijpelijke rapporten voor elk algoritme toegepast op digitale administratiediensten.

Dit initiatief wil een instrument zijn voor:

  • mensen helpen begrijpen hoe de algoritmen die bij de lokale overheid worden gebruikt, werken en wat hun doel is,
  • op gestandaardiseerde wijze aanzienlijke transparantie bieden en vergelijking tussen verschillende algoritmen mogelijk maken;
  • maken het voor iedereen gemakkelijk om zijn mening te geven en deel te nemen aan de creatie van mensgerichte algoritmen.

Bovendien richt het initiatief zich weliswaar vooral op systemen voor kunstmatige intelligentie, bevat ook transparantierapporten voor deterministische algoritmen in gevoelige use cases, zoals complexe automatiseringssystemen voor omvangrijke sociale hulpverlening, waarbij als criterium geldt dat ze ook een relevante impact op mensen kunnen hebben.

Inhoud van het dossier

Elk algoritmisch transparantietabblad bevat:

  • het probleem dat met het betreffende algoritme moet worden opgelost,
  • de uitleg van de kenmerken van het algoritme en de werking ervan,
  • de groepen die mogelijk door het algoritme worden beïnvloed,
  • de risicoanalyse of gegevensbeschermingseffectbeoordeling die is uitgevoerd (indien van toepassing) om de mogelijke discriminerende vooroordelen van het algoritme vast te stellen,
  • de veiligheidsrisicoanalyse van het systeem die is uitgevoerd om de mogelijke onvoorziene omstandigheden van beschikbaarheid en veiligheid van het systeem dat het algoritme bevat te identificeren,
  • la risicomanagement gemaakt en de toegepaste maatregelen om de naleving van de grondrechten te garanderen, 
  • de instantie waarbij u in beroep kunt gaan tegen de specifieke beslissingen van het algoritme of de algemene werking ervan kunt aanvechten wanneer de wet dit vereist,
  • de contactgegevens van de verantwoordelijke en van de leverancier van het algoritme.

→ Zie de model AOC algoritmisch transparantieblad (Pdf)

Hoe de inhoud van het dossier werd bepaald

Om de inhoud van de algoritmische transparantiebestanden te bepalen, heeft het team Innovatie en Data met de steun van de juridische diensten van het AOC een studie uitgevoerd die het volgende omvat:  

  1. een analyse van bestaande regelgeving waarin de kwestie van transparantie van geautomatiseerde beslissingen door AI-algoritmen wordt behandeld, met bijzondere aandacht voor:  
  • Europese verordening gegevensbescherming (RGPD)
  • Verordening inzake het gebruik van kunstmatige intelligentie van de Raad van Europa (AI Act)
  • Wet 40/2015 betreffende het wettelijke regime van de publieke sector (LRJSP) en regelgeving voor de prestaties en werking van de publieke sector via elektronische middelen (KB 203/2021)
  • Uitgebreide wet 15/2022 voor gelijke behandeling en non-discriminatie 
  1. Documenten die richtlijnen en begeleiding bieden om een ​​veilige en betrouwbare AI te bereiken. Opgemerkt moet worden: 
  • Ethische richtlijnen voor betrouwbare AI, van de High Level Expert Group on AI van de Europese Commissie (april 2019) 
  • Rapport "Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights" door de commissaris voor mensenrechten van de Raad van Europa (mei 2019)
  • Principes voor het verantwoord beheer van vertrouwde AI uit de aanbeveling van de OESO-raad voor kunstmatige intelligentie (mei 2019)
  • APDCAT-rapport "Geautomatiseerde beslissingen in Catalonië" (januari 2020)  
  • Europese verklaring over digitale rechten en beginselen voor het digitale decennium (januari 2023)
  • NIST Risicobeheerraamwerk voor kunstmatige intelligentie (januari 2023)
  1. Ze zijn ook verkend algoritmische transparantie-initiatieven van verschillende administraties, die zich in de ontwikkelingsfase bevinden. Opgemerkt moet worden: 
  • Register Algoritmen van de gemeente Amsterdam – geïmplementeerd
  • Register voor kunstmatige intelligentie van de stad Helsinki – geïmplementeerd
  • Algoritmische transparantiestandaard van Eurocities, gebaseerd op de Britse standaard – geïmplementeerd
  • Register van gemeentelijke algoritmen van de gemeenteraad van Barcelona 
  • Register van Algoritmen van de ICT Social Health Foundation 
  • Radar van AI-algoritmen van de tabel met entiteiten van de derde sociale sector van Catalonië
  • Voorstel voor een ethisch werkkader voor de algoritmen van de Generalitat de Catalunya

Conclusies van de studie

De lidstaten van de Europese Unie verbinden zich ertoe, via de Europese Verklaring over digitale rechten en beginselen voor het digitale decennium, te zorgen voor voldoende transparantie bij het gebruik van algoritmen en kunstmatige intelligentie en omdat mensen worden geïnformeerd en opgeleid om ze te gebruiken wanneer ze met hen omgaan.

Om te voldoen aan de eis van transparantie van AI-systemen van overheidsdiensten, specificeert de huidige regelgeving de informatie die moet worden verstrekt op basis van de gevallen [1], maar definieert geen "concreet" mechanisme, gestandaardiseerd formaat of juridisch instrument om dit te doen; hoewel: 

  • de AI-verordening stelt de eis vast om alle relevante informatie over AI-systemen met een hoog risico bij te houden (art. 17);
  • de alomvattende wet 15/2022 voor gelijke behandeling en non-discriminatie spreekt over het bevorderen van de implementatie van “mechanismen” zodat de algoritmen die betrokken zijn bij de besluitvorming rekening houden met criteria van het minimaliseren van vooringenomenheid, transparantie en het inleveren van rekeningen (art. 23);
  • de Verordening betreffende de prestaties en werking van de publieke sector langs elektronische weg stelt de verplichting vast om op haar website de lijst van geautomatiseerde administratieve handelingen (AAA) – die al dan niet het gebruik van AI-algoritmen met zich meebrengen – te publiceren, en elke AAA te begeleiden met een beschrijving van de opzet en werking ervan (art. 11). 

We hebben verschillende initiatieven onderzocht die worden gepromoot door Europese lokale en regionale overheden, om een ​​gestandaardiseerde manier te vinden waarmee we kunnen voldoen aan de eis van transparantie van de AI-algoritmen die we toepassen op onze digitale overheidsdiensten.

Van alle onderzochte initiatieven en in overeenstemming met de geldende wettelijke verplichtingen, zijn we tot de conclusie gekomen dat de publicatie van algoritmische transparantierapporten op het Transparantieportaal het is een snelle en simpele oplossing dat vergemakkelijkt de naleving van de in de regelgeving vastgelegde transparantievereiste i maakt het mogelijk om het vertrouwen van de gebruikers te winnen in de AI-systemen van overheidsdiensten.

Dankzij het onderzoek konden we ook bepalen welke relevante informatie moet worden verstrekt over op AI gebaseerde openbare diensten, zodat gebruikers kunnen begrijpen hoe algoritmen beslissingen nemen en hoe die beslissingen worden geverifieerd. Voor het overige heeft het onderzoek ons ​​ertoe gebracht een flexibele en praktische methodologie te ontwikkelen om de meest waarschijnlijke risico’s die verbonden zijn aan het gebruik van AI-algoritmen te identificeren en te analyseren. fundamentele rechten, en koppel ze aan de maatregelen die in elk geval moeten worden toegepast om de naleving van deze rechten te garanderen.

Risicobeheermethodologie gericht op de bescherming van fundamentele rechten

Om betrouwbare, ethische en veilige AI in de publieke dienstverlening te garanderen, heeft het AOC zijn eigen methodologie voor risicobeheer ontwikkeld. Deze methodologie, gericht op de bescherming van fundamentele rechten, richt zich op de mogelijke risico's die burgers kunnen treffen en geeft aan hoe deze kunnen worden verzacht of geminimaliseerd. De methodiek bestaat uit drie hoofdstappen, elk met een solide basis in internationale regelgeving en richtlijnen.

  • Stap 1: Identificatie van fundamentele beginselen en rechten die moeten worden beschermd
    Om een ​​AI te garanderen die de democratische waarden respecteert, hebben we vertrouwd op het Handvest van de grondrechten van de Europese Unie, dat ons helpt bij het definiëren van de belangrijkste families van rechten en beginselen die door AI kunnen worden beïnvloed. Dit zijn:

    • A) Gelijkheid en non-discriminatie
    • B) Gegevensbescherming en privacy
    • C) Veiligheid en robuustheid
    • D) Transparantie en verklaarbaarheid
    • E) Bewaren van rekeningen en controleerbaarheid
    • F) Duurzame ontwikkeling en solidariteit

  • Stap 2: Identificatie van de daarmee samenhangende risico’s en hun relatie met de te beschermen beginselen en rechten
    Om de meest voorkomende risico’s bij het gebruik van AI te identificeren, heeft het AOC deRisicobeheerkader voor kunstmatige intelligentie (AI RMF 1.0) van NIST, waarin de potentiële risico’s worden gerelateerd aan bovengenoemde principes en rechten. Deze aanpak maakt het mogelijk om te bepalen welke risico's elk van de families van fundamentele rechten in gevaar kunnen brengen, waardoor problemen zoals discriminatie, privacy of veiligheid kunnen worden geanticipeerd en beheerd.

  • Stap 3: Bepaling van risicobeheersmaatregelen
    Om de mechanismen en waarborgen te identificeren die in elk geval passender en effectiever kunnen zijn om de schending van fundamentele beginselen en rechten te voorkomen, hebben we ons gebaseerd op Hoofdstuk II van het Ethische richtlijnen voor vertrouwde AI van de Europese Commissie, en in de onlangs goedgekeurde AI-Verordening (verplichte toepassing vanaf 2/8/2026), zodat de mechanismen worden bepaald op basis van het risiconiveau van het AI-systeem en voor bepaalde AI-systemen of modellen. Bijvoorbeeld:
    • hoog risico: onderworpen aan specifieke veiligheids- en transparantievereisten, en de verplichting om een ​​effectbeoordeling met betrekking tot de grondrechten uit te voeren voordat het systeem wordt ingezet (art. 27)
    • Beperkt risico: Minimale transparantieverplichtingen om gebruikers in staat te stellen weloverwogen beslissingen te nemen en zich bewust te zijn van de interactie met een AI.

Deze methodologie helpt ons een AI-systeem in stand te houden dat transparant en veilig is en zich inzet voor de bescherming van de grondrechten.

→ Op presentatie (PPT, 7/11/2024) U kunt een samenvattende tabel bekijken van de drie stappen van de risicobeheermethodologie van het AOC.

GEPUBLICEERDE RAPPORTEN:

Project status

In de maak. Er zijn vier algoritmische transparantierapporten gepubliceerd.

Meer informatie

Praktijkgevallen geïmplementeerd:

Cases in ontwikkelingsfase:

Bibliografische referenties:

Wettelijke verplichtingen:

Europees kader

  • Verordening (EU) 2016/679 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens en het vrije verkeer van die gegevens en waarbij Richtlijn 95 wordt ingetrokken /46/EG (“RGPD"). Koppeling
  • Richtsnoeren voor geautomatiseerde individuele beslissingen en profilering voor de doeleinden van Verordening 2016/679. Goedgekeurd op 3 oktober 2017 en voor de laatste keer herzien en goedgekeurd op 6 februari 2018. Werkgroep gegevensbescherming Artikel 29 van Richtlijn 95/46/EG. Koppeling
  • Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels inzake kunstmatige intelligentie (AI-wet) en bepaalde wetgevingshandelingen van de Unie worden gewijzigd. 12/7/2024. Koppeling 

Rijks kader

  • Organische wet 3/2018 van 5 december betreffende de bescherming van persoonsgegevens en de garantie van digitale rechten (“LOPDGDD"). Koppeling
  • Naleving van de RGPD van behandelingen die kunstmatige intelligentie bevatten. Een introductie Februari 2020. AEPD. Koppeling
  • Wet 15/2022 van 12 juli, alomvattend voor gelijke behandeling en non-discriminatie. Koppeling

Catalaans kader

  • Wet 19/2014 van 29 december betreffende transparantie, toegang tot openbare informatie en goed bestuur. Koppeling
  • Besluit 76/2020 van 4 augustus over digitale administratie. Koppeling

[1] Zo specificeert de AI-Verordening welke informatie moet worden verstrekt met betrekking tot bepaalde AI-systemen (art. 50); de RGPD bepaalt welke informatie aan de belanghebbende moet worden verstrekt wanneer er sprake is van geautomatiseerde besluiten (art. 13); en de LRJSP stelt de verplichting vast om te rapporteren aan de instantie die verantwoordelijk is voor een geautomatiseerde administratieve actie in het elektronische hoofdkwartier, met het oog op beroep (art. 41).