Défi

Comment gagner la confiance des utilisateurs dans les services gouvernementaux numériques qui utilisent des données et des algorithmes d’intelligence artificielle, tout en garantissant leur utilisation responsable, sûre et équitable. 

Solution proposée : que chaque service numérique inclue, sur sa page d’accueil et sur le portail, les éléments suivants : Transparència De la part de l'entité responsable, un rapport compréhensible sur le fonctionnement du système et son impact potentiel sur les personnes.
→ Voir le Modèle de rapport PDF transparència Algorithme AOC (mis à jour le 17/4/2026)

Problème et contexte actuel

L'intelligence artificielle (IA) fait désormais partie intégrante de notre quotidien. Les gouvernements l'utilisent pour améliorer l'accessibilité et l'expérience des services publics, optimiser les processus ou gérer l'espace public, par exemple.

Les algorithmes sont à la base des systèmes d'IA et agissent souvent comme des « boîtes noires » pour les personnes qui les utilisent et les affectent. Pour éviter que cela se produise, il est essentiel que les algorithmes puissent être compris par les utilisateurs, qu'ils puissent comprendre comment une certaine décision a été prise et pourquoi cette décision est prise. Encore plus dans le cas du gouvernement, qui ne peut fonctionner que s'il y a confiance entre lui et le public. Une bonne administration doit permettre à tous les citoyens de comprendre les raisons des décisions et d'avoir la possibilité de les contester.

Dans les gouvernements démocratiques, la confiance est garantie par de nombreuses garanties juridiques. Concernant l'obligation de transparence des algorithmes d'IA utilisés dans les services publics numériques, la loi établit le droit des individus d'obtenir une explication des décisions automatisées (RGPD) et prévoit la mise en place de mécanismes permettant aux algorithmes décisionnels de prendre en compte différents critères. transparència et l’explicabilité (Loi-cadre 15/2022 relative à l’égalité de traitement et à la non-discrimination), mais n’établit aucun mécanisme ni instrument juridique spécifique à cet effet. Elle se contente de formuler des recommandations et laisse aux organisations le soin de choisir l’outil le plus approprié pour :

  • fournir des informations significatives sur la logique des algorithmes utilisés ainsi que les conséquences attendues, claires et dans un langage compréhensible,
  • permettre aux gens de comprendre pourquoi un algorithme a donné un certain résultat, ainsi qu'indiquer l'organisme devant lequel ils peuvent faire appel de leurs décisions particulières ou contester son fonctionnement général,
  • ouvrir les algorithmes au contrôle démocratique.

En l'absence de mécanismes, techniques ou méthodes concrets pour y parvenir transparència Dans le cadre de l'étude algorithmique menée par l'AOC en 2023, l'organisation a cherché à identifier des formes standardisées de transparència et accorder la priorité à la compréhension des algorithmes que nous appliquons à nos services d'administration numérique.

C'est là que l'initiative de transparència L'algorithme que nous présentons.

Solution proposée 

La transparència Le développement et l'utilisation de l'IA constituent un enjeu crucial pour garantir que cette technologie soit utilisée de manière responsable et équitable envers la société.

Afin d'atteindre le transparència algorithmique, L'AOC propose que chaque service numérique inclue, sur sa page d'accueil et sur le portail, les informations suivantes : Transparència De la part de l'entité responsable, un rapport compréhensible sur le fonctionnement du système et les algorithmes qu'il utilise..

Cette initiative se veut un outil pour :

  • aider les citoyens à comprendre le fonctionnement des algorithmes utilisés par les administrations locales, leur objectif et leur impact potentiel.
  • fournir un transparència significatif de manière standardisée et permettant la comparaison entre différents algorithmes,
  • permettre à chacun de donner facilement son avis et de participer à la création d'algorithmes centrés sur l'humain.

En outre, bien que l’initiative se concentre principalement sur les systèmes d’intelligence artificielle, comprend également des rapports sur transparència pour les algorithmes déterministes dans les cas d'utilisation sensibles, tels que des systèmes d’automatisation complexes pour une assistance sociale de grande envergure, selon le critère selon lequel ils peuvent également avoir un impact pertinent sur les personnes.

→ Voir le Modèle de rapport PDF transparència Algorithme AOC (mis à jour le 17/4/2026)

Contenu du rapport

Chaque rapport de transparència l'algorithme contient :

  • le problème à résoudre avec l'algorithme en question,
  • l'explication des caractéristiques de l'algorithme ainsi que de son fonctionnement,
  • les groupes qui peuvent être concernés par l'algorithme,
  • l’estimation du niveau de risque du système algorithmique, basée sur :
    • l’analyse des risques ou l’évaluation d’impact sur les droits fondamentaux qui a été réalisée (le cas échéant) pour déterminer les biais discriminatoires possibles de l’algorithme,
    • l'analyse des risques de sécurité du système qui a été réalisée pour identifier les éventuelles contingences de disponibilité et de sécurité du système qui contient l'algorithme,
    • la gestion des risques prises et les mesures appliquées garantir le respect des droits fondamentaux, 
  • l'instance devant laquelle vous pouvez faire appel des décisions particulières de l'algorithme ou contester son fonctionnement général lorsque la loi l'exige,
  • les coordonnées du responsable et du fournisseur de l’algorithme.

Comment le contenu du rapport a été déterminé

Pour déterminer le contenu des rapports transparència En 2023, l’équipe Innovation et Données d’Algorithmic, avec le soutien des services juridiques de l’AOC, a réalisé une étude portant notamment sur :  

  1. Une analyse de la réglementation en vigueur à cette époque dans lequel le sujet de transparència des décisions automatisées prises par des algorithmes d'IA, en accordant une attention particulière aux règles suivantes :  
  • Règlement européen sur la protection des données (RGPD)
  • Proposition de règlement du Conseil de l’Europe sur l’utilisation de l’intelligence artificielle (loi sur l’IA)
  • Loi 40/2015 sur le régime juridique du secteur public (LRJSP) et règlement pour l'exercice et le fonctionnement du secteur public par voie électronique (RD 203/2021)
  • Loi intégrale 15/2022 pour l'égalité de traitement et la non-discrimination 
  1. Documents offrant des lignes directrices et des conseils pour obtenir une IA sûre et fiable. Ça devrait être noté: 
  • Lignes directrices éthiques pour une IA de confiance, du groupe d'experts de haut niveau sur l'IA de la Commission européenne (avril 2019) 
  • Rapport "Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights" du Commissaire aux droits de l'homme du Conseil de l'Europe (mai 2019)
  • Principes pour une gestion responsable de l'IA de confiance issus de la recommandation du Conseil de l'intelligence artificielle de l'OCDE (mai 2019)
  • Rapport APDCAT « Décisions automatisées en Catalogne » (janvier 2020)  
  • Déclaration européenne sur les droits numériques et principes pour la décennie numérique (janvier 2023)
  • Outil de cadre de gestion des risques liés à l'intelligence artificielle du NIST (janvier 2023)
  1. Ils ont également été explorés initiatives de transparència algorithmique des différentes administrations, qui étaient en phase de développement ou récemment mises en œuvre. Il convient de noter : 
  • Registre de l'intelligence artificielle des villes d'Helsinki et d'Amsterdam – mis en œuvre
  • Norme de transparència Algorithme Eurocities, basé sur la norme britannique – mis en œuvre
  • Proposition de cadre de travail éthique pour les algorithmes de la Generalitat de Catalunya (mai 2021)
  • Modèle d'enregistrement algorithmique municipal du conseil municipal de Barcelone basé sur la norme de transparència d'Eurocities (janvier 2023)
  • Recueil d'algorithmes d'IA provenant du système de santé catalan (SISCAT) et des centres de recherche de Catalogne dans le cadre de l'Observatoire de l'IA en santé de la Fondation sociale TIC Salut (décembre 2022)
  • Radar des algorithmes d'IA du Tableau des entités du Tiers Secteur social de Catalogne (janvier 2024)

Conclusions de l'étude

Les États membres de l'Union européenne s'engagent, par le biais de la Déclaration européenne sur les droits numériques et des principes pour la décennie numérique, à garantir un niveau adéquat de transparència dans l’utilisation des algorithmes et de l’intelligence artificielle, afin que les personnes soient informées et formées à leur utilisation lorsqu’elles interagissent avec eux.

Pour se conformer à l'exigence de transparència En ce qui concerne les systèmes d'IA des administrations publiques, la réglementation en vigueur précise les informations qui doivent être fournies selon les cas. [1], mais ne définit pas de mécanisme « concret », de format standardisé ou d'instrument juridique pour ce faire ; bien que: 

  • le règlement sur l'IA établit l'obligation de conserver un enregistrement de toutes les informations pertinentes sur les systèmes d'IA à haut risque (art. 17) ;
  • La loi 15/2022 relative à l'égalité de traitement et à la non-discrimination évoque la promotion de la mise en œuvre de « mécanismes » permettant aux algorithmes impliqués dans la prise de décision de prendre en compte des critères de minimisation des biais. transparència et la responsabilité (art. 23) ;
  • le Règlement sur la performance et le fonctionnement du secteur public par voie électronique établit l'obligation de publier sur son site Internet la liste des actions administratives automatisées (AAA) – qui peuvent ou non impliquer l'utilisation d'algorithmes d'IA – et d'accompagner chaque AAA avec une description de sa conception et de son fonctionnement (art. 11). 

Nous avons exploré différentes initiatives promues par les gouvernements locaux et régionaux européens, afin de trouver une méthode standardisée qui nous permette de nous conformer aux exigences de transparència des algorithmes d'IA que nous appliquons à nos services d'administration numérique.

Parmi toutes les initiatives explorées et conformément aux obligations légales en vigueur, nous sommes arrivés à la conclusion que le publication de rapports transparència algorithmique sur le portail de Transparència c'est un solution simple et rapide Quoi facilite le respect des exigences de transparència établi dans la réglementation i permet de gagner la confiance des utilisateurs dans les systèmes d'IA des administrations publiques.

L’étude nous a également permis de déterminer quelles informations pertinentes doivent être fournies sur les services publics basés sur l’IA afin que les utilisateurs puissent comprendre comment les algorithmes prennent des décisions et comment ces décisions sont vérifiées. Par ailleurs, l'étude nous a amené à développer une méthodologie agile et pratique pour identifier et analyser les risques les plus probables liés à l'utilisation d'algorithmes d'IA en relation avec droits fondamentaux, et les relier aux mesures qui devront être appliquées dans chaque cas pour garantir le respect de ces droits.

Méthodologie de gestion des risques axée sur la protection des droits fondamentaux

Pour garantir une IA fiable, éthique et sûre dans les services publics, l’AOC a développé sa propre méthodologie de gestion des risques. Cette méthodologie, axée sur la protection des droits fondamentaux, aborde les risques possibles qui peuvent affecter les citoyens et détaille comment ils peuvent être atténués ou minimisés. La méthodologie se compose de trois étapes principales, chacune reposant sur une base solide dans les réglementations et directives internationales.

  • Étape 1 : Identification des principes et droits fondamentaux à protéger
    Pour garantir une IA respectueuse des valeurs démocratiques, nous nous sommes appuyés sur la Charte des droits fondamentaux de l’Union européenne, qui nous aide à définir les principales familles de droits et principes pouvant être concernés par l’IA. Ce sont :

    • A) Égalité et non-discrimination
    • B) Protection des données, respect de la vie privée et autonomie personnelle
    • C) Sécurité, robustesse et cybersécurité
    • D) Transparència, l'explicabilité et l'accès à l'information
    • E) Responsabilité, imputabilité et auditabilité
    • F) Impact social, durabilité et droits économiques

  • Étape 2 : Identification des risques associés et de leur relation avec les principes et droits à protéger
    Pour identifier les risques les plus courants liés à l’utilisation de l’IA, l’AOC a adopté leCadre de gestion des risques liés à l'intelligence artificielle (AI RMF 1.0) du NIST, qui relie les risques potentiels aux principes et droits susmentionnés. Cette approche permet de déterminer quels risques peuvent mettre en danger chacune des familles de droits fondamentaux, contribuant ainsi à anticiper et gérer des problèmes tels que la discrimination, la vie privée ou la sécurité.

  • Étape 3 : Détermination des mesures de gestion des risques
    Pour identifier les mécanismes et les garanties qui pourraient être plus appropriés et plus efficaces dans chaque cas pour éviter la violation des principes et droits fondamentaux, nous nous sommes appuyés sur le chapitre II du Lignes directrices éthiques pour une IA de confiance de la Commission européenne, et dans le règlement IA récemment approuvé (application obligatoire à partir du 2/8/2026), afin que les mécanismes soient déterminés en fonction du niveau de risque du système d'IA et pour certains systèmes ou modèles d'IA. Par exemple:
    • risque élevé: sous réserve d'exigences spécifiques en matière de sûreté et de sécurité transparència, et l’obligation de réaliser une analyse d’impact relative aux droits fondamentaux avant le déploiement du système (art. 27)
    • Risque limité: obligations minimales de transparència pour permettre aux utilisateurs de prendre des décisions éclairées et d'être conscients lorsqu'ils interagissent avec une IA.

Cette méthodologie nous aide à maintenir un système d’IA transparent, sécurisé et engagé dans la protection des droits fondamentaux.

→ Pour plus de détails, vous pouvez consulter le document complet : Méthodologie de gestion des risques des systèmes d'IA d'AOC (PDF)

→ À présentation (PPT, 7/11/2024) vous pouvez voir un tableau récapitulatif des trois étapes de la méthodologie de gestion des risques de l'AOC.

Rapports publiés :

L'état du projet

En productionQuatre rapports ont été publiés. transparència algorithmique.

Plus d'information

Cas pratiques mis en œuvre :

Cas en phase de développement :

Références bibliographiques :

Obligations légales:

Cadre européen

  • Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation de ces données et par lequel abroge la directive 95 /46/CE ("RGPD»). Lien
  • Lignes directrices sur les décisions individuelles automatisées et le profilage aux fins du règlement 2016/679. Adoptée le 3 octobre 2017 et révisée pour la dernière fois et adoptée le 6 février 2018. Groupe de travail sur la protection des données Article 29 de la directive 95/46/CE. Lien
  • Règlement du Parlement européen et du Conseil établissant des règles harmonisées en matière d'intelligence artificielle (Loi sur l'IA) et certains actes législatifs de l'Union sont modifiés. 12/7/2024. Lien 

Cadre étatique

  • Loi organique 3/2018, du 5 décembre, sur la protection des données personnelles et la garantie des droits numériques ("LOPDGDD»). Lien
  • Conformité au RGPD des traitements intégrant l'Intelligence Artificielle. Une introduction Février 2020. AEPD. Lien
  • Loi 15/2022, du 12 juillet, complète pour l'égalité de traitement et la non-discrimination. Lien

Cadre catalan

  • Loi 19/2014 du 29 décembre transparència, l'accès à l'information publique et la bonne gouvernance. Lien
  • Décret 76/2020, du 4 août, sur l'administration numérique. Lien

[1] Par exemple, le règlement relatif à l'IA précise les informations qui doivent être fournies concernant certains systèmes d'IA (art. 50) ; le RGPD détermine les informations qui doivent être fournies à la personne concernée.ereslorsqu’il y a des décisions automatisées (art. 13) ; et le LRJSP établit l’obligation d’informer sur l’organisme responsable d’une action administrative automatisée dans le bureau électronique, aux fins de contestation (art. 41).