AOC
icône du monde

Défi

Comment garantir l'utilisation responsable, sûre et équitable des algorithmes d'intelligence artificielle que nous appliquons aux services gouvernementaux numériques et gagner la confiance des utilisateurs

Problème et contexte actuel

L'intelligence artificielle (IA) fait désormais partie intégrante de notre quotidien. Les gouvernements l'utilisent pour améliorer l'accessibilité et l'expérience des services publics, optimiser les processus ou gérer l'espace public, par exemple.

Les algorithmes sont à la base des systèmes d'IA et agissent souvent comme des « boîtes noires » pour les personnes qui les utilisent et les affectent. Pour éviter que cela se produise, il est essentiel que les algorithmes puissent être compris par les utilisateurs, qu'ils puissent comprendre comment une certaine décision a été prise et pourquoi cette décision est prise. Encore plus dans le cas du gouvernement, qui ne peut fonctionner que s'il y a confiance entre lui et le public. Une bonne administration doit permettre à tous les citoyens de comprendre les raisons des décisions et d'avoir la possibilité de les contester.

Dans les gouvernements démocratiques, la confiance est garantie par de nombreuses garanties juridiques. Concernant l'obligation de rendre transparents les algorithmes d'IA utilisés dans les services numériques de l'administration, la loi consacre le droit des individus à obtenir une explication des décisions automatisées (RGPD) et prévoit la création de "mécanismes" afin que les algorithmes impliqués dans la décision -faire prendre en compte les critères de transparence et d'explicabilité (loi générale 5/2023 pour l'égalité de traitement et la non-discrimination), mais il n'établit aucun mécanisme ou instrument juridique spécifique pour le faire Il ne donne que des recommandations et laisse aux organisations le soin de trouver l'outil le plus adapté pour :

  • fournir des informations significatives sur la logique des algorithmes utilisés ainsi que les conséquences attendues, claires et dans un langage compréhensible,
  • permettre aux gens de comprendre pourquoi un algorithme a donné un certain résultat, ainsi qu'indiquer l'organisme devant lequel ils peuvent faire appel de leurs décisions particulières ou contester son fonctionnement général,
  • ouvrir les algorithmes au contrôle démocratique.

Face au manque de mécanismes, de techniques ou de méthodes concrètes pour atteindre la transparence algorithmique, l'AOC a mené une étude afin de rechercher des formes standardisées de transparence et de donner la priorité à la compréhension des algorithmes que nous appliquons à nos services d'administration numérique

C'est de là que vient l'initiative de transparence algorithmique que nous présentons.

Solution proposée 

La transparence dans le développement et l'utilisation de l'intelligence artificielle (IA) est un enjeu crucial pour garantir que cette technologie soit responsable et équitable pour la société.

Afin d'atteindre la transparence algorithmique, l'AOC propose la publication sur le Portail de Transparence de jetons compréhensibles pour chaque algorithme d'IA employés dans les services d'administration numérique.

Cette initiative se veut un outil pour :

  • aider les gens à comprendre comment fonctionnent les algorithmes utilisés dans les collectivités locales et quel est leur objectif,
  • apporter une transparence importante de manière standardisée et permettre la comparaison entre différents algorithmes,
  • permettre à chacun de donner facilement son avis et de participer à la création d'algorithmes centrés sur l'humain.

Contenu du dossier

Chaque onglet de transparence algorithmique contient :

  • le problème à résoudre par l'algorithme d'IA en question,
  • l'explication des caractéristiques de l'algorithme ainsi que de son fonctionnement,
  • les groupes qui peuvent être concernés par l'algorithme,
  • l'analyse de risque ou l'évaluation d'impact sur la protection des données qui a été réalisée (le cas échéant) pour déterminer les éventuels biais discriminatoires de l'algorithme,
  • l'analyse des risques de sécurité du système qui a été réalisée pour identifier les éventuelles contingences de disponibilité et de sécurité du système qui contient l'algorithme,
  • la gestion des risques prises et les mesures appliquées garantir le respect des droits fondamentaux, 
  • l'instance devant laquelle il est possible de faire appel des décisions particulières de l'algorithme ou de contester son fonctionnement général,
  • les coordonnées du responsable et du fournisseur de l’algorithme.

→ Voir le modèle de feuille transparente algorithmique AOC (Pdf)

Comment le contenu du fichier a été déterminé

Pour déterminer le contenu des fichiers de transparence algorithmique, l'équipe Innovation et Data avec l'appui des services juridiques de l'AOC, a réalisé une étude qui comprend :  

  1. Une analyse de la réglementation existante qui aborde la question de la transparence des décisions automatisées prises par les algorithmes d'IA, en accordant une attention particulière à :  
  • Règlement européen sur la protection des données (RGPD) 
  • Proposition de règlement sur l'utilisation de l'intelligence artificielle du Conseil de l'Europe 
  • Loi 15/2022, du 12 juillet, complète pour l'égalité de traitement et la non-discrimination 
  1. Documents qui fournissent des lignes directrices et des conseils pour obtenir une IA sûre et fiable. Ça devrait être noté: 
  • Lignes directrices éthiques pour une IA de confiance, du groupe d'experts de haut niveau sur l'IA de la Commission européenne (avril 2019) 
  • Rapport "Unboxing Artificial Intelligence: 10 Steps to Protect Human Rights" du Commissaire aux droits de l'homme du Conseil de l'Europe (mai 2019)
  • Rapport APDCAT « Décisions automatisées en Catalogne » (janvier 2020)  
  • Déclaration européenne sur les droits numériques et principes pour la décennie numérique (janvier 2023)
  1. Ils ont également été explorés initiatives de transparence algorithmique de différentes administrations, qui sont en phase de développement. Ça devrait être noté: 
  • Registre des algorithmes de la ville d’Amsterdam – mis en œuvre
  • Registre de l'intelligence artificielle de la ville d'Helsinki – mis en œuvre
  • Norme algorithmique britannique – mise en œuvre
  • Registre des algorithmes municipaux de la mairie de Barcelone 
  • Registre des algorithmes de la ICT Social Health Foundation 
  • Radar d'algorithmes d'IA du Tableau des entités du Troisième Secteur Social de Catalogne
  • Proposition d'un cadre de travail éthique pour les algorithmes de la Generalitat de Catalunya

Conclusions de l'étude

Les États membres de l'Union européenne s'engagent, à travers la Déclaration européenne sur les droits numériques et les principes pour la décennie numérique, à assurer un niveau adéquat de transparence dans l'utilisation des algorithmes et de l'intelligence artificielle et parce que les personnes sont informées et formées à les utiliser lorsqu'elles interagir avec eux.

Afin de se conformer à l'exigence de transparence des systèmes d'IA des administrations publiques, les réglementations existantes aujourd'hui n'établissent AUCUN mécanisme, formulaire standardisé ou instrument juridique "concret" pour le faire ; bien que:

  • le règlement sur l'IA en cours de préparation par le Conseil de l'Europe indique, comme première action recommandée, "d'enregistrer et de documenter" les systèmes d'IA utilisés par les organisations susceptibles d'être soumises à ce règlement ;
  • l'article 23 de la loi générale 15/2022 pour l'égalité de traitement et la non-discrimination parle de promouvoir la mise en œuvre de "mécanismes" afin que les algorithmes impliqués dans la prise de décision tiennent compte des critères de minimisation des préjugés, de transparence et de responsabilité ;
  • certaines ordonnances municipales établissent l'obligation de publier sur le site Internet la liste des actions administratives automatisées - qui peuvent ou non impliquer l'utilisation d'algorithmes d'IA -, avec des informations sur les règles appliquées et leur fonctionnement.

Nous avons exploré différentes initiatives promues par les gouvernements locaux et régionaux européens, afin de trouver une « voie standardisée » qui nous permette de nous conformer à l'exigence de transparence des algorithmes d'IA que nous appliquons à nos services gouvernementaux numériques.

Parmi toutes les initiatives explorées et conformément aux obligations légales en vigueur, nous sommes arrivés à la conclusion que le publication des fiches algorithmiques de transparence sur le Portail Transparence c'est un solution simple et rapide Quoi facilite le respect de l'exigence de transparence établie dans la réglementation i permet de gagner la confiance des utilisateurs dans les systèmes d'IA des administrations publiques.

L’étude nous a également permis de déterminer quelles informations pertinentes doivent être fournies sur les services publics basés sur l’IA afin que les utilisateurs puissent comprendre comment les algorithmes prennent des décisions et comment ces décisions sont vérifiées. Par ailleurs, nous nous sommes penchés sur l’identification et l’analyse des risques les plus probables liés à l’utilisation d’algorithmes d’IA en relation avec droits fondamentaux, et nous les avons reliés aux mesures qui doivent être appliquées dans chaque cas pour garantir le respect de ces droits. (Voir la section Gestion des risques des fiches transparentes algorithmiques).

FICHIERS PUBLIÉS :

L'état du projet

En production. Les trois premières fiches de transparence algorithmique ont été publiées.

Plus d'information

Cas pratiques mis en œuvre :

Cas en phase de développement :

Références bibliographiques :

Obligations légales:

Cadre européen

  • Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation de ces données et par lequel abroge la directive 95 /46/CE ("RGPD»). Lien
  • Lignes directrices sur les décisions individuelles automatisées et le profilage aux fins du règlement 2016/679. Adoptée le 3 octobre 2017 et révisée pour la dernière fois et adoptée le 6 février 2018. Groupe de travail sur la protection des données Article 29 de la directive 95/46/CE. Lien
  • Proposition de règlement du Parlement européen et du Conseil établissant des règles harmonisées en matière d'intelligence artificielle (loi sur l'intelligence artificielle) et modifiant certains actes législatifs de l'Union. 21 avril 2021. Commission européenne. COM (2021) 206 final. Lien / Annexe I de la proposition de règlement IA de la Commission européenne (2021)

Cadre étatique

  • Loi organique 3/2018, du 5 décembre, sur la protection des données personnelles et la garantie des droits numériques ("LOPDGDD»). Lien
  • Conformité au RGPD des traitements intégrant l'Intelligence Artificielle. Une introduction Février 2020. AEPD. Lien
  • Loi 15/2022, du 12 juillet, complète pour l'égalité de traitement et la non-discrimination. Lien

Cadre catalan

  • Loi 19/2014, du 29 décembre, sur la transparence, l'accès à l'information publique et la bonne gouvernance. Lien
  • Décret 76/2020, du 4 août, sur l'administration numérique. Lien