L'AOC a participé au macro-atelier sur l'intelligence artificielle du Comité technique interne du Réseau espagnol des villes intelligentes (RECI), qui s'est tenu le 14 septembre à Malaga, en partageant son expérience en matière de gouvernance. transparència et la responsabilité des systèmes d'IA.
Comment passer des principes généraux de l'IA responsable à une gouvernance efficace de chaque système d'intelligence artificielle que nous intégrons dans un service public ?
C'était la question que le Carme Callés i la David Pastorà partir de Sous-direction de la stratégie et de l'innovation de l'AOC, Nous avons participé à l'atelier RECI sur les macros d'IA.
Le blog consacré à l'avenir et à la stratégie municipale de l'IA proposait un parcours allant de la gouvernance générale au cas particulier : Sant Feliu de Llobregat présentait la cartographie des dimensions à gouverner ; Viladecans, comment ces dimensions sont déployées dans une organisation réelle ; et à partir de l'AOC, nous sommes descendus d'un niveau supplémentaire : Comment gouverner chacun des systèmes d'IA que nous intégrons aux services publics ?
Expliquer l'IA nous amène à la gouverner
Au sein de l'AOC, nous avons commencé à travailler en 2023 avec le rapports de transparència algorithmique (TRAL) Partant d'une question très claire : que devons-nous expliquer aux citoyens lorsque nous utilisons des algorithmes ou l'intelligence artificielle dans un service public ?
L'objectif était rendre ces systèmes plus compréhensibles, renforcer la confiance dans les services publics qui utilisent l'IA et répondre aux obligations de transparència qui étaient intégrées au cadre réglementaire. C'est l'origine de notre initiative de transparència algorithmique.
L'expérience nous a amenés à reconsidérer cette idée : être capable d'expliquer et de rendre compte d'un système d'IA, Nous devons d'abord le comprendre, l'évaluer, fournir des garanties et le superviser..
Cela implique de répondre à des questions très précises : pourquoi utilisons-nous l’IA ? Avec quelles données et technologies fonctionne-t-elle ? Quels sont les risques ? Quels droits peuvent être affectés ? Quelles garanties offrons-nous ? Comment vérifions-nous son bon fonctionnement ? Qui supervise le système et en est responsable ? Et que communiquons-nous au public à ce sujet ?
Ce qui a commencé principalement comme un outil transparència évolue vers un outil agile et pratique qui nous aide ordonner, documenter et rendre transparente la gouvernance de chaque système d'IA particulier, depuis sa conception et tout au long de son cycle de vie.
Toutefois, le TRAL ne remplace pas les évaluations et les contrôles légalement requis en matière de protection des données, de sécurité ou de droits fondamentaux : il les complète et contribue à rassembler les différentes perspectives et responsabilités liées à la gouvernance d’un système d’IA.
Le TRAL incomplet : de la théorie à la pratique
Après la présentation, nous avons mis cette idée à l'épreuve avec les participants à travers la dynamique « Le TRAL incomplet : trouver les lacunes ».
Le défi a commencé par un cas simple : un conseil municipal utilise l’IA pour aider anonymiser les actes municipaux avant de les publier, un cas d'utilisation dans lequel L'AOC est déjà en activité.L'IA analyse le document et propose les données à masquer, mais le conseil municipal examine le résultat et décide de ce qui doit être publié.
Les participants ont reçu un document d'évaluation des risques liés aux technologies (TRAL) qui, à première vue, semblait complet : il abordait l'objectif, les données et la technologie, les risques, les garanties, la supervision et les responsabilités. Cependant, il employait des formulations trop générales : les risques étaient « maîtrisables », des « mesures de réduction des erreurs » étaient appliquées et le système était revu « périodiquement », sans préciser quelles mesures étaient mises en œuvre, comment elles étaient vérifiées, qui assurait la supervision ni qui intervenait en cas de problème.
Répartis en groupes, les participants devaient identifier ces lacunes et proposer des solutions pour les combler. Leurs contributions ont été rassemblées dans une base de données partagée, permettant ainsi de constituer collectivement une cartographie des informations nécessaires à la compréhension du système, à son contrôle et à la responsabilisation quant à son fonctionnement.
Poser les bonnes questions est également un facteur de gouvernance.
L'atelier nous a permis de tester une idée simple : La préparation d'un TRAL ne se limite pas au remplissage des sections d'un formulaire.mais pour formuler les questions auxquelles nous devons répondre afin de véritablement gouverner un système d'IA :
Comprendre → Évaluer → S'assurer → Surveiller → Expliquer → Répondre.
Parce que le transparència « Algorithmique » ne signifie pas simplement que nous utilisons l'IA. Il s'agit de pouvoir expliquer pourquoi nous l'utilisons, comment nous le gérons, quelles garanties nous avons intégrées et comment nous vérifions leur bon fonctionnement.
Et c’est l’étape sur laquelle nous travaillons actuellement à l’AOC : faire évoluer les rapports de transparència algorithmiques afin qu'ils restent un outil de transparència pour les citoyens et, en même temps, nous aider à transformer les principes d'une IA éthique et responsable en gouvernance efficace de chaque cas d'utilisation.
