AOC

Herausforderung

Wie man das Vertrauen der Nutzer in digitale Regierungsdienste erreicht, die Daten und Algorithmen der künstlichen Intelligenz nutzen, und gleichzeitig deren verantwortungsvolle, sichere und faire Nutzung gewährleistet. 

Problem und aktueller Kontext

Künstliche Intelligenz (KI) ist aus unserem Alltag nicht mehr wegzudenken. Regierungen nutzen es beispielsweise, um die Zugänglichkeit und das Erlebnis öffentlicher Dienste zu verbessern, Prozesse zu optimieren oder den öffentlichen Raum zu verwalten.

Algorithmen sind die Grundlage von KI-Systemen und wirken für die Menschen, die sie nutzen und beeinflussen, oft wie „Black Boxes“. Um dies zu verhindern, Es ist wichtig, dass die Algorithmen für die Benutzer verständlich sind, dass sie nachvollziehen können, wie eine bestimmte Entscheidung getroffen wurde und warum diese Entscheidung getroffen wird. Dies gilt umso mehr für die Regierung, die nur funktionieren kann, wenn Vertrauen zwischen ihr und der Öffentlichkeit besteht. Eine gute Verwaltung muss es allen Bürgern ermöglichen, die Gründe für Entscheidungen nachzuvollziehen und die Möglichkeit zu haben, diese anzufechten.

In demokratischen Regierungen wird Vertrauen durch zahlreiche rechtliche Absicherungen gewährleistet. Was die Verpflichtung zur Transparenz der in digitalen Regierungsdiensten eingesetzten KI-Algorithmen anbelangt, begründet das Gesetz das Recht des Einzelnen auf Erklärung automatisierter Entscheidungen (RGPD) und sieht die Schaffung von „Mechanismen“ vor, damit die an der Entscheidung beteiligten Algorithmen Dabei werden Transparenz- und Erklärbarkeitskriterien berücksichtigt (Umfassendes Gesetz 15/2022 für Gleichbehandlung und Nichtdiskriminierung), es werden jedoch keine spezifischen Mechanismen oder Rechtsinstrumente dafür festgelegt Es gibt lediglich Empfehlungen und überlässt es den Organisationen, das am besten geeignete Tool zu finden für:

  • aussagekräftige Informationen über die Logik der verwendeten Algorithmen sowie die erwarteten Konsequenzen liefern, die klar und verständlich sind,
  • den Menschen zu ermöglichen, zu verstehen, warum ein Algorithmus ein bestimmtes Ergebnis geliefert hat, und die Stelle anzugeben, bei der sie gegen ihre jeweiligen Entscheidungen Berufung einlegen oder seine allgemeine Funktionsweise anfechten können,
  • Öffnen Sie die Algorithmen der demokratischen Kontrolle.

Angesichts des Mangels an konkreten Mechanismen, Techniken oder Methoden zur Erreichung algorithmischer Transparenz hat das AOC eine Studie durchgeführt, um nach standardisierten Formen der Transparenz zu suchen und dem Verständnis der Algorithmen, die wir auf unsere digitalen Verwaltungsdienste anwenden, Vorrang einzuräumen

Daher kommt die von uns vorgestellte Initiative zur algorithmischen Transparenz.

Vorgeschlagene Lösung 

Transparenz bei der Entwicklung und Nutzung von KI ist ein entscheidendes Thema, um sicherzustellen, dass diese Technologie verantwortungsvoll und fair gegenüber der Gesellschaft eingesetzt wird.

Als Mittel zur Erreichung algorithmischer Transparenz schlägt das AOC Folgendes vor: Veröffentlichung verständlicher Berichte zu jedem Algorithmus auf dem Transparenzportal auf digitale Verwaltungsdienstleistungen angewendet.

Diese Initiative soll ein Instrument sein für:

  • den Menschen helfen zu verstehen, wie die in der Kommunalverwaltung verwendeten Algorithmen funktionieren und welchen Zweck sie haben,
  • sorgen auf standardisierte Weise für erhebliche Transparenz und ermöglichen den Vergleich zwischen verschiedenen Algorithmen,
  • Machen Sie es jedem leicht, seine Meinung zu äußern und sich an der Entwicklung menschenzentrierter Algorithmen zu beteiligen.

Obwohl sich die Initiative hauptsächlich auf Systeme der künstlichen Intelligenz konzentriert, enthält auch Transparenzberichte für deterministische Algorithmen in sensiblen Anwendungsfällen, wie etwa komplexe Automatisierungssysteme für umfassende soziale Hilfeleistungen, nach dem Kriterium, dass sie auch relevante Auswirkungen auf die Menschen haben können.

Inhalt der Datei

Jede Registerkarte für algorithmische Transparenz enthält:

  • das mit dem betreffenden Algorithmus zu lösende Problem,
  • die Erläuterung der Eigenschaften des Algorithmus sowie seiner Funktionsweise,
  • die Gruppen, die vom Algorithmus betroffen sein können,
  • die durchgeführte Risikoanalyse bzw. Datenschutz-Folgenabschätzung (sofern zutreffend) zur Feststellung möglicher diskriminierender Verzerrungen des Algorithmus,
  • die Sicherheitsrisikoanalyse des Systems, die durchgeführt wurde, um mögliche Eventualitäten der Verfügbarkeit und Sicherheit des Systems zu ermitteln, das den Algorithmus enthält,
  • la Risikomanagement vorgenommen und die Maßnahmen angewendet die Einhaltung der Grundrechte zu gewährleisten, 
  • die Stelle, bei der Sie gegen bestimmte Entscheidungen des Algorithmus Berufung einlegen oder seine allgemeine Funktionsweise anfechten können, wenn das Gesetz dies erfordert,
  • die Kontaktdaten des Verantwortlichen und des Anbieters des Algorithmus.

→ Siehe die Modell AOC algorithmisches Transparenzblatt (Pdf)

Wie der Inhalt der Datei bestimmt wurde

Um den Inhalt der algorithmischen Transparenzdateien zu bestimmen, hat das Innovations- und Datenteam mit Unterstützung der Rechtsabteilung des AOC eine Studie durchgeführt, die Folgendes umfasst:  

  1. Eine Analyse bestehender Vorschriften Es befasst sich mit der Frage der Transparenz automatisierter Entscheidungen, die von KI-Algorithmen getroffen werden, und legt dabei besonderes Augenmerk auf Folgendes:  
  • Europäische Datenschutzverordnung (RGPD)
  • Verordnung über den Einsatz künstlicher Intelligenz des Europarats (KI-Gesetz)
  • Gesetz 40/2015 über die Rechtsordnung des öffentlichen Sektors (LRJSP) und Vorschriften für die Leistung und den Betrieb des öffentlichen Sektors auf elektronischem Wege (RD 203/2021)
  • Umfassendes Gesetz 15/2022 für Gleichbehandlung und Nichtdiskriminierung 
  1. Dokumente, die Richtlinien und Anleitungen bieten um eine sichere und zuverlässige KI zu erreichen. Es sollte notiert werden: 
  • Ethische Leitlinien für vertrauenswürdige KI, von der hochrangigen Expertengruppe für KI der Europäischen Kommission (April 2019) 
  • Bericht „Unboxing Artificial Intelligence: 10 Schritte zum Schutz der Menschenrechte“ des Menschenrechtskommissars des Europarats (Mai 2019)
  • Grundsätze für den verantwortungsvollen Umgang mit vertrauenswürdiger KI aus der Empfehlung des OECD Artificial Intelligence Council (Mai 2019)
  • APDCAT-Bericht „Automatisierte Entscheidungen in Katalonien“ (Januar 2020)  
  • Europäische Erklärung zu digitalen Rechten und Grundsätzen für das digitale Jahrzehnt (Januar 2023)
  • NIST-Risikomanagement-Framework-Tool für künstliche Intelligenz (Januar 2023)
  1. Sie wurden auch erforscht algorithmische Transparenzinitiativen verschiedener Verwaltungen, die sich in der Entwicklungsphase befinden. Es sollte notiert werden: 
  • Algorithmenregister der Stadt Amsterdam – implementiert
  • Register für Künstliche Intelligenz der Stadt Helsinki – umgesetzt
  • Algorithmus-Transparenzstandard von Eurocities, basierend auf dem britischen Standard – implementiert
  • Register der kommunalen Algorithmen des Stadtrats von Barcelona 
  • Register der Algorithmen der ICT Social Health Foundation 
  • Radar der KI-Algorithmen der Entitätstabelle des Dritten Sozialsektors Kataloniens
  • Vorschlag für einen ethischen Arbeitsrahmen für die Algorithmen der Generalitat de Catalunya

Schlussfolgerungen der Studie

Die Mitgliedsstaaten der Europäischen Union verpflichten sich mit der Europäischen Erklärung zu digitalen Rechten und Grundsätzen für das digitale Jahrzehnt, für ein angemessenes Maß an Transparenz beim Einsatz von Algorithmen und künstlicher Intelligenz zu sorgen und die Menschen darüber zu informieren und zu schulen, diese zu nutzen, wenn sie diese nutzen mit ihnen interagieren.

Um den Anforderungen an die Transparenz von KI-Systemen öffentlicher Verwaltungen gerecht zu werden, legen die aktuellen Vorschriften fest, welche Informationen im Einzelfall bereitgestellt werden müssen [1], definiert jedoch keinen „konkreten“ Mechanismus, kein standardisiertes Format oder Rechtsinstrument dafür; Obwohl: 

  • die KI-Verordnung legt die Anforderung fest, alle relevanten Informationen von KI-Systemen mit hohem Risiko aufzuzeichnen (Art. 17);
  • das umfassende Gesetz 15/2022 zur Gleichbehandlung und Nichtdiskriminierung spricht davon, die Einführung von „Mechanismen“ zu begünstigen, damit die an der Entscheidungsfindung beteiligten Algorithmen Kriterien der Befangenheitsminimierung, Transparenz und Rechnungslegung berücksichtigen (Art. 23);
  • Die Verordnung über die Leistung und den Betrieb des öffentlichen Sektors auf elektronischem Wege sieht die Verpflichtung vor, auf seiner Website die Liste der automatisierten Verwaltungsmaßnahmen (AAA) – die möglicherweise den Einsatz von KI-Algorithmen beinhalten oder nicht – zu veröffentlichen und jeder AAA beizufügen eine Beschreibung seines Aufbaus und seiner Funktionsweise (Art. 11). 

Wir haben verschiedene Initiativen untersucht, die von europäischen Kommunal- und Regionalverwaltungen gefördert werden, um einen standardisierten Weg zu finden, der es uns ermöglicht, die Anforderung der Transparenz der KI-Algorithmen zu erfüllen, die wir auf unsere digitalen Regierungsdienste anwenden.

Unter all den untersuchten Initiativen und in Übereinstimmung mit den geltenden rechtlichen Verpflichtungen sind wir zu dem Schluss gekommen, dass die Veröffentlichung von algorithmischen Transparenzberichten auf dem Transparenzportal es ist ein schnelle und einfache Lösung erlangte das erleichtert die Einhaltung der in den Verordnungen festgelegten Transparenzanforderungen i ermöglicht es, das Vertrauen der Benutzer zu gewinnen in den KI-Systemen öffentlicher Verwaltungen.

Die Studie ermöglichte es uns auch zu ermitteln, welche relevanten Informationen über KI-basierte öffentliche Dienste bereitgestellt werden müssen, damit Benutzer verstehen können, wie Algorithmen Entscheidungen treffen und wie diese Entscheidungen überprüft werden. Ansonsten hat uns die Studie dazu veranlasst, eine agile und praktische Methodik zu entwickeln, um die wahrscheinlichsten Risiken zu identifizieren und zu analysieren, die mit der Verwendung von KI-Algorithmen in Bezug auf verbunden sind Grundrechteund verknüpfen sie mit den Maßnahmen, die jeweils anzuwenden sind, um die Einhaltung dieser Rechte zu gewährleisten.

Die Risikomanagementmethodik konzentriert sich auf den Schutz der Grundrechte

Um zuverlässige, ethische und sichere KI im öffentlichen Dienst zu gewährleisten, hat das AOC eine eigene Risikomanagementmethodik entwickelt. Diese auf den Schutz der Grundrechte ausgerichtete Methodik befasst sich mit den möglichen Risiken, die für die Bürger bestehen können, und erläutert, wie diese gemindert oder minimiert werden können. Die Methodik besteht aus drei Hauptschritten, die jeweils auf einer soliden Grundlage in internationalen Vorschriften und Richtlinien basieren.

  • Schritt 1: Identifizierung der zu schützenden Grundprinzipien und Rechte
    Um eine KI zu gewährleisten, die demokratische Werte respektiert, haben wir uns auf die Charta der Grundrechte der Europäischen Union gestützt, die uns dabei hilft, die wichtigsten Familien von Rechten und Grundsätzen zu definieren, die von KI betroffen sein können. Diese sind:

    • A) Gleichheit und Nichtdiskriminierung
    • B) Datenschutz und Privatsphäre
    • C) Sicherheit und Robustheit
    • D) Transparenz und Erklärbarkeit
    • E) Aufbewahrung von Konten und Prüfbarkeit
    • F) Nachhaltige Entwicklung und Solidarität

  • Schritt 2: Identifizierung der damit verbundenen Risiken und ihrer Beziehung zu den zu schützenden Grundsätzen und Rechten
    Um die häufigsten Risiken beim Einsatz von KI zu identifizieren, hat das AOC das übernommenRisikomanagement-Framework für künstliche Intelligenz (AI RMF 1.0) von NIST, das die potenziellen Risiken mit den oben genannten Grundsätzen und Rechten in Beziehung setzt. Dieser Ansatz ermöglicht es, zu ermitteln, welche Risiken die einzelnen Grundrechtsfamilien gefährden können, und trägt so dazu bei, Probleme wie Diskriminierung, Privatsphäre oder Sicherheit vorherzusehen und zu bewältigen.

  • Schritt 3: Festlegung von Risikomanagementmaßnahmen
    Um die Mechanismen und Schutzmaßnahmen zu ermitteln, die in jedem Fall geeigneter und wirksamer sein könnten, um die Verletzung grundlegender Prinzipien und Rechte zu verhindern, haben wir uns auf Kapitel II des Dokuments gestützt Ethische Richtlinien für vertrauenswürdige KI der Europäischen Kommission und in der kürzlich verabschiedeten KI-Verordnung (verbindliche Anwendung ab 2), sodass die Mechanismen auf der Grundlage des Risikoniveaus des KI-Systems und für bestimmte KI-Systeme oder -Modelle festgelegt werden. Zum Beispiel:
    • hohes Risiko: unterliegt besonderen Sicherheits- und Transparenzanforderungen und der Verpflichtung, vor der Einführung des Systems eine Folgenabschätzung in Bezug auf die Grundrechte durchzuführen (Art. 27).
    • Begrenztes Risiko: Mindesttransparenzpflichten, damit Benutzer fundierte Entscheidungen treffen und bei der Interaktion mit einer KI aufmerksam sein können.

Diese Methodik hilft uns, ein KI-System aufrechtzuerhalten, das transparent, sicher und dem Schutz der Grundrechte verpflichtet ist.

→ Bei Präsentation (PPT, 7) Sie können eine Übersichtstabelle der drei Schritte der Risikomanagementmethodik des AOC sehen.

VERÖFFENTLICHTE BERICHTE:

Projekt-Status

In Produktion. Es wurden vier Berichte zur algorithmischen Transparenz veröffentlicht.

Mehr Informationen

Umgesetzte Praxisfälle:

Fälle in der Entwicklungsphase:

Bibliographische Hinweise:

Gesetzliche Verpflichtungen:

Europäischer Rahmen

  • Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Datenverkehr, mit der die Richtlinie 95 aufgehoben wird /46/EG („DSGVO"). Verknüpfung
  • Leitlinien zu automatisierten Einzelentscheidungen und Profiling im Sinne der Verordnung 2016/679. Verabschiedet am 3. Oktober 2017 und letztmals überarbeitet und verabschiedet am 6. Februar 2018. Arbeitsgruppe Datenschutz Artikel 29 der Richtlinie 95/46/EG. Verknüpfung
  • Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Regeln für künstliche Intelligenz (KI-Gesetz) und bestimmte Rechtsakte der Union werden geändert. 12. Verknüpfung 

Staatlicher Rahmen

  • Organgesetz 3/2018 vom 5. Dezember zum Schutz personenbezogener Daten und zur Gewährleistung digitaler Rechte („LOPDGDD"). Verknüpfung
  • Einhaltung der DSGVO von Behandlungen, die künstliche Intelligenz beinhalten. Eine Einleitung Februar 2020. AEPD. Verknüpfung
  • Gesetz 15/2022 vom 12. Juli, umfassend für Gleichbehandlung und Nichtdiskriminierung. Verknüpfung

Katalanischer Rahmen

  • Gesetz 19/2014 vom 29. Dezember über Transparenz, Zugang zu öffentlichen Informationen und gute Regierungsführung. Verknüpfung
  • Dekret 76/2020 vom 4. August über die digitale Verwaltung. Verknüpfung

[1] Beispielsweise legt die KI-Verordnung fest, welche Informationen in Bezug auf bestimmte KI-Systeme bereitgestellt werden müssen (Art. 50); Das RGPD legt die Informationen fest, die der interessierten Person bei automatisierten Entscheidungen zur Verfügung gestellt werden müssen (Art. 13); und das LRJSP legt die Verpflichtung fest, die für einen automatisierten Verwaltungsvorgang zuständige Stelle in der elektronischen Zentrale für die Zwecke der Berufung zu melden (Art. 41).