Herausforderung

Wie man das Vertrauen der Nutzer in digitale Regierungsdienste erreicht, die Daten und Algorithmen der künstlichen Intelligenz nutzen, und gleichzeitig deren verantwortungsvolle, sichere und faire Nutzung gewährleistet. 

Lösungsvorschlag: Jeder digitale Dienst sollte auf seiner Homepage und im Portal Folgendes beinhalten: Transparència Von der verantwortlichen Stelle einen verständlichen Bericht über die Funktionsweise des Systems und die Auswirkungen, die es auf die Menschen haben kann.
→ Siehe die PDF-Berichtsvorlage transparència AOC-Algorithmus (aktualisiert am 7.11.2025)

Problem und aktueller Kontext

Künstliche Intelligenz (KI) ist aus unserem Alltag nicht mehr wegzudenken. Regierungen nutzen es beispielsweise, um die Zugänglichkeit und das Erlebnis öffentlicher Dienste zu verbessern, Prozesse zu optimieren oder den öffentlichen Raum zu verwalten.

Algorithmen sind die Grundlage von KI-Systemen und wirken für die Menschen, die sie nutzen und beeinflussen, oft wie „Black Boxes“. Um dies zu verhindern, Es ist wichtig, dass die Algorithmen für die Benutzer verständlich sind, dass sie nachvollziehen können, wie eine bestimmte Entscheidung getroffen wurde und warum diese Entscheidung getroffen wird. Dies gilt umso mehr für die Regierung, die nur funktionieren kann, wenn Vertrauen zwischen ihr und der Öffentlichkeit besteht. Eine gute Verwaltung muss es allen Bürgern ermöglichen, die Gründe für Entscheidungen nachzuvollziehen und die Möglichkeit zu haben, diese anzufechten.

In demokratischen Regierungen wird Vertrauen durch zahlreiche rechtliche Schutzmechanismen gewährleistet. Bezüglich der Transparenzpflicht für KI-Algorithmen in digitalen Regierungsdiensten legt das Gesetz das Recht von Einzelpersonen auf eine Erläuterung automatisierter Entscheidungen fest (DSGVO) und sieht die Schaffung von Mechanismen vor, damit die an der Entscheidungsfindung beteiligten Algorithmen bestimmte Kriterien berücksichtigen. transparència und Erklärbarkeit (Umfassendes Gesetz 15/2022 zur Gleichbehandlung und Nichtdiskriminierung), legt aber keinen spezifischen Mechanismus oder Rechtsinstrument hierfür fest. Es gibt lediglich Empfehlungen und überlässt es den Organisationen, das am besten geeignete Instrument zu finden für:

  • aussagekräftige Informationen über die Logik der verwendeten Algorithmen sowie die erwarteten Konsequenzen liefern, die klar und verständlich sind,
  • den Menschen zu ermöglichen, zu verstehen, warum ein Algorithmus ein bestimmtes Ergebnis geliefert hat, und die Stelle anzugeben, bei der sie gegen ihre jeweiligen Entscheidungen Berufung einlegen oder seine allgemeine Funktionsweise anfechten können,
  • Öffnen Sie die Algorithmen der demokratischen Kontrolle.

Angesichts des Mangels an konkreten Mechanismen, Techniken oder Methoden zur Erreichung der transparència Um standardisierte Formen zu finden, führte das AOC im Jahr 2023 eine Studie durch. transparència und legen Wert darauf, die Algorithmen zu verstehen, die wir für unsere digitalen Verwaltungsdienste anwenden.

Hier setzt die Initiative an transparència den wir vorstellen.

Vorgeschlagene Lösung 

La transparència Bei der Entwicklung und Nutzung von KI ist es von entscheidender Bedeutung sicherzustellen, dass diese Technologie verantwortungsvoll und fair gegenüber der Gesellschaft eingesetzt wird.

Als Mittel, um die transparència algorithmisch, Die AOC schlägt vor, dass jeder digitale Dienst dies auf seiner Homepage und im Portal angibt. Transparència von der verantwortlichen Stelle einen verständlichen Bericht über die Funktionsweise des Systems und die verwendeten Algorithmen..

Diese Initiative soll ein Instrument sein für:

  • Den Menschen helfen zu verstehen, wie die in Kommunalverwaltungen verwendeten Algorithmen funktionieren, welchen Zweck sie erfüllen und wie sie sich auf sie auswirken können.
  • um eine transparència aussagekräftig in standardisierter Weise und ermöglichen den Vergleich verschiedener Algorithmen,
  • Machen Sie es jedem leicht, seine Meinung zu äußern und sich an der Entwicklung menschenzentrierter Algorithmen zu beteiligen.

Obwohl sich die Initiative hauptsächlich auf Systeme der künstlichen Intelligenz konzentriert, beinhaltet auch Berichte über transparència für deterministische Algorithmen in sensiblen Anwendungsfällen, wie etwa komplexe Automatisierungssysteme für umfassende soziale Hilfeleistungen, nach dem Kriterium, dass sie auch relevante Auswirkungen auf die Menschen haben können.

→ Siehe die PDF-Berichtsvorlage transparència AOC-Algorithmus (aktualisiert am 7.11.2025)

Berichtsinhalt

Jeder Bericht von transparència algorithmisch enthält:

  • das mit dem betreffenden Algorithmus zu lösende Problem,
  • die Erläuterung der Eigenschaften des Algorithmus sowie seiner Funktionsweise,
  • die Gruppen, die vom Algorithmus betroffen sein können,
  • die Abschätzung des Risikoniveaus des algorithmischen Systems, basierend auf:
    • die Risikoanalyse oder die Bewertung der Auswirkungen auf Grundrechte, die (gegebenenfalls) durchgeführt wurde, um mögliche diskriminierende Verzerrungen des Algorithmus zu ermitteln,
    • die Sicherheitsrisikoanalyse des Systems, die durchgeführt wurde, um mögliche Eventualitäten der Verfügbarkeit und Sicherheit des Systems zu ermitteln, das den Algorithmus enthält,
    • la Risikomanagement vorgenommen und die Maßnahmen angewendet die Einhaltung der Grundrechte zu gewährleisten, 
  • die Stelle, bei der Sie gegen bestimmte Entscheidungen des Algorithmus Berufung einlegen oder seine allgemeine Funktionsweise anfechten können, wenn das Gesetz dies erfordert,
  • die Kontaktdaten des Verantwortlichen und des Anbieters des Algorithmus.

Wie der Inhalt des Berichts ermittelt wurde

Um den Inhalt der Berichte zu ermitteln transparència Das Team „Algorithmic“, das Innovations- und Datenteam, führte 2023 mit Unterstützung der Rechtsabteilung der AOC eine Studie durch, die Folgendes umfasste:  

  1. Eine Analyse der damals geltenden Vorschriften in dem das Thema der transparència bei automatisierten Entscheidungen, die von KI-Algorithmen getroffen werden, wobei den folgenden Regeln besondere Aufmerksamkeit zu widmen ist:  
  • Europäische Datenschutzverordnung (RGPD)
  • Vorschlag für eine Verordnung des Europarats über die Nutzung künstlicher Intelligenz (KI-Gesetz)
  • Gesetz 40/2015 über die Rechtsordnung des öffentlichen Sektors (LRJSP) und Vorschriften für die Leistung und den Betrieb des öffentlichen Sektors auf elektronischem Wege (RD 203/2021)
  • Umfassendes Gesetz 15/2022 für Gleichbehandlung und Nichtdiskriminierung 
  1. Dokumente, die Richtlinien und Anleitungen boten um eine sichere und zuverlässige KI zu erreichen. Es sollte notiert werden: 
  • Ethische Leitlinien für vertrauenswürdige KI, von der hochrangigen Expertengruppe für KI der Europäischen Kommission (April 2019) 
  • Bericht „Unboxing Artificial Intelligence: 10 Schritte zum Schutz der Menschenrechte“ des Menschenrechtskommissars des Europarats (Mai 2019)
  • Grundsätze für den verantwortungsvollen Umgang mit vertrauenswürdiger KI aus der Empfehlung des OECD Artificial Intelligence Council (Mai 2019)
  • APDCAT-Bericht „Automatisierte Entscheidungen in Katalonien“ (Januar 2020)  
  • Europäische Erklärung zu digitalen Rechten und Grundsätzen für das digitale Jahrzehnt (Januar 2023)
  • NIST-Risikomanagement-Framework-Tool für künstliche Intelligenz (Januar 2023)
  1. Sie wurden auch erforscht. Initiativen von transparència Algorithmen verschiedener Verwaltungen, die sich in der Entwicklungsphase befanden oder kürzlich implementiert wurden. Es ist erwähnenswert: 
  • Register der Künstlichen Intelligenz der Städte Helsinki und Amsterdam – implementiert
  • Standard von transparència Eurocities-Algorithmus, basierend auf dem britischen Standard – implementiert
  • Vorschlag für einen ethischen Arbeitsrahmen für die Algorithmen der Generalitat de Catalunya (Mai 2021)
  • Das städtische Algorithmus-Registrierungsmodell des Stadtrats von Barcelona basiert auf dem Standard von transparència aus Eurocities (Januar 2023)
  • Sammlung von KI-Algorithmen des katalanischen Gesundheitssystems (SISCAT) und von Forschungszentren in Katalonien im Rahmen des KI-Observatoriums im Gesundheitswesen der TIC Salut Social Foundation (Dezember 2022)
  • Radar der KI-Algorithmen der Tabelle der Einrichtungen des Dritten Sozialsektors Kataloniens (Januar 2024)

Schlussfolgerungen der Studie

Die Mitgliedstaaten der Europäischen Union verpflichten sich mit der Europäischen Erklärung über digitale Rechte und Grundsätze für das digitale Jahrzehnt, ein angemessenes Niveau an transparència bei der Verwendung von Algorithmen und künstlicher Intelligenz, damit die Menschen informiert und geschult werden, wie sie diese im Umgang damit nutzen können.

Um die Anforderung von zu erfüllen transparència Die geltenden Vorschriften für KI-Systeme öffentlicher Verwaltungen legen fest, welche Informationen je nach Fall bereitzustellen sind. [1]., definiert jedoch keinen „konkreten“ Mechanismus, kein standardisiertes Format oder Rechtsinstrument dafür; Obwohl: 

  • die KI-Verordnung legt die Anforderung fest, alle relevanten Informationen von KI-Systemen mit hohem Risiko aufzuzeichnen (Art. 17);
  • Das Gesetz 15/2022 über Gleichbehandlung und Nichtdiskriminierung spricht von der Förderung der Implementierung von „Mechanismen“, damit die an der Entscheidungsfindung beteiligten Algorithmen Kriterien zur Minimierung von Verzerrungen berücksichtigen. transparència und Rechenschaftspflicht (Art. 23);
  • Die Verordnung über die Leistung und den Betrieb des öffentlichen Sektors auf elektronischem Wege sieht die Verpflichtung vor, auf seiner Website die Liste der automatisierten Verwaltungsmaßnahmen (AAA) – die möglicherweise den Einsatz von KI-Algorithmen beinhalten oder nicht – zu veröffentlichen und jeder AAA beizufügen eine Beschreibung seines Aufbaus und seiner Funktionsweise (Art. 11). 

Wir haben verschiedene Initiativen europäischer Kommunal- und Regionalregierungen untersucht, um einen standardisierten Weg zu finden, der es uns ermöglicht, die Anforderungen zu erfüllen. transparència der KI-Algorithmen, die wir für unsere digitalen Verwaltungsdienstleistungen einsetzen.

Unter all den untersuchten Initiativen und in Übereinstimmung mit den geltenden rechtlichen Verpflichtungen sind wir zu dem Schluss gekommen, dass die Veröffentlichung von Berichten transparència algorithmisch auf dem Portal von Transparència es ist ein schnelle und einfache Lösung erlangte das erleichtert die Einhaltung der Anforderung transparència in den Verordnungen festgelegt i ermöglicht es, das Vertrauen der Benutzer zu gewinnen in den KI-Systemen öffentlicher Verwaltungen.

Die Studie ermöglichte es uns auch zu ermitteln, welche relevanten Informationen über KI-basierte öffentliche Dienste bereitgestellt werden müssen, damit Benutzer verstehen können, wie Algorithmen Entscheidungen treffen und wie diese Entscheidungen überprüft werden. Ansonsten hat uns die Studie dazu veranlasst, eine agile und praktische Methodik zu entwickeln, um die wahrscheinlichsten Risiken zu identifizieren und zu analysieren, die mit der Verwendung von KI-Algorithmen in Bezug auf verbunden sind Grundrechteund verknüpfen sie mit den Maßnahmen, die jeweils anzuwenden sind, um die Einhaltung dieser Rechte zu gewährleisten.

Die Risikomanagementmethodik konzentriert sich auf den Schutz der Grundrechte

Um zuverlässige, ethische und sichere KI im öffentlichen Dienst zu gewährleisten, hat das AOC eine eigene Risikomanagementmethodik entwickelt. Diese auf den Schutz der Grundrechte ausgerichtete Methodik befasst sich mit den möglichen Risiken, die für die Bürger bestehen können, und erläutert, wie diese gemindert oder minimiert werden können. Die Methodik besteht aus drei Hauptschritten, die jeweils auf einer soliden Grundlage in internationalen Vorschriften und Richtlinien basieren.

  • Schritt 1: Identifizierung der zu schützenden Grundprinzipien und Rechte
    Um eine KI zu gewährleisten, die demokratische Werte respektiert, haben wir uns auf die Charta der Grundrechte der Europäischen Union gestützt, die uns dabei hilft, die wichtigsten Familien von Rechten und Grundsätzen zu definieren, die von KI betroffen sein können. Diese sind:

    • A) Gleichheit und Nichtdiskriminierung
    • B) Datenschutz, Privatsphäre und persönliche Autonomie
    • C) Sicherheit, Robustheit und Cybersicherheit
    • D) TransparènciaErklärbarkeit und Zugang zu Informationen
    • E) Verantwortung, Rechenschaftspflicht und Prüfbarkeit
    • F) Soziale Auswirkungen, Nachhaltigkeit und wirtschaftliche Rechte

  • Schritt 2: Identifizierung der damit verbundenen Risiken und ihrer Beziehung zu den zu schützenden Grundsätzen und Rechten
    Um die häufigsten Risiken beim Einsatz von KI zu identifizieren, hat das AOC das übernommenRisikomanagement-Framework für künstliche Intelligenz (AI RMF 1.0) von NIST, das die potenziellen Risiken mit den oben genannten Grundsätzen und Rechten in Beziehung setzt. Dieser Ansatz ermöglicht es, zu ermitteln, welche Risiken die einzelnen Grundrechtsfamilien gefährden können, und trägt so dazu bei, Probleme wie Diskriminierung, Privatsphäre oder Sicherheit vorherzusehen und zu bewältigen.

  • Schritt 3: Festlegung von Risikomanagementmaßnahmen
    Um die Mechanismen und Schutzmaßnahmen zu ermitteln, die in jedem Fall geeigneter und wirksamer sein könnten, um die Verletzung grundlegender Prinzipien und Rechte zu verhindern, haben wir uns auf Kapitel II des Dokuments gestützt Ethische Richtlinien für vertrauenswürdige KI der Europäischen Kommission und in der kürzlich verabschiedeten KI-Verordnung (verbindliche Anwendung ab 2), sodass die Mechanismen auf der Grundlage des Risikoniveaus des KI-Systems und für bestimmte KI-Systeme oder -Modelle festgelegt werden. Zum Beispiel:
    • hohes RisikoVorbehaltlich spezifischer Sicherheitsanforderungen transparènciaund die Verpflichtung, vor der Inbetriebnahme des Systems eine Folgenabschätzung in Bezug auf die Grundrechte durchzuführen (Art. 27).
    • Begrenztes RisikoMindestverpflichtungen von transparència um den Nutzern zu ermöglichen, fundierte Entscheidungen zu treffen und sich der Interaktion mit einer KI bewusst zu sein.

Diese Methodik hilft uns, ein KI-System aufrechtzuerhalten, das transparent, sicher und dem Schutz der Grundrechte verpflichtet ist.

→ Weitere Einzelheiten finden Sie im vollständigen Dokument: AOC AI Systems Risikomanagement-Methodik (PDF)

→ Bei Präsentation (PPT, 7) Sie können eine Übersichtstabelle der drei Schritte der Risikomanagementmethodik des AOC sehen.

Veröffentlichte Berichte:

Projekt-Status

In ProduktionEs wurden vier Berichte veröffentlicht. transparència algorithmisch.

Mehr Informationen

Umgesetzte Praxisfälle:

Fälle in der Entwicklungsphase:

Bibliographische Hinweise:

Gesetzliche Verpflichtungen:

Europäischer Rahmen

  • Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten und zum freien Datenverkehr, mit der die Richtlinie 95 aufgehoben wird /46/EG („DSGVO"). Verknüpfung
  • Leitlinien zu automatisierten Einzelentscheidungen und Profiling im Sinne der Verordnung 2016/679. Verabschiedet am 3. Oktober 2017 und letztmals überarbeitet und verabschiedet am 6. Februar 2018. Arbeitsgruppe Datenschutz Artikel 29 der Richtlinie 95/46/EG. Verknüpfung
  • Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Regeln für künstliche Intelligenz (KI-Gesetz) und bestimmte Rechtsakte der Union werden geändert. 12. Verknüpfung 

Staatlicher Rahmen

  • Organgesetz 3/2018 vom 5. Dezember zum Schutz personenbezogener Daten und zur Gewährleistung digitaler Rechte („LOPDGDD"). Verknüpfung
  • Einhaltung der DSGVO von Behandlungen, die künstliche Intelligenz beinhalten. Eine Einleitung Februar 2020. AEPD. Verknüpfung
  • Gesetz 15/2022 vom 12. Juli, umfassend für Gleichbehandlung und Nichtdiskriminierung. Verknüpfung

Katalanischer Rahmen

  • Gesetz 19/2014 vom 29. Dezember transparènciaZugang zu öffentlichen Informationen und gute Regierungsführung. Verknüpfung
  • Dekret 76/2020 vom 4. August über die digitale Verwaltung. Verknüpfung

[1]. Die KI-Verordnung legt beispielsweise fest, welche Informationen in Bezug auf bestimmte KI-Systeme bereitgestellt werden müssen (Art. 50); die DSGVO bestimmt, welche Informationen der betroffenen Person zur Verfügung gestellt werden müssen.ereswenn automatisierte Entscheidungen getroffen werden (Art. 13); und das LRJSP legt die Pflicht fest, die für eine automatisierte Verwaltungsmaßnahme zuständige Stelle im elektronischen Büro zum Zwecke der Anfechtung zu informieren (Art. 41).