Transparència algorithmisch: Chatbots mit generativer KI zur Unterstützung der Bürger von AOC

Überblick

Problem, das bis Ende 2023 gelöst werden soll

  • Bedarf an ständiger Hilfe: AOC-Benutzer benötigen kontinuierlichen Support rund um die Uhr, ein persönlicher oder telefonischer Support kann diese vollständige Verfügbarkeit jedoch nicht garantieren.
  • Anstieg der Anfragen und Vorfälle: Die zunehmende Nutzung digitaler Dienste und des Portals transparència Die gestiegene Nachfrage nach Informationen und Unterstützung durch das AOC hat zu einem Anstieg geführt. Das Benutzerservicezentrum (CAU) bearbeitete im Jahr 2023 über 91.000 Anfragen. Um diese Zunahme effizient zu bewältigen und dem Anspruch des CAU gegenüber den Bürgern gerecht zu werden, ist es jetzt ratsam, die Einführung neuer, ressourcenoptimierter Tools zu prüfen.
  • Digitale Kluft und Suchschwierigkeiten: Viele Nutzer, die von der digitalen und sozialen Kluft betroffen sind, haben oft Schwierigkeiten, zu wissen, wonach sie suchen sollen, oder die Ergebnisse traditioneller Suchmaschinen richtig zu interpretieren. Dies kann zu Verwirrung und Frustration bei Ihrem digitalen Erlebnis führen und erfordert eine individuellere Unterstützung, die einen einfachen Zugriff auf relevante Informationen ermöglicht.

Angenommene Lösung

  • Chatbot-Entwicklung mit generativer KI: Um die Selbstlösung von Anfragen auf zugängliche und unmittelbare Weise zu erleichtern, wurden KI-basierte Gesprächsassistenten entwickelt. Diese Chatbots ermöglichen es, mithilfe großer Datenmengen und Algorithmen, die natürliche Sprache interpretieren, die häufigsten Fragen der Nutzer zu beantworten.
  • Warum sollten Sie sich für generative KI-Chatbots entscheiden? Die AOC begann vor fast zehn Jahren mit Chatbots zu experimentieren und führte sie schrittweise ein, um den Benutzersupport zu verbessern. Anfangs wurden herkömmliche Chatbots wie Paula (21.01.2021) eingesetzt, die Unterstützung beim Identifizierungsprozess mit VÀLid bot, und Rita (29.04.2021), die beim Erhalt, der Nutzung und der Verlängerung der Lizenz half.idCAT Zertifikat und der Chatbot des Portals transparència (19.04.2023), die sich der Beantwortung von Anfragen in diesem Bereich widmen. Trotz ihrer Nützlichkeit arbeiten diese Chatbots mit Regeln und strukturierten Abläufen vordefinierter Fragen und Antworten, was ein intensives manuelles Training erfordert, ihre Implementierung komplex und teuer macht und auch nur bedingt erfolgreiche Antworten liefert.Siehe die Datei von transparència Konventionelle AOC-Chatbots)
    Mit dieser Erfahrung setzt das AOC nun auf eine neue Generation von Chatbots, die auf Daten und generativer KI basieren, die viel weniger Training erfordern und maßgeschneiderte und kontextualisierte Antworten liefern können, wodurch das Benutzererlebnis verbessert wird. Darüber hinaus ermöglicht diese Technologie ein erneutes Stellen, also das Vervollständigen der ursprünglichen Frage unter Beibehaltung der Konsistenz mit der vorherigen Konversation, während bei herkömmlichen Chatbots jede Frage so behandelt wird, als wäre es die erste.

An wen ist es gerichtet?

  • Bürgern, die die Dienste des AOC in Anspruch nehmen, um ihnen einen zugänglichen, schnellen und 24-Stunden-Support zu bieten.

Anwendungsfälle

Chatbots mit generativer KI werden in folgenden AOC-Diensten eingesetzt:

  • Gültig: unterstützt Bürger bei den häufigsten Fragen während des Identifizierungsprozesses auf der VALid-Seite.
  • idCat Mobile: hilft dabei, Zweifel an der Beschaffung, Verwendung und Erneuerung deridCat Telefon.
  • idCat Zertifikat: bietet Unterstützung beim Erwerb, der Nutzung und der Erneuerung deridCat Zertifikat.
  • e-NOTUM: beseitigt Zweifel und bietet Unterstützung bei der Verwaltung elektronischer Benachrichtigungen.
  • Representa: hilft Bürgern und Unternehmen, Zweifel an der representationen und Kräfte.
  • e.FAKT: bietet Unterstützung bei der Erstellung und Verwaltung elektronischer Rechnungen.

Risikostufe für KI-Systeme (nach den Kriterien der europäischen KI-Verordnung)

  • Begrenztes Risiko. Es besteht kein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte von Personen und es hat auch keinen wesentlichen Einfluss auf das Ergebnis der Entscheidungsfindung.

Status

  • Implementiert und im Einsatz seit Mai 2024, mit durchschnittlich 11.575 monatlichen Nutzern.

Level-of-Service-Vereinbarung

  • Rund um die Uhr verfügbar mit einer Verfügbarkeit von 24 %.

Hauptvorteile des Dienstes

Für Bürger:

  • 24/7-Zugriff auf Informationen: Bürger können jederzeit und ohne Zeitbeschränkung Hilfe in Anspruch nehmen, was die Lösung von Zweifeln erleichtert, wenn sie diese benötigen.
  • Sofortige Antwort: Chatbots bieten sofortige Antworten und vermeiden so die Wartezeiten herkömmlicher Kanäle wie persönlichem oder telefonischem Support.
  • Selbstlösung von Anfragen: Benutzer können ihre Probleme selbstständig lösen, wodurch sie weniger auf direkten Support angewiesen sind und das Erlebnis verbessert wird.
  • Verbesserte Benutzererfahrung: Chatbots mit generativer KI ermöglichen eine natürlichere und persönlichere Interaktion und fördern ein authentisches Gespräch mit dem Nutzer. Diese Chatbots passen sich der individuellen Ausdrucksweise an und erlauben es den Nutzern, ihre Fragen mit eigenen Worten zu präzisieren oder zu verfeinern.

Zur Verwaltung:

  • Optimierung der Ressourcen: Chatbots bearbeiten wiederkehrende Anfragen und entlasten das Personal für komplexere Aufgaben, was die Zeit- und Ressourceneffizienz verbessert.
  • KostenreduzierungDie Kosten jeder vom Chatbot beantworteten Anfrage sind deutlich geringer als die Kosten menschlicher Bearbeitung. Eine erste Schätzung mit Daten aus dem Jahr 2025 beziffert die Einsparungen auf etwa 96% (ungefähre durchschnittliche Kosten von 15 € für eine Konsultation, an der CAU-Mitarbeiter teilnahmen vs. 0,60 € (per Chatbot).
    Diese Zahl ist nur ein Richtwert und wird sich nach einer detaillierteren wirtschaftlichen Analyse bestätigen.
  • Erhöhte Effizienz: Chatbots bearbeiten mehrere Anfragen gleichzeitig, vermeiden Engpässe und verbessern die Reaktionsfähigkeit.
  • Weniger Trainingsaufwand: Generative KI-Chatbots erfordern weniger anfängliche Einrichtung und Schulung, da sie mit einem allgemeinen vorab trainierten Modell beginnen, das sich mit minimalen Anpassungen anpasst. Der Anpassungsprozess besteht darin, erkannte falsche Antworten zu überprüfen und zu korrigieren, anstatt sich intensiv mit der Klassifizierung und Strukturierung der Antworten für jede einzelne Antwort zu befassen Absicht [1]..
  • Kontinuierliche Verbesserung der Dienstleistungen: Die Gesprächsanalyse ermöglicht es, Muster zu erkennen, Schlüsselbereiche zu verbessern und Dienste an die Bedürfnisse der Benutzer anzupassen.

Kontaktinformation

Bereitstellungs-Manager
Offene Verwaltung Kataloniens

Kontaktieren Sie das Team für Anfragen
Unterdirektion für Strategie und Innovation

Team-E-Mail
innovacio@aoc.cat

Externer Lieferant
EINE MILLION BOT, SL

E-Mail des Lieferanten
info@1millionbot.com

Detailliertere Informationen zum Service

Machen Sie sich mit den vom System verwendeten Daten und Informationen, der Betriebslogik der Algorithmen und seiner Governance vertraut.

Datensätze

Die Wissensbasis von Chatbots basiert auf drei Hauptquellen:

  • Häufig gestellte Fragen (FAQs): Chatbots werden zunächst mit einer Datenbank häufig gestellter Fragen trainiert, die auf dem Support-Portal verfügbar ist. In diesen FAQs werden die häufigsten Fragen der Bürger gesammelt und mit den aktuellsten Informationen zum Dienst aktualisiert.
  • Wiederkehrende Tickets: Chatbots lernen außerdem aus der Analyse historischer Support-Tickets, die Informationen zu den Fragen, Zweifeln und Vorfällen der Benutzer und deren Lösung enthalten.
  • Kontinuierliches Feedback: Das Chatbot-System stellt eine Form des kontinuierlichen Lernens dar, bei dem jeder generative Versuch eine Reihe von Trainingsphrasen umfasst, die durch Benutzergespräche genährt werden. Wenn eine Person eine neue Frage stellt, versucht der Chatbot, in seiner vorhandenen Trainingsphrasenbasis nach Ähnlichkeiten zu suchen. Wenn der Chatbot während der Konversationsüberprüfungsphase eine falsche Antwort auf diese Frage generiert, wird die Phrase in den entsprechenden Versuch aufgenommen und die KI generiert Variationen davon, um über eine umfassendere Wissensbasis zu verfügen.

Weitere Eingabedaten:

  • Benutzerdaten: Zum Trainieren des Modells werden keine personenbezogenen Daten der Nutzer verwendet.

Überlegungen zum Datenverarbeitung und -speicherung

  • Das KI-System zeichnet in einer Datei die während der Chat-Sitzung gestellten Fragen und Antworten auf. Außerdem werden Berichte mit Nutzungsdaten, Gesprächen und Online-Statistiken zur Analyse und Serviceverbesserung erstellt.
  • Gespräche werden maximal 3 Monate lang gespeichert und danach automatisch gelöscht.
  • Nutzungsberichte, einschließlich Parametern wie Nutzung und Antwortraten, werden auf unbestimmte Zeit aufbewahrt, um die Rückverfolgbarkeit und kontinuierliche Bewertung des Dienstes sicherzustellen.

Datenverarbeitung

Die Betriebslogik der automatischen Datenverarbeitung und die vom System durchgeführte Argumentation basieren auf dem folgenden Modell und der folgenden Methodik:

Interaktionsprozess zwischen Benutzer und Chatbot
Die Interaktion zwischen Nutzer und Chatbot erfolgt über eine digitale Schnittstelle, die über verschiedene Geräte wie Webbrowser, Mobiltelefone oder Tablets zugänglich ist. Der Nutzer gibt eine Frage im Textformat ein („Prompt“), die die gewünschten Informationen beschreibt. Der Chatbot verarbeitet diese Informationen und generiert eine Textantwort mit den angeforderten Informationen.

Servicearchitektur

Der Dienst verwendet a generative künstliche Intelligenz-Engine [2]. das natürliche Sprache verarbeitet.

  • Die vom AOC-Chatbot verwendete KI-Engine ist GPT 5.4 mini, von der Firma OpenAI.
  • Es wird eine Azure OpenAI-Instanz mit Standort in Europa verwendet.
  • Die Engine basiert auf einem großen Sprachmodell (Large Language Model, LLM), das aus tiefen neuronalen Netzen besteht, die mit riesigen Datensätzen trainiert werden, die im Wesentlichen aus dem Internet stammen (Webseiten, Blogs, soziale Netzwerke, Artikel von Wissenschaftlern, Bücher). , usw.)

Der Service war angepasst von 1MillionBot, die verantwortlich war für:

  • Entwerfen Sie die Anweisungen, die es dem KI-Modell ermöglichen, Anweisungen zu leiten und zu befolgen.
  • Bereiten Sie Datensätze vor, sammeln und bereinigen Sie Daten, die als Referenz für das Retrieval Augmented Generation (RAG)-System dienen
  • Einbindung von Datensätzen in das RAG-System von 1MillionBot, wodurch die Qualität der Antworten anhand spezifischer Kontexte verbessert werden kann.
  • Testen Sie Fälle und validieren Sie die Fähigkeit des Systems, Fehler und komplexe Abfragen zu verarbeiten.
  • Modelloptimierung basierend auf Benutzerinteraktionen.

Die gesamte Infrastruktur des Dienstes wird in der Cloud von gehostet Google Cloud Platform (GCP), insbesondere im Google Cloud-Rechenzentrum in Belgien, innerhalb des Europäischen Wirtschaftsraums (EWR). Dieser Standort gewährleistet die Einhaltung europäischer Datenschutz- und Sicherheitsvorschriften.

Der Chatbot verfügt über ein System, um die Meinung der Nutzer zu sammeln und die Zufriedenheit des gesamten Gesprächs beurteilen zu können.

Hauptmerkmale der Architektur:

  • Sichere und zertifizierte Unterkunft:
    • GCP-Installationen entsprechen den Sicherheitsstandards ISO 27001 i SOC 2/3, um eine robuste und zuverlässige Infrastruktur zu gewährleisten.
    • Sämtliche Infrastruktur des Anbieters, 1MillionBot, einschließlich Webchat, der Millie-Plattform (Frontend) sowie Logik und Daten (Backend), wird in dieser Umgebung gehostet.
  • Isolierung nach Anwendungsfällen:
    • Jeder Anwendungsfall des Dienstes ist in einem bestimmten Netzwerk und einer bestimmten Entwicklungsumgebung isoliert, wodurch Interferenzen zwischen Anwendungen vermieden und die Sicherheit maximiert werden.
  • Geschützte Lagerung:
    • Konversationsfragen und -antworten werden in Datenbanken gespeichert, die auf virtuellen Google Cloud-Maschinen gehostet werden, die durch erweiterte Firewalls und Isolationsmechanismen geschützt sind.
    • Der Zugriff auf diese Daten erfolgt ausschließlich über das Backend, wodurch eine strenge Kontrolle gewährleistet ist.
  • Schutz vor Angriffen:
    • Das System umfasst mehrere Sicherheitsebenen, wie zum Beispiel:
      • Begrenzer anfordern um Überlastungen vorzubeugen.
      • Strenge Validierungen von Daten und Zugriff.
      • Spezialisierte Firewalls zum Schutz der Infrastruktur.

Diese Architektur gewährleistet die Robustheit, Sicherheit und Anpassungsfähigkeit, die erforderlich sind, um den Benutzern einen qualitativ hochwertigen Service anzubieten.

Algorithmusleistung

91,33 % Erfolgsquote. Dieser Tarif wird monatlich überprüft (letzte Überprüfung: 15)

Menschliche Aufsicht

Das algorithmische System des Chatbots agiert direkt, steht aber unter Ex-post-Überwachung Das für die endgültige Entscheidung zuständige Personal wurde insbesondere in der Anfangsphase des Betriebs verstärkt, um algorithmische Verzerrungen auszugleichen und fehlerhafte Antworten zu reduzieren. Die Antworten des Chatbots sind festgelegt und können nicht geändert werden.

Die menschliche Überwachung von Chatbots gewährleistet die Qualität und Genauigkeit der Antworten durch einen strengen und regelmäßigen Prozess:

  1. Wöchentliche Rezensionen: Experten überprüfen Chatprotokolle, um falsche Antworten zu identifizieren. Für jeden erkannten Fehler wird die ideale Antwort notiert und Benutzersätze mit der falschen Antwort werden neu klassifiziert und dem am besten geeigneten generativen Versuch zugeordnet.
  2. Monatliche Analyse: 150 zufällig ausgewählte und bereits als fehlerhaft identifizierte Gespräche werden ausgewertet, um Fehlermuster zu erkennen und unangemessene Antworten zu korrigieren.
  3. Versuchsmanagement: Wenn Fehler nicht durch einfache Neuklassifizierung von Sätzen behoben werden können, passen Experten die Eingabeaufforderungen bestehender Versuche an oder erstellen neue Versuche.

Dieser Prozess kombiniert die traditionelle Methodik von Chatbots mit der Flexibilität generativer KI und garantiert so ein agiles Management und einen zuverlässigen Service, der auf die Bedürfnisse der Benutzer abgestimmt ist.

Einhaltung gesetzlicher Vorschriften des Systems

Das System verarbeitet keine personenbezogenen Daten. Dennoch entspricht das System den aktuellen Vorschriften zum Datenschutz und zur Datensicherheit. Insbesondere:

  • Es gelten die Grundsätze der Datenschutz-Grundverordnung (DSGVO):
    • Grundsatz der Datenminimierung: Es werden nur die Daten erhoben, die zur Erfüllung des Systemzwecks erforderlich sind.
    • Grundsatz der Zweckbindung: Die erhobenen Daten werden nur für den Zweck verwendet, der der betroffenen Person mitgeteilt wurde.eresSada.
  • Aus technischer Sicht entspricht die Lösung den Anforderungen des National Security Scheme (ENS) für LOW-Level-Systeme.

✨Freiwillige Anwendung von Verordnung der Europäischen Union über künstliche Intelligenz (KI-Verordnung) [3].

Das System entspricht den Anforderungen der KI-Verordnung im Fall von Risiko-KI-Systeme begrenzt i generative KI-Modelle ohne systemisches Risiko. Deshalb:

  • Den Nutzern wird von Anfang an mitgeteilt, dass sie mit einer KI interagieren. Aus diesem Grund wird der Dienst als „AOC Virtual Assistant“ und nicht mit dem Namen einer Person vorgestellt.
  • Als generative KI, AOC-Chatbots erfüllen außerdem die folgenden Anforderungen:
    • Es zeigt sich, dass die Inhalte durch KI generiert werden.
    • Eine Zusammenfassung der Trainingsdaten wird veröffentlicht.
    • Informationen zum KI-Modell werden in klarer und verständlicher Sprache bereitgestellt.
      Die letzten beiden Punkte werden durch dieses Datenblatt abgedeckt. transparència algorithmisch.
  • Diese Chatbots unterliegen nicht den Anforderungen für generative KI mit systemischem Risiko. Das bedeutet, dass keine Modellbewertungen oder widersprüchlichen Tests bestanden werden müssen und auch keine Berichterstattung über Energieeffizienz erforderlich ist.

es ist ein Automatisierte Verwaltungsmaßnahmen (AAA)? Nein.

In diesem Fall unterliegt das AOC nicht der gesetzlichen Verpflichtung, die mit dem Dienst verknüpfte AAA zusammen mit einem technischen Dossier auf seiner Website zu veröffentlichen (siehe Artikel 11, Buchstabe i des Königlichen Erlasses 203/2021, mit dem die Verordnung über den Dienst genehmigt wird). Leistung und Betrieb des öffentlichen Sektors auf elektronischem Wege, wodurch das Gesetz 40/2015 über die Rechtsordnung des öffentlichen Sektors umgesetzt wird)

Risikomanagement

Kennen Sie die wahrscheinlichere Risiken in Bezug auf die Grundprinzipien und Rechte die es zu schützen gilt, und die jeweils getroffenen Maßnahmen zu deren Abschwächung bzw. Minimierung.

A. Gleichheit und Nichtdiskriminierung

  • Identifizierte Risiken: Verzerrungen in den Ergebnissen, Risiko der Ausgrenzung und Diskriminierung.
    • Das LLM-Modell der GPT 5.4 Mini-Engine, das die Grundlage der AOC-Chatbots bildet, wird mit großen Mengen an Internetdaten vortrainiert. Diese Daten umfassen vielfältige Informationen und können Verzerrungen in Bezug auf Geschlecht, ethnische Zugehörigkeit, Sprache und andere Faktoren enthalten. Dadurch kann das System diskriminierende Muster aus den Trainingsdaten reproduzieren. Zudem erschwert die Komplexität neuronaler Netze die Identifizierung und Vermeidung dieser Verzerrungen.
    • Andererseits gehört Katalanisch nicht zu den Hauptsprachen, die im Modelltraining verwendet werden. Dies kann zu Antworten führen, bei denen überwiegend männliche Formen und weniger sprachliche Vielfalt verwendet werden, was sich auf die Inklusivität und den Reichtum der Interaktionen in dieser Sprache auswirkt.
  • Angewendete Maßnahmen
    • Trainingsdaten representativenDie für das abschließende Training und die Anpassung des Chatbots verwendeten Daten wurden sorgfältig ausgewählt, um verschiedene Bevölkerungsgruppen einzubeziehen und explizite Verzerrungen zu vermeiden, damit die Antworten so repräsentativ wie möglich sind. representamöglich und fair.
    • Gleichheit beim sprachlichen Zugang: Der Dienst kann auf Katalanisch und Spanisch genutzt werden, mit der Möglichkeit, die Sprache zu Beginn des Gesprächs auszuwählen oder während der Nutzung zu ändern. Dadurch können alle Benutzer mit dem System in der von ihnen bevorzugten Sprache interagieren.
      • Derzeit fragt der Chatbot den Benutzer, in welcher Sprache er bedient werden möchte, da dies die Genauigkeit der Antworten verbessert. Es werden jedoch Tests durchgeführt, um die Leistung zu bewerten, ohne dass die Sprache gefragt werden muss.
    • Tolerante Interpretation der Sprache: Das System ist darauf ausgelegt, natürliche Sprache auch bei Rechtschreib- oder Sprachfehlern zu verstehen und sicherzustellen, dass Benutzer nicht für kleine Fehler in ihren Abfragen bestraft werden.
    • Inklusion und Vielfalt im DesignEs wurde an einer Chatbot-Oberfläche gearbeitet, die jeder unabhängig von seinen digitalen Fähigkeiten einfach bedienen kann, um sicherzustellen, dass jeder ohne Barrieren auf den Dienst zugreifen kann.eres technologisch.

B. Datenschutz, Privatsphäre und Wahlfreiheit

  • Identifizierte Risiken: mögliche Gefährdung der Privatsphäre, Missbrauch personenbezogener Daten durch Dritte und Verlust der Wahlfreiheit.
    • Der Dienst fragt niemals nach personenbezogenen Daten. Allerdings birgt der Dienst ein Risiko im Zusammenhang mit der Verarbeitung personenbezogener Daten, wenn der Nutzer unnötige personenbezogene Daten eingibt.
  • Angewendete Maßnahmen
    • Zum Schutz von Daten und Privatsphäre:
      • Der Anbieter (1MillionBot) hat einen Verarbeitungsauftrag mit dem Standort der Daten innerhalb der Europäischen Union unterzeichnet.
      • Der Datenverantwortliche (AOC) garantiert die ARCO-Rechte (Zugriff, Berichtigung, Löschung und Widerspruch) der verarbeiteten Daten.
      • Einwilligung und Cookies werden verwaltet.
      • Die Gesprächsprotokolle werden regelmäßig von Experten überprüft, die alle vom System nicht erfassten personenbezogenen Daten entfernen.
      • Es wurde ein automatisches System integriert, das bestimmte Arten von personenbezogenen Daten erkennt – wie zum Beispiel Telefonnummern.
        E-Mail-Adressen oder Identifikationsnummern werden vor dem Speichern der Nachrichten durch geschützte Werte (verschlüsselte Token) ersetzt. Diese Werte werden auch in den auf der Plattform angezeigten Konversationen nicht angezeigt und durch Zensurindikatoren ersetzt, wenn sie zur Verarbeitung an das LLM gesendet werden. Dieser Schutz verringert das Risiko der Offenlegung personenbezogener Daten, die der Nutzer möglicherweise freiwillig eingegeben hat, auch wenn diese in keinem Fall angefordert werden.
      • Der Benutzer wird darüber informiert, dass die Konversation gespeichert wird. Wenn Sie nicht einverstanden sind, können Sie nicht fortfahren.
      • Die Benutzerperson kann die Konversationen löschen.
    • Wahlfreiheit garantieren:
      • Wir bieten Alternativen zum Bürgerservice ohne KI-Algorithmen an, beispielsweise telefonischen und E-Mail-Support. Wenn der Nutzer ausdrücklich „Support kontaktieren“, „mit einem Mitarbeiter sprechen“, „Ich benötige weitere Unterstützung“ oder Ähnliches anfordert, leitet der Bot ihn automatisch zu den Kontaktseiten des AOC-Supports weiter. Der Chatbot ist außerdem direkt in die Supportportale des AOC integriert, wo die Option „Support kontaktieren“ auch direkt in der Fußzeile erreichbar ist.

C. Sicherheit und Robustheit

  • Identifizierte Risiken: Verbreitung falscher Informationen, Fehler und Inkonsistenzen in den Antworten, Nichtverfügbarkeit des Dienstes und unbefugter Zugriff auf Daten.
    • Modelle, die auf neuronalen Netzen und probabilistischen Berechnungen basieren, erschweren die Interpretation, wie das Endergebnis zustande kommt, was die Kontrolle über die generierten Antworten einschränkt. Darüber hinaus kann die Natur der generativen KI gelegentlich dazu führen, dass das System Informationen bezieht, die über seine spezifische Wissensbasis hinausgehen, einschließlich nicht überprüfter externer Quellen oder Daten, was zu Antworten außerhalb des Kontexts oder zu Themen führen kann, die nicht zu ihrem Fachgebiet gehören .
    • Um diese Risiken zu mindern, muss die KI-Engine in einer kontrollierten und geschützten Umgebung mit strenger Konfiguration und Sicherheit installiert werden, um Schutz und Dienstintegrität zu gewährleisten.
  • Angewendete Maßnahmen
    • Das System wurde in einer geschlossenen und sicheren Umgebung installiert, basierend auf einer zertifizierten Architektur (siehe die Hauptmerkmale der Architektur). Diese Konfiguration gewährleistet:
      • Robustheit und Zuverlässigkeit, die den korrekten Betrieb des Systems gewährleisten.
      • Sicherheit und Vertraulichkeit verwalteter Daten.
      • Anpassungsfähigkeit, um qualitativ hochwertige Antworten anzubieten, die auf die Bedürfnisse der Benutzer abgestimmt sind.
    • Sicherheitsrisikoanalyse: Die AOC hat eine Sicherheitsbewertung gemäß den Richtlinien der katalanischen Cybersicherheitsagentur und des Nationalen Sicherheitssystems (ENS) durchgeführt. Dem System wurde die Sicherheitsstufe NIEDRIG zugeordnet und entsprechend dieser Kategorisierung wurden spezifische Maßnahmen zur Minderung der festgestellten Risiken implementiert. Insbesondere um sicherzustellen, dass die Verfügbarkeit und korrekter Betrieb des Systems:
      • Mit dem Lieferanten wurden Service Level Agreements (SLAs) vereinbart, die regelmäßig eingehalten und überprüft werden müssen, um die Systemkapazität, Verfügbarkeit und das Vorfallmanagement sicherzustellen.
      • Um sicherzustellen, dass der Dienst die vereinbarten Standards einhält, werden alle zwei Wochen ANS-Konformitätsberichte erstellt.
    • Um das Recht auf a zu gewährleisten wahrheitsgemäße und angemessene Informationen: Protokolle werden angewendet, um das System zu überprüfen, Fehler und Inkonsistenzen zu minimieren und die Qualität der Antworten zu verbessern. Um außerdem sicherzustellen, dass Antworten innerhalb des Kompetenzbereichs des Chatbots erfolgen:
      • Es wurden Filter für Schlüsselwörter und Themen implementiert (z. B. Registrierungsbescheinigung, Zahlung einer Geldstrafe, Schulvoranmeldung usw.). Diese Filter erzeugen „Anfragen außerhalb des Katalogs“, bei denen der Chatbot meldet, dass er keine Informationen zu dem Thema hat und empfiehlt, sich an die zuständige Behörde zu wenden.
      • Das Modell wird ausschließlich auf Daten aus dem AOC-Bereich trainiert, um so weit wie möglich sicherzustellen, dass die Informationen relevant und zweckmäßig sind.

D. Transparència und Erklärbarkeit

  • Identifizierte Risiken: Misstrauen, Fehlinterpretation der Ergebnisse durch Benutzer (Unfähigkeit, das Ergebnis zu verstehen), Verwirrung bei der Annahme, dass es sich um eine Interaktion mit einem Menschen handelt, Schwierigkeiten beim Einreichen von Beschwerden oder Anfragen zu den erzielten Ergebnissen
  • Angewendete Maßnahmen
    • Eindeutige Identifizierung als KI: Der Dienst wird von Anfang an als „virtueller Assistent“ vorgestellt, um Verwirrung über die Art der Interaktion zu vermeiden.
    • Einwilligung des Nutzers: Die Nutzer werden darüber informiert, dass die Konversation gespeichert wird, sodass sie entscheiden können, ob sie sie fortsetzen möchten.
    • Datei von transparència algorithmisch: Es wird auf der AOC-Website veröffentlicht und enthält Informationen zu:
      • Zu lösendes Problem
      • Mit dem implementierten KI-System
      • Zielgruppe
      • Daten, die zum Trainieren des KI-Systems verwendet werden
      • Identität und Kontaktdaten des Lieferanten
      • Verantwortliche Stelle und Kontaktadresse für Beschwerden, Anfragen und Anregungen
    • Einfacher Zugriff auf das Blatt: Das Blatt von transparència Sie kann auf der Homepage des Dienstes eingesehen werden.

E. Aufbewahrung von Konten und Prüfbarkeit

  • Identifizierte Risiken: Einschränkungen bei der Nachvollziehbarkeit der Ergebnisse, fehlende regelmäßige Überprüfung und Überprüfung, Schwierigkeiten bei der Interpretation des Modells selbst durch Spezialisten, fehlende zugewiesene Verantwortung.
    • Die Risiken, die mit der Verantwortlichkeit und Überprüfbarkeit generativer KI-Chatbots verbunden sind, können die Zuverlässigkeit des Systems gefährden, wenn es keine Möglichkeit gibt, den Antwortgenerierungsprozess genau zu verfolgen, die Qualität regelmäßig zu überprüfen und sicherzustellen, dass der Vorgang selbst für Spezialisten verständlich ist. Diese Faktoren erschweren eine ordnungsgemäße Überwachung des Dienstes und erschweren die Zuweisung von Verantwortung für Fehler oder unfaire Entscheidungen, die das Vertrauen in den öffentlichen Dienst beeinträchtigen können.
  • Angewendete Maßnahmen
    • Um die Verantwortlichkeit des KI-Systems und seiner Ergebnisse sicherzustellen:
      • Qualitäts- und Wirkungsüberwachung: Es werden alle zwei Wochen Berichte mit Qualitäts- und Wirkungsindikatoren erstellt, um zu beurteilen, ob der Dienst die festgelegten Ziele erreicht.
    • Um die Verantwortung für das System und seine Ergebnisse zu gewährleisten:
      • Es wird darüber informiert, wer für den Dienst (AOC) verantwortlich ist und wie bei nachteiligen Auswirkungen eine Beschwerde einzureichen ist.
    • Um die Überprüfbarkeit sicherzustellen:
      • Das AOC behält sich das Recht vor, jederzeit zusätzliche Audits zur Überprüfung von Qualitätsindikatoren und Service Level Agreements (SLAs) durchzuführen und so eine kontinuierliche Überwachung der Systemzuverlässigkeit sicherzustellen.

F. Nachhaltige Entwicklung und Solidarität

  • Identifizierte Risiken: negative Auswirkungen auf die Umwelt, Ungleichheiten beim Zugang zu dieser Technologie aufgrund ihrer hohen Kosten.
    • Der Einsatz von Chatbots mit generativer KI stellt erhebliche Herausforderungen hinsichtlich Nachhaltigkeit und Gerechtigkeit dar. Einerseits sind die Auswirkungen auf die Umwelt hoch, da für die Datenverarbeitung und -speicherung große Rechenressourcen erforderlich sind, was einen hohen Energieverbrauch und CO₂-Emissionen mit sich bringt. Andererseits sind die Implementierungs- und Wartungskosten erheblich, was den Zugriff auf diese Technologie auf Organisationen mit größeren Ressourcen beschränken kann.
  • Angewendete Maßnahmen
    • Abstimmung und Optimierung des Chatbot-Trainings maximale Effizienz zu erreichen. Studien zeigen, dass eine ChatGPT-Abfrage zehn Google-Suchanfragen entsprechen kann; Daher könnten die hohen Energiekosten der generativen KI im Falle einer Bestätigung durch ihre höhere Wirksamkeit im Vergleich zu billigeren Methoden ausgeglichen werden.
    • Förderung von transparència über Nutzungskosten zu einem verantwortungsvolleren Umgang mit dieser Technologie beizutragen.
    • Förderung der ÜbertragbarkeitDie AOC arbeitet daran, den Chatbot als Komplettlösung für katalanische Kommunalverwaltungen anzubieten und so einen gleichberechtigten Zugang zu dieser Technologie zu ermöglichen. Diese Strategie der Reproduzierbarkeit erlaubt die Einführung fortschrittlicher generativer KI ohne große Investitionen.

Weitere Informationen

[1]. Un Absicht bezieht sich auf die Absicht oder den Zweck, den die Benutzerperson hat, wenn sie dem Chatbot eine Frage stellt oder eine Anfrage stellt. Mithilfe von Versuchen lässt sich ermitteln, was die Person erreichen möchte, beispielsweise bestimmte Informationen erhalten, ein Problem lösen oder einen Prozess abschließen. Bei herkömmlichen Chatbots müssen Versuche vordefiniert und manuell trainiert werden, damit der Chatbot sie erkennen und die entsprechende Antwort geben kann. Im Gegensatz dazu können Chatbots mit generativer KI Versuche flexibler identifizieren und interpretieren, indem sie Echtzeitantworten basierend auf dem Konversationskontext generieren, ohne dass im Vorfeld eine umfassende Klassifizierung der Versuche erforderlich ist. Dadurch wird die Interaktion natürlicher und an die Bedürfnisse des Benutzers angepasst.

[2]. Einige der Hauptfunktionen des generative künstliche Intelligenz-Engine sind:

  • Identifizieren und korrigieren Sie Tipp- und Rechtschreibfehler, um die Kommunikation zu verbessern.
  • Erkennt die Absicht einer Nachricht, auch bei mehrdeutigen Sätzen oder mehreren Bedeutungen.
  • Behält das Kurzzeitgedächtnis bei, um Fragen zu verbinden und konsistente Antworten sicherzustellen.
  • Es bewertet mögliche Antworten, wählt die beste aus und bietet Vorschläge für klarere Gespräche.
  • Es passt sich an mehrere Sprachen an (Katalanisch, Spanisch, Englisch) und erkennt Slang und Emojis.

[3]. El Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften auf dem Gebiet der künstlichen Intelligenz und zur Änderung bestimmter Rechtsakte der Union (auch bekannt als RIA- oder AI-Gesetz) trat am 2. August 2024 in Kraft und gilt ab dem 2. August 2026.