Algorithmische Transparenz: Chatbots mit generativer KI vom AOC

Überblick 

Zu lösendes Problem

• Bedarf an ständiger Hilfe: AOC-Benutzer benötigen kontinuierlichen Support rund um die Uhr, ein persönlicher oder telefonischer Support kann diese vollständige Verfügbarkeit jedoch nicht garantieren.
• Anstieg der Anfragen und Vorfälle: Die zunehmende Nutzung digitaler Dienste und des Transparenzportals des AOC hat die Nachfrage nach Informationen und Unterstützung erhöht. Das User Care Center (CAU) bearbeitet jährlich mehr als 91.000 Anfragen. Um diesen Anstieg effizient zu bewältigen und das Engagement der CAU für die Bürger aufrechtzuerhalten, ist jetzt ein guter Zeitpunkt, über die Einführung neuer Tools nachzudenken, die zur Optimierung der Ressourcen beitragen.
• Digitale Kluft und Suchschwierigkeiten: Viele Nutzer, die von der digitalen und sozialen Kluft betroffen sind, haben oft Schwierigkeiten, zu wissen, wonach sie suchen sollen, oder die Ergebnisse traditioneller Suchmaschinen richtig zu interpretieren. Dies kann zu Verwirrung und Frustration bei Ihrem digitalen Erlebnis führen und erfordert eine individuellere Unterstützung, die einen einfachen Zugriff auf relevante Informationen ermöglicht.

Angenommene Lösung

• Chatbot-Entwicklung mit generativer KI: Um die Selbstlösung von Anfragen auf zugängliche und unmittelbare Weise zu erleichtern, wurden KI-basierte Gesprächsassistenten entwickelt. Diese Chatbots ermöglichen es, mithilfe großer Datenmengen und Algorithmen, die natürliche Sprache interpretieren, die häufigsten Fragen der Nutzer zu beantworten.
• Warum sollten Sie sich für generative KI-Chatbots entscheiden? Das AOC begann vor fast einem Jahrzehnt mit Chatbots zu experimentieren und führte sie nach und nach ein, um den Benutzersupport zu verbessern. Zunächst wurden herkömmliche Chatbots wie Paula (21) eingesetzt, die bei der Identifizierung mit VÀLid unterstützten; Rita (01), die bei der Erlangung, Nutzung und Erneuerung des idCAT-Zertifikats geholfen hat, und der Chatbot des Transparenzportals (2021), der sich der Lösung von Fragen in diesem Bereich widmet. Trotz ihrer Nützlichkeit arbeiten diese Chatbots mit Regeln und strukturierten Abläufen vordefinierter Fragen und Antworten, was eine intensive manuelle Schulung erfordert, ihre Implementierung komplex und teuer macht und zudem relativ erfolgreich Antworten liefert. (Siehe Transparenzblatt Konventionelle Chatbots des AOC)
  Mit dieser Erfahrung setzt das AOC nun auf eine neue Generation von Chatbots, die auf Daten und generativer KI basieren, die viel weniger Training erfordern und maßgeschneiderte und kontextualisierte Antworten liefern können, wodurch das Benutzererlebnis verbessert wird. Darüber hinaus ermöglicht diese Technologie ein erneutes Stellen, also das Vervollständigen der ursprünglichen Frage unter Beibehaltung der Konsistenz mit der vorherigen Konversation, während bei herkömmlichen Chatbots jede Frage so behandelt wird, als wäre es die erste.

An wen ist es gerichtet?

• Bürgern, die die Dienste des AOC in Anspruch nehmen, um ihnen einen zugänglichen, schnellen und 24-Stunden-Support zu bieten.

Anwendungsfälle

Chatbots mit generativer KI werden in folgenden AOC-Diensten eingesetzt:

• Gültig: unterstützt Bürger bei den häufigsten Fragen während des Identifizierungsprozesses auf der VALid-Seite.
• idCat Mobile: hilft bei der Lösung von Zweifeln bezüglich des Erhalts, der Nutzung und der Erneuerung des Mobile idCat.
• IDCat-Zertifikat: bietet Unterstützung bei der Erlangung, Nutzung und Erneuerung des Certified idCat.
• e-NOTUM: beseitigt Zweifel und bietet Unterstützung bei der Verwaltung elektronischer Benachrichtigungen.
• Es repräsentiert: unterstützt Bürger und Unternehmen bei der Klärung von Zweifeln rund um Vertretungen und Vollmachten. 
• e.FAKT: bietet Unterstützung bei der Erstellung und Verwaltung elektronischer Rechnungen.

Status

• Implementiert und im Einsatz seit Mai 2024, mit durchschnittlich 11.575 monatlichen Nutzern. 

Level-of-Service-Vereinbarung

• Rund um die Uhr verfügbar mit einer Verfügbarkeit von 24 %.

Hauptvorteile des Dienstes

 Für Bürger:

• 24/7-Zugriff auf Informationen: Bürger können jederzeit und ohne Zeitbeschränkung Hilfe in Anspruch nehmen, was die Lösung von Zweifeln erleichtert, wenn sie diese benötigen.
• Sofortige Antwort: Chatbots bieten sofortige Antworten und vermeiden so die Wartezeiten herkömmlicher Kanäle wie persönlichem oder telefonischem Support.
• Selbstlösung von Anfragen: Benutzer können ihre Probleme selbstständig lösen, wodurch sie weniger auf direkten Support angewiesen sind und das Erlebnis verbessert wird.
• Verbesserte Benutzererfahrung: Chatbots mit generativer KI ermöglichen eine natürlichere und engere Interaktion und ermöglichen ein authentisches „Gespräch“ mit dem Benutzer. Diese Chatbots können sich an die Ausdrucksweise jeder Person anpassen und ermöglichen es ihnen, ihre Frage mit eigenen Worten zu präzisieren oder zu verfeinern.

Zur Verwaltung:

• Optimierung der Ressourcen: Chatbots bearbeiten wiederkehrende Anfragen und entlasten das Personal für komplexere Aufgaben, was die Zeit- und Ressourceneffizienz verbessert. 
• Kostenreduzierung: Jede Beratung per Chatbot ist mit deutlich geringeren Kosten verbunden als telefonischer Support.
• Erhöhte Effizienz: Chatbots bearbeiten mehrere Anfragen gleichzeitig, vermeiden Engpässe und verbessern die Reaktionsfähigkeit.
• Weniger Trainingsaufwand: Generative KI-Chatbots erfordern weniger anfängliche Einrichtung und Schulung, da sie mit einem allgemeinen vorab trainierten Modell beginnen, das sich mit minimalen Anpassungen anpasst. Der Anpassungsprozess besteht darin, erkannte falsche Antworten zu überprüfen und zu korrigieren, anstatt sich intensiv mit der Klassifizierung und Strukturierung der Antworten für jede einzelne Antwort zu befassen Absicht [1].
• Kontinuierliche Verbesserung der Dienstleistungen: Die Gesprächsanalyse ermöglicht es, Muster zu erkennen, Schlüsselbereiche zu verbessern und Dienste an die Bedürfnisse der Benutzer anzupassen.

Kontaktinformation 

Detailliertere Informationen zum Service 

Machen Sie sich mit den vom System verwendeten Daten und Informationen, der Betriebslogik der Algorithmen und seiner Governance vertraut. 

Datensätze 

Die Wissensbasis von Chatbots basiert auf drei Hauptquellen:

• Häufig gestellte Fragen (FAQs): Chatbots werden zunächst mit einer Datenbank häufig gestellter Fragen trainiert, die auf dem Support-Portal verfügbar ist. In diesen FAQs werden die häufigsten Fragen der Bürger gesammelt und mit den aktuellsten Informationen zum Dienst aktualisiert.
• Wiederkehrende Tickets: Chatbots lernen außerdem aus der Analyse historischer Support-Tickets, die Informationen zu den Fragen, Zweifeln und Vorfällen der Benutzer und deren Lösung enthalten.
• Kontinuierliches Feedback: Das Chatbot-System stellt eine Form des kontinuierlichen Lernens dar, bei dem jeder generative Versuch eine Reihe von Trainingsphrasen umfasst, die durch Benutzergespräche genährt werden. Wenn eine Person eine neue Frage stellt, versucht der Chatbot, in seiner vorhandenen Trainingsphrasenbasis nach Ähnlichkeiten zu suchen. Wenn der Chatbot während der Konversationsüberprüfungsphase eine falsche Antwort auf diese Frage generiert, wird die Phrase in den entsprechenden Versuch aufgenommen und die KI generiert Variationen davon, um über eine umfassendere Wissensbasis zu verfügen.

Weitere Eingabedaten:

• Benutzerdaten: Zum Trainieren des Modells werden keine personenbezogenen Daten der Nutzer verwendet.

Überlegungen zum Datenverarbeitung und -speicherung

Datenverarbeitung 

Die Betriebslogik der automatischen Datenverarbeitung und die vom System durchgeführte Argumentation basieren auf dem folgenden Modell und der folgenden Methodik: 

Interaktionsprozess zwischen Benutzer und Chatbot
Der Interaktionsprozess zwischen Benutzer und Chatbot erfolgt über eine digitale Schnittstelle, auf die über Geräte wie das Internet, Mobilgeräte oder Tablets zugegriffen werden kann. Der Benutzer gibt eine Frage im Textformat („Eingabeaufforderung“) ein, die die Informationen beschreibt, die er erhalten möchte. Der Chatbot verarbeitet diese Informationen und generiert eine Textantwort, um die angeforderten Informationen bereitzustellen.

Servicearchitektur

Der Dienst verwendet a generative künstliche Intelligenz-Engine [2] das natürliche Sprache verarbeitet.

• Die vom AOC-Chatbot verwendete KI-Engine ist GPT-4o, von der Firma OpenAI.
• Es wird eine Azure OpenAI-Instanz mit Standort in Europa verwendet.
• Die Engine basiert auf einem großen Sprachmodell (Large Language Model, LLM), das aus tiefen neuronalen Netzen besteht, die mit riesigen Datensätzen trainiert werden, die im Wesentlichen aus dem Internet stammen (Webseiten, Blogs, soziale Netzwerke, Artikel von Wissenschaftlern, Bücher). , usw.)

Der Service war angepasst von 1MillionBot, die verantwortlich war für:

• Entwerfen Sie die Anweisungen, die es dem KI-Modell ermöglichen, Anweisungen zu leiten und zu befolgen.
• Bereiten Sie Datensätze vor, sammeln und bereinigen Sie Daten, die als Referenz für das Retrieval Augmented Generation (RAG)-System dienen
• Einbindung von Datensätzen in das RAG-System von 1MillionBot, wodurch die Qualität der Antworten anhand spezifischer Kontexte verbessert werden kann.
• Testen Sie Fälle und validieren Sie die Fähigkeit des Systems, Fehler und komplexe Abfragen zu verarbeiten.
• Modelloptimierung basierend auf Benutzerinteraktionen.

Die gesamte Infrastruktur des Dienstes wird in der Cloud von gehostet Google Cloud Platform (GCP), insbesondere im Google Cloud-Rechenzentrum in Belgien, innerhalb des Europäischen Wirtschaftsraums (EWR). Dieser Standort gewährleistet die Einhaltung europäischer Datenschutz- und Sicherheitsvorschriften.

Der Chatbot verfügt über ein System, um die Meinung der Nutzer zu sammeln und die Zufriedenheit des gesamten Gesprächs beurteilen zu können.

Hauptmerkmale der Architektur:

• Sichere und zertifizierte Unterkunft:
  • GCP-Installationen entsprechen den Sicherheitsstandards ISO 27001 i SOC 2/3, um eine robuste und zuverlässige Infrastruktur zu gewährleisten.
  • Sämtliche Infrastruktur des Anbieters, 1MillionBot, einschließlich Webchat, der Millie-Plattform (Frontend) sowie Logik und Daten (Backend), wird in dieser Umgebung gehostet.
• Isolierung nach Anwendungsfällen:
  • Jeder Anwendungsfall des Dienstes ist in einem bestimmten Netzwerk und einer bestimmten Entwicklungsumgebung isoliert, wodurch Interferenzen zwischen Anwendungen vermieden und die Sicherheit maximiert werden.
• Geschützte Lagerung:
  • Konversationsfragen und -antworten werden in Datenbanken gespeichert, die auf virtuellen Google Cloud-Maschinen gehostet werden, die durch erweiterte Firewalls und Isolationsmechanismen geschützt sind.
  • Der Zugriff auf diese Daten erfolgt ausschließlich über das Backend, wodurch eine strenge Kontrolle gewährleistet ist.
• Schutz vor Angriffen:
  • Das System umfasst mehrere Sicherheitsebenen, wie zum Beispiel:
    • Begrenzer anfordern um Überlastungen vorzubeugen.
    • Strenge Validierungen von Daten und Zugriff.
    • Spezialisierte Firewalls zum Schutz der Infrastruktur.

Diese Architektur gewährleistet die Robustheit, Sicherheit und Anpassungsfähigkeit, die erforderlich sind, um den Benutzern einen qualitativ hochwertigen Service anzubieten.

Algorithmusleistung 

91,33 % Erfolgsquote. Dieser Tarif wird monatlich überprüft (letzte Überprüfung: 15)

Menschliche Aufsicht 

Das algorithmische System des Chatbots agiert direkt, steht aber unter Ex-post-Überwachung des Personals, das für die endgültige Entscheidung verantwortlich ist, insbesondere in der Anfangsphase des Betriebs intensiviert, um Algorithmenverzerrungen auszugleichen und falsche Antworten zu reduzieren. Chatbot-Antworten sind festgelegt und können nicht geändert werden.

Die menschliche Überwachung von Chatbots gewährleistet die Qualität und Genauigkeit der Antworten durch einen strengen und regelmäßigen Prozess:

1. Wöchentliche Rezensionen: Experten überprüfen Chatprotokolle, um falsche Antworten zu identifizieren. Für jeden erkannten Fehler wird die ideale Antwort notiert und Benutzersätze mit der falschen Antwort werden neu klassifiziert und dem am besten geeigneten generativen Versuch zugeordnet.
2. Monatliche Analyse: 150 zufällig ausgewählte und bereits als fehlerhaft identifizierte Gespräche werden ausgewertet, um Fehlermuster zu erkennen und unangemessene Antworten zu korrigieren.
3. Versuchsmanagement: Wenn Fehler nicht durch einfache Neuklassifizierung von Sätzen behoben werden können, passen Experten die Eingabeaufforderungen bestehender Versuche an oder erstellen neue Versuche.

Dieser Prozess kombiniert die traditionelle Methodik von Chatbots mit der Flexibilität generativer KI und garantiert so ein agiles Management und einen zuverlässigen Service, der auf die Bedürfnisse der Benutzer abgestimmt ist.

Einhaltung gesetzlicher Vorschriften des Systems

Das System verarbeitet keine personenbezogenen Daten. Dennoch entspricht das System den aktuellen Vorschriften zum Datenschutz und zur Datensicherheit. Insbesondere:

• Es gelten die Grundsätze der Datenschutz-Grundverordnung (DSGVO):
  • Grundsatz der Datenminimierung: Es werden nur die Daten erhoben, die zur Erfüllung des Systemzwecks erforderlich sind.
  • Grundsatz der Zweckbindung: Die erhobenen Daten werden ausschließlich zu dem dem Interessenten mitgeteilten Zweck verwendet.

• Aus technischer Sicht entspricht die Lösung den Anforderungen des National Security Scheme (ENS) für LOW-Level-Systeme.

✨Freiwillige Anwendung von Verordnung der Europäischen Union über künstliche Intelligenz (KI-Verordnung) [3]

Das System entspricht den Anforderungen der KI-Verordnung im Fall von Risiko-KI-Systeme begrenzt i generative KI-Modelle ohne systemisches Risiko. Deshalb:

• Benutzer werden von Anfang an darüber informiert, dass sie mit einer KI interagieren. Aus diesem Grund wird der Dienst als „AOC Virtual Assistant“ und nicht mit einem persönlichen Namen dargestellt.

• Als generative KI, AOC-Chatbots erfüllen außerdem die folgenden Anforderungen:
  • Es zeigt sich, dass die Inhalte durch KI generiert werden.
  • Eine Zusammenfassung der Trainingsdaten wird veröffentlicht.
  • Informationen zum KI-Modell werden in klarer und verständlicher Sprache bereitgestellt.
    Die letzten beiden Punkte werden mit diesem algorithmischen Transparenzblatt erfüllt.
• Diese Chatbots unterliegen nicht den Anforderungen für generative KI mit systemischem Risiko. Das bedeutet, dass keine Modellbewertungen oder widersprüchlichen Tests bestanden werden müssen und auch keine Berichterstattung über Energieeffizienz erforderlich ist.

es ist ein Automatisierte Verwaltungsmaßnahmen (AAA)? Nein.

In diesem Fall unterliegt das AOC nicht der gesetzlichen Verpflichtung, die mit dem Dienst verknüpfte AAA zusammen mit einem technischen Dossier auf seiner Website zu veröffentlichen (siehe Artikel 11, Buchstabe i des Königlichen Erlasses 203/2021, mit dem die Verordnung über den Dienst genehmigt wird). Leistung und Betrieb des öffentlichen Sektors auf elektronischem Wege, wodurch das Gesetz 40/2015 über die Rechtsordnung des öffentlichen Sektors umgesetzt wird)

Risikomanagement 

Kennen Sie die wahrscheinlichere Risiken in Bezug auf die Grundprinzipien und Rechte die es zu schützen gilt, und die jeweils getroffenen Maßnahmen zu deren Abschwächung bzw. Minimierung.

A. Gleichheit und Nichtdiskriminierung

• Identifizierte Risiken: Verzerrungen in den Ergebnissen, Risiko der Ausgrenzung und Diskriminierung.
  • Das LLM-Modell der GPT-4o-Engine, das die Grundlage der AOC-Chatbots bildet, wird mit großen Datenmengen aus dem Internet vortrainiert. Diese Daten umfassen eine Vielzahl von Informationen und können unter anderem Vorurteile in Bezug auf Geschlecht, ethnische Herkunft und Sprache enthalten. Dadurch kann das System in den Trainingsdaten vorhandene Unterscheidungsmuster reproduzieren. Darüber hinaus ist es aufgrund der Komplexität neuronaler Netze schwierig, diese Verzerrungen zu erkennen und zu verhindern.
  • Andererseits gehört Katalanisch nicht zu den Hauptsprachen, die im Modelltraining verwendet werden. Dies kann zu Antworten führen, bei denen überwiegend männliche Formen und weniger sprachliche Vielfalt verwendet werden, was sich auf die Inklusivität und den Reichtum der Interaktionen in dieser Sprache auswirkt.
• Angewendete Maßnahmen
  • Repräsentative Trainingsdaten: Die für das abschließende Training und die Feinabstimmung des Chatbots verwendeten Daten wurden sorgfältig ausgewählt, um verschiedene Bevölkerungsgruppen einzubeziehen und explizite Verzerrungen zu vermeiden, um sicherzustellen, dass die Antworten so repräsentativ und fair wie möglich sind.
  • Gleichheit beim sprachlichen Zugang: Der Dienst kann auf Katalanisch und Spanisch genutzt werden, mit der Möglichkeit, die Sprache zu Beginn des Gesprächs auszuwählen oder während der Nutzung zu ändern. Dadurch können alle Benutzer mit dem System in der von ihnen bevorzugten Sprache interagieren.
    • Derzeit fragt der Chatbot den Benutzer, in welcher Sprache er bedient werden möchte, da dies die Genauigkeit der Antworten verbessert. Es werden jedoch Tests durchgeführt, um die Leistung zu bewerten, ohne dass die Sprache gefragt werden muss.
  • Tolerante Interpretation der Sprache: Das System ist darauf ausgelegt, natürliche Sprache auch bei Rechtschreib- oder Sprachfehlern zu verstehen und sicherzustellen, dass Benutzer nicht für kleine Fehler in ihren Abfragen bestraft werden.
  • Inklusion und Vielfalt im Design: Arbeitete an einer Chatbot-Schnittstelle, die von jedem unabhängig von seinem digitalen Kenntnisstand einfach genutzt werden kann, um sicherzustellen, dass jeder ohne technologische Barrieren auf den Service zugreifen kann.

B. Datenschutz, Privatsphäre und Wahlfreiheit

• Identifizierte Risiken: mögliche Gefährdung der Privatsphäre, Missbrauch personenbezogener Daten durch Dritte und Verlust der Wahlfreiheit.
  • Der Dienst fragt niemals nach personenbezogenen Daten. Allerdings birgt der Dienst ein Risiko im Zusammenhang mit der Verarbeitung personenbezogener Daten, wenn der Nutzer unnötige personenbezogene Daten eingibt.
• Angewendete Maßnahmen
  • Zum Schutz von Daten und Privatsphäre:
    • Der Anbieter (1MillionBot) hat einen Verarbeitungsauftrag mit dem Standort der Daten innerhalb der Europäischen Union unterzeichnet.
    • Der Datenverantwortliche (AOC) garantiert die ARCO-Rechte (Zugriff, Berichtigung, Löschung und Widerspruch) der verarbeiteten Daten.
    • Einwilligung und Cookies werden verwaltet.
    • Die Gesprächsprotokolle werden regelmäßig von Experten überprüft, die alle vom System nicht erfassten personenbezogenen Daten entfernen.
    • In der nächsten Version wird eine Funktion implementiert, die automatisch alle im Chat eingegebenen Sozialversicherungsnummern oder E-Mails löscht, und der Benutzer kann beantragen, dass seine Konversation aus dem System entfernt wird.
    • Der Benutzer wird darüber informiert, dass die Konversation gespeichert wird. Wenn Sie nicht einverstanden sind, können Sie nicht fortfahren.
    • Die Benutzerperson kann die Konversationen löschen.
  • Wahlfreiheit garantieren:
    • Wir bieten Alternativen, um Bürgern ohne den Einsatz von KI-Algorithmen zu helfen, wie zum Beispiel Telefon- und E-Mail-Support. Wenn der Benutzer ausdrücklich nach „Support kontaktieren“, „mit einem Agenten sprechen“, „Ich möchte mehr Support“ oder ähnliches fragt, leitet der Bot automatisch zu den Kontaktseiten des AOC-Supports weiter. Darüber hinaus befindet sich der Chatbot innerhalb der AOC-Supportportale selbst, wo Sie auch direkt über die Fußzeile auf die Option „Support kontaktieren“ zugreifen können.

C. Sicherheit und Robustheit

• Identifizierte Risiken: Verbreitung falscher Informationen, Fehler und Inkonsistenzen in den Antworten, Nichtverfügbarkeit des Dienstes und unbefugter Zugriff auf Daten.
  • Modelle, die auf neuronalen Netzen und probabilistischen Berechnungen basieren, erschweren die Interpretation, wie das Endergebnis zustande kommt, was die Kontrolle über die generierten Antworten einschränkt. Darüber hinaus kann die Natur der generativen KI gelegentlich dazu führen, dass das System Informationen bezieht, die über seine spezifische Wissensbasis hinausgehen, einschließlich nicht überprüfter externer Quellen oder Daten, was zu Antworten außerhalb des Kontexts oder zu Themen führen kann, die nicht zu ihrem Fachgebiet gehören .
  • Um diese Risiken zu mindern, muss die KI-Engine in einer kontrollierten und geschützten Umgebung mit strenger Konfiguration und Sicherheit installiert werden, um Schutz und Dienstintegrität zu gewährleisten.
• Angewendete Maßnahmen
  • Das System wurde in einer geschlossenen und sicheren Umgebung installiert, basierend auf einer zertifizierten Architektur (siehe die Hauptmerkmale der Architektur). Diese Konfiguration gewährleistet:
    • Robustheit und Zuverlässigkeit, die den korrekten Betrieb des Systems gewährleisten.
    • Sicherheit und Vertraulichkeit verwalteter Daten.
    • Anpassungsfähigkeit, um qualitativ hochwertige Antworten anzubieten, die auf die Bedürfnisse der Benutzer abgestimmt sind.
  • Sicherheitsrisikoanalyse: Die AOC hat eine Sicherheitsbewertung gemäß den Richtlinien der katalanischen Cybersicherheitsagentur und des Nationalen Sicherheitssystems (ENS) durchgeführt. Dem System wurde die Sicherheitsstufe NIEDRIG zugeordnet und entsprechend dieser Kategorisierung wurden spezifische Maßnahmen zur Minderung der festgestellten Risiken implementiert. Insbesondere um sicherzustellen, dass die Verfügbarkeit und korrekter Betrieb des Systems:
    • Mit dem Lieferanten wurden Service Level Agreements (SLAs) vereinbart, die regelmäßig eingehalten und überprüft werden müssen, um die Systemkapazität, Verfügbarkeit und das Vorfallmanagement sicherzustellen.
    • Um sicherzustellen, dass der Dienst die vereinbarten Standards einhält, werden alle zwei Wochen ANS-Konformitätsberichte erstellt.
  • Um das Recht auf a zu gewährleisten wahrheitsgemäße und angemessene Informationen: Protokolle werden angewendet, um das System zu überprüfen, Fehler und Inkonsistenzen zu minimieren und die Qualität der Antworten zu verbessern. Um außerdem sicherzustellen, dass Antworten innerhalb des Kompetenzbereichs des Chatbots erfolgen:
    • Schlüsselwort- und Themenfilter wurden implementiert (z. B. Meldebescheinigung, Bußgeldzahlung, Voranmeldung in der Schule, etc.). Diese Filter generieren „Versuche außerhalb des Katalogs“, mit denen der Chatbot mitteilt, dass er keine Informationen zum Thema hat und empfiehlt, sich an die zuständige Verwaltung zu wenden.
    • Das Modell wird ausschließlich auf Daten aus dem AOC-Bereich trainiert, um so weit wie möglich sicherzustellen, dass die Informationen relevant und zweckmäßig sind.

D. Transparenz und Erklärbarkeit

• Identifizierte Risiken: Misstrauen, Fehlinterpretation der Ergebnisse durch Benutzer (Unfähigkeit, das Ergebnis zu verstehen), Verwirrung bei der Annahme, dass es sich um eine Interaktion mit einem Menschen handelt, Schwierigkeiten beim Einreichen von Beschwerden oder Anfragen zu den erzielten Ergebnissen
• Angewendete Maßnahmen
  • Eindeutige Identifizierung als KI: Der Dienst wird von Anfang an als „virtueller Assistent“ präsentiert, um Verwirrung über die Art der Interaktion zu vermeiden.
  • Einwilligung des Nutzers: Die Nutzer werden darüber informiert, dass die Konversation gespeichert wird, sodass sie entscheiden können, ob sie sie fortsetzen möchten.
  • Algorithmisches Transparenzblatt: Es wird auf der AOC-Website veröffentlicht und enthält Informationen zu:
    • Zu lösendes Problem
    • Mit dem implementierten KI-System
    • Zielgruppe
    • Daten, die zum Trainieren des KI-Systems verwendet werden
    • Identität und Kontaktdaten des Lieferanten
    • Verantwortliche Stelle und Kontaktadresse für Beschwerden, Anfragen und Anregungen
  • Einfacher Zugriff auf das Blatt: Das Transparenzblatt kann auf der Homepage des Dienstes eingesehen werden.

E. Aufbewahrung von Konten und Prüfbarkeit

• Identifizierte Risiken: Einschränkungen bei der Nachvollziehbarkeit der Ergebnisse, fehlende regelmäßige Überprüfung und Überprüfung, Schwierigkeiten bei der Interpretation des Modells selbst durch Spezialisten, fehlende zugewiesene Verantwortung.
  • Die Risiken, die mit der Verantwortlichkeit und Überprüfbarkeit generativer KI-Chatbots verbunden sind, können die Zuverlässigkeit des Systems gefährden, wenn es keine Möglichkeit gibt, den Antwortgenerierungsprozess genau zu verfolgen, die Qualität regelmäßig zu überprüfen und sicherzustellen, dass der Vorgang selbst für Spezialisten verständlich ist. Diese Faktoren erschweren eine ordnungsgemäße Überwachung des Dienstes und erschweren die Zuweisung von Verantwortung für Fehler oder unfaire Entscheidungen, die das Vertrauen in den öffentlichen Dienst beeinträchtigen können.
• Angewendete Maßnahmen
  • Um die Verantwortlichkeit des KI-Systems und seiner Ergebnisse sicherzustellen:
    • Qualitäts- und Wirkungsüberwachung: Es werden alle zwei Wochen Berichte mit Qualitäts- und Wirkungsindikatoren erstellt, um zu beurteilen, ob der Dienst die festgelegten Ziele erreicht.
  • Um die Verantwortung für das System und seine Ergebnisse zu gewährleisten:
    • Es wird darüber informiert, wer für den Dienst (AOC) verantwortlich ist und wie bei nachteiligen Auswirkungen eine Beschwerde einzureichen ist.
  • Um die Überprüfbarkeit sicherzustellen:
    • Das AOC behält sich das Recht vor, jederzeit zusätzliche Audits zur Überprüfung von Qualitätsindikatoren und Service Level Agreements (SLAs) durchzuführen und so eine kontinuierliche Überwachung der Systemzuverlässigkeit sicherzustellen.

F. Nachhaltige Entwicklung und Solidarität

• Identifizierte Risiken: negative Auswirkungen auf die Umwelt, Ungleichheiten beim Zugang zu dieser Technologie aufgrund ihrer hohen Kosten.
  • Der Einsatz von Chatbots mit generativer KI stellt erhebliche Herausforderungen hinsichtlich Nachhaltigkeit und Gerechtigkeit dar. Einerseits sind die Auswirkungen auf die Umwelt hoch, da für die Datenverarbeitung und -speicherung große Rechenressourcen erforderlich sind, was einen hohen Energieverbrauch und CO₂-Emissionen mit sich bringt. Andererseits sind die Implementierungs- und Wartungskosten erheblich, was den Zugriff auf diese Technologie auf Organisationen mit größeren Ressourcen beschränken kann.
• Angewendete Maßnahmen
  • Abstimmung und Optimierung des Chatbot-Trainings maximale Effizienz zu erreichen. Studien zeigen, dass eine ChatGPT-Abfrage zehn Google-Suchanfragen entsprechen kann; Daher könnten die hohen Energiekosten der generativen KI im Falle einer Bestätigung durch ihre höhere Wirksamkeit im Vergleich zu billigeren Methoden ausgeglichen werden.
  • Förderung der Transparenz bei den Nutzungskosten zu einem verantwortungsvolleren Umgang mit dieser Technologie beizutragen.
  • Förderung der Übertragbarkeit: Das AOC arbeitet daran, den Chatbot den katalanischen Kommunalverwaltungen als schlüsselfertigen Dienst anzubieten und so einen gerechten Zugang zu dieser Technologie zu ermöglichen. Diese Reproduzierbarkeitsstrategie ermöglicht die Einführung fortschrittlicher generativer KI ohne große Investitionen.

Weitere Informationen

• Artikel "Generative KI und ChatGPT. Auswirkungen auf das universitäre Lernen". Von Climent Nadeu Camprubí. Abteilung für Signal- und Kommunikationstheorie (TSC). TALP- und IDEAI-Forschungszentren. Polytechnische Universität Katalonien (UPC).

[1] Un Absicht bezieht sich auf die Absicht oder den Zweck, den die Benutzerperson hat, wenn sie dem Chatbot eine Frage stellt oder eine Anfrage stellt. Mithilfe von Versuchen lässt sich ermitteln, was die Person erreichen möchte, beispielsweise bestimmte Informationen erhalten, ein Problem lösen oder einen Prozess abschließen. Bei herkömmlichen Chatbots müssen Versuche vordefiniert und manuell trainiert werden, damit der Chatbot sie erkennen und die entsprechende Antwort geben kann. Im Gegensatz dazu können Chatbots mit generativer KI Versuche flexibler identifizieren und interpretieren, indem sie Echtzeitantworten basierend auf dem Konversationskontext generieren, ohne dass im Vorfeld eine umfassende Klassifizierung der Versuche erforderlich ist. Dadurch wird die Interaktion natürlicher und an die Bedürfnisse des Benutzers angepasst.

[2] Einige der Hauptfunktionen des generative künstliche Intelligenz-Engine sind:

• Identifizieren und korrigieren Sie Tipp- und Rechtschreibfehler, um die Kommunikation zu verbessern.
• Erkennt die Absicht einer Nachricht, auch bei mehrdeutigen Sätzen oder mehreren Bedeutungen.
• Behält das Kurzzeitgedächtnis bei, um Fragen zu verbinden und konsistente Antworten sicherzustellen.
• Es bewertet mögliche Antworten, wählt die beste aus und bietet Vorschläge für klarere Gespräche.
• Es passt sich an mehrere Sprachen an (Katalanisch, Spanisch, Englisch) und erkennt Slang und Emojis.

[3] El Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Regeln für künstliche Intelligenz und zur Änderung bestimmter Rechtsakte der Union (besser bekannt als EU-Gesetz über künstliche Intelligenz oder AI Act) trat am 2. August 2024 in Kraft und gilt ab dem 2. August 2026.