Auf dem Höhepunkt der künstlichen Intelligenz kann die Implementierung eines Chatbots mit generativer KI der Schlüssel zur Verbesserung der Effizienz und der Zufriedenheit der Bürger gegenüber der öffentlichen Verwaltung sein. Diese Chatbots bieten die Möglichkeit, die Betreuung von Bürgern und Unternehmen zu optimieren, Anfragen effizient zu lösen und ein personalisiertes und kontinuierliches Erlebnis zu bieten.

Um jedoch eine korrekte Umsetzung zu gewährleisten, ist es notwendig, eine Reihe bewährter Praktiken zu befolgen, die die Kompatibilität mit vorhandenen Systemen, die Einhaltung gesetzlicher Vorschriften und die Qualität der Antworten sicherstellen.

Dieser Leitfaden bietet praktische Empfehlungen zur Implementierung eines Chatbots mit generativer KI, basierend auf unseren Erfahrungen bei der Erstellung eines Chatbots mit generativer KI. [1], von der Auswahl der geeigneten Technologie bis hin zu deren Optimierung und Wartung. Darüber hinaus werden grundlegende Aspekte wie Sicherheit, Datenschutz und kontinuierliche Überwachung behandelt, um eine ständige Weiterentwicklung des Systems zu gewährleisten.

Ziel dieses Leitfadens ist es, öffentlichen Verwaltungen die Bereitstellung von Chatbots zu ermöglichen, die nicht nur auf aktuelle Bedürfnisse reagieren, sondern sich auch weiterentwickeln und an zukünftige Anforderungen anpassen können.

In diesem Sinne stellen wir dieses Handbuch als Ausgangspunkt für die Erstellung eines Chatbots mit generativer KI basierend auf unseren Erfahrungen vor. Auch wir am AOC erforschen diese Technologie derzeit und das bedeutet, dass es möglicherweise viele Aspekte gibt, die verbessert werden können, und dass es unterschiedliche Ansätze für die Entwicklung eines Chatbots gibt.

Darüber hinaus muss berücksichtigt werden, dass sich die Technologie ständig weiterentwickelt, sodass sich sowohl kurzfristig als auch langfristig immer neue Verbesserungsmöglichkeiten ergeben. Aus diesem Grund muss berücksichtigt werden, dass es sich bei diesem Leitfaden um einen dynamischen Leitfaden handelt, der aktualisiert wird, sobald die AOC über mehr Wissen und Erfahrung in dieser Angelegenheit verfügt.

Um die Umsetzung des aktuellen Chatbots erklären zu können, ist vor allem ein Blick auf die Chatbots wichtig, die wir vom AOC aus zur Unterstützung der Bürgerinnen und Bürger im Einsatz hatten.

Im Jahr 2020 setzte die AOC auf das Unternehmen 1millionbot [2] um einen ersten Versuch zur Implementierung herkömmlicher Chatbots zu unternehmen. Im Jahr 2021 wurde der Vertrag AOC-2021-99 vergeben: Virtueller Konversationsassistenzdienst (Chatbot) [3] mit dem Ziel, einen Chatbot-Dienst bereitzustellen, der die Informationsabfrage und Verarbeitungsprozesse im Zusammenhang mit AOC-Diensten erleichtert.

Schließlich wurden in den Monaten Mai/Juni 2021 zwei virtuelle Assistenten für die idCAT-Staatsbürgerschaftsdienste, Certificat und VÀLid, in Produktion genommen, die in den Jahren 50.000 und 2022 durchschnittlich 2023 Nutzer pro Jahr erreichten.

Trotz dieser Zahlen hatten diese Chatbots gewisse Mängel:

• Die Antwortabsichten dieser Chatbots waren sehr starr und unflexibel und ließen keine Anpassung an die Antworten des Benutzers zu.
• Geringe Anpassungsfähigkeit an neue Probleme der Bürger, was letztlich zu einer übermäßigen Bibliothek von Absichten führt.
• Für jeden Dienst (bei den Diensten mit dem höchsten Volumen) war ein Chatbot erforderlich, was einen sehr kostspieligen Wartungsaufwand verursachte.
• Kostspieliges Training, um Benutzerreaktionen von einer Absicht zur anderen abzuleiten.
• Übermäßiger Stundenaufwand für das Training der Chatbots aufgrund der Tatsache, dass die beiden Bots separat und jeder mit seinen beiden entsprechenden Sprachen (Katalanisch und Spanisch) trainiert werden mussten.
• Der Kontext der Gespräche wurde nicht beibehalten, was bedeutet, dass jede Interaktion mit dem Benutzer für den Bot ein neues „Gespräch“ war.

Diese Schwierigkeiten und Mängel sowie die explosionsartige Entwicklung der künstlichen Intelligenz im letzten Jahr veranlassten die AOC dazu, 1millionbot mit der Arbeit an einem KI-Chatbot zu beauftragen.

Um eine effektive Implementierung eines Chatbots mit generativer KI zu gewährleisten, ist es wichtig, eine Lösung auszuwählen, die zu den unmittelbaren Zielen der Organisation passt und gleichzeitig eine langfristige Weiterentwicklung und Skalierbarkeit ermöglicht.

In diesem Fall kann der vom AOC ausgewählte Chatbot eine große Anzahl von Anfragen gleichzeitig verarbeiten und lässt sich problemlos in die von der Organisation bereitgestellten Dienste integrieren.

Dieser Chatbot wird mithilfe des Google Tag Managers in die Unternehmenswebseiten von AOC integriert und speziell auf Supportseiten und -diensten eingesetzt, wo er über das erforderliche Wissen verfügt, um den Benutzern Antworten zu geben. Es ist derzeit verfügbar unter:

• IdCAT-Zertifikat: https://idcat.cat/ i https://suport-idcat.aoc.cat/hc/ca
• Mobiles IDCAT: https://idcatmobil.cat/ i https://suport-idcatmobil.aoc.cat/hc/ca
• e-NOTUM: https://usuari.enotum.cat/ i https://suport-enotum-ciutadania.aoc.cat/hc/ca
• Es repräsentiert: https://representa.cat/ i https://suport-representa-ciutadania.aoc.cat/hc/ca
• e-FAKT: https://efact.aoc.cat/bustia/home.htm i https://suport-efact-empreses.aoc.cat/hc/ca

Abbildung 1 Standort des Chatbots in den AOC-Diensten

3.1 Bewertung der Bedürfnisse der Organisation

Vor der Auswahl einer künstlichen Intelligenzlösung ist eine gründliche Bewertung der Anforderungen der Organisation unerlässlich.

Dieser Prozess sollte folgende zentrale Fragen und Aspekte beinhalten:

Ziele und Anforderungen für Chatbots

• • Welche Hauptziele möchten Sie mit der Implementierung des Chatbots erreichen? (Bürgerservice verbessern, Teamaufwand reduzieren, interne Prozesse automatisieren etc.)
  • Welche aktuellen Probleme könnten mit dieser Technologie gelöst werden?
  • Welche Auswirkungen wird der Chatbot voraussichtlich auf die Betriebsabläufe und die Strategie des Unternehmens haben?

Zielgruppe und Anwendungsfall

• Wer sind die Hauptnutzer des Chatbots? (Bürger, Unternehmen, interne Benutzer der Organisation usw.).
• In welche Kanäle würde dieser Chatbot integriert werden? (Website, mobile Anwendung, Messaging-Plattformen wie WhatsApp oder Telegram usw.).
• Welche Art von Anfragen muss der Chatbot bearbeiten? (häufige und wiederholte Anfragen, spezialisierter technischer Support usw.).
• Welches Budget kann für diese Lösung eingeplant werden? Dabei ist zu berücksichtigen, dass sowohl für die Umsetzung als auch für den Erhalt ein Budget zur Verfügung stehen muss.
• Welche möglichen Einschränkungen oder Risiken sind mit der Implementierung des Chatbots verbunden? Zu den zu berücksichtigenden Risiken zählen unter anderem Sicherheit und Einhaltung des Datenschutzes.
• Über welche Ressourcen verfügt die Organisation? Es muss sichergestellt werden, dass für die Lösung ausreichend Personalressourcen zur Verfügung stehen, um sie nicht nur zu implementieren, sondern auch effektiv zu warten. Trainingsempfehlungen finden Sie in den Punkten 6 und 7 dieses Leitfadens.

3.2 Skalierbarkeit und Flexibilität

Es ist wichtig, dass die KI-Lösung skalierbar und flexibel ist, um sich an die sich ändernden Anforderungen der Organisation anzupassen. Dies setzt die Fähigkeit voraus, eine Zunahme des Anfragevolumens zu bestimmten Jahreszeiten (z. B. während der Beantragung von Beihilfen oder Subventionen) zu bewältigen, ohne die Systemleistung zu beeinträchtigen.

Wichtig ist auch, dass die Lösung das Hinzufügen neuer Funktionen und Verbesserungen ermöglicht, während das Unternehmen wächst und sich weiterentwickelt. Aus diesem Grund ist es wichtig, nicht nur über die erforderlichen internen Ressourcen, sondern auch über fachkundige Wartungsunterstützung für den Bot selbst zu verfügen.

3.3 Einhaltung von Sicherheits- und Datenschutzvorschriften

Sicherheit und Datenschutz sind kritische Aspekte bei der Implementierung eines Chatbots mit generativer KI. Die gewählte Lösung muss den aktuellen Vorschriften zur Informationssicherheit und zum Datenschutz entsprechen, etwa der Datenschutz-Grundverordnung (DSGVO) der Europäischen Union. Hierzu gehören:

• Gewährleistung der Vertraulichkeit, Integrität und Verfügbarkeit von Daten
• Implementieren Sie geeignete Sicherheitsmaßnahmen, um unbefugten Zugriff und Cyberangriffe zu verhindern
• Anonymisierung personenbezogener Daten
• Einrichtung einer Gesprächsaufbewahrungsfrist zur Verbesserung des Dienstes.

Nach der Auswahl der KI-Lösung muss unbedingt bewertet werden, ob sie die technischen und betrieblichen Anforderungen erfüllt, die für ihre Implementierung und spätere Skalierbarkeit erforderlich sind. Dieses System muss einen kontinuierlichen Betrieb gewährleisten, rund um die Uhr Support bieten und eine hohe Reaktionsrate aufrechterhalten.

4.1 Leistungs- und Kapazitätstests

Vor der endgültigen Implementierung wird empfohlen, Folgendes durchzuführen:

• Leistungs- und Kapazitätstests, um sicherzustellen, dass der Chatbot das erwartete Anfragevolumen problemlos bewältigen kann.
• Lastsimulationen dienen der Bewertung des Verhaltens des Systems unter verschiedenen Verkehrsbedingungen, um mögliche Engpässe oder Schwachstellen zu vermeiden.

4.2 Pilotversuche

Pilottests sind unerlässlich, um die Leistung des Chatbots in einer kontrollierten Umgebung zu bewerten, bevor er vollständig implementiert wird oder wenn Sie einen ganz neuen Dienst anbieten möchten.

Diese Tests ermöglichen es uns, mögliche Probleme zu erkennen und das System anzupassen, um seine Funktionalität zu verbessern.

Im Falle des AOC können Pilottests Folgendes umfassen:

• Die Simulation unterschiedlicher Nutzungsszenarien.
• Die Handlungsvariante desselben Vorfalls.
• Analysieren Sie die Ergebnisse, um die erforderlichen Anpassungen vorzunehmen.

 

4.2 Sichere und zuverlässige Infrastruktur

Um die korrekte Verfügbarkeit und Sicherheit des Bots zu gewährleisten, muss die Service-Infrastruktur auf sicheren und zuverlässigen Servern innerhalb des Europäischen Wirtschaftsraums gehostet werden, um den Datenschutz- und Sicherheitsvorschriften zu entsprechen.

Gleichzeitig muss für eine gute Sicherheit dieses virtuellen Agenten die Nutzung zertifizierter Rechenzentren und die Durchführung regelmäßiger Backups erforderlich sein, um Datenverlusten bei Zwischenfällen vorzubeugen.

5.1 Anweisungen

Um einen optimalen Betrieb zu gewährleisten, muss der Chatbot über eine Reihe klarer Anweisungen verfügen, die das KI-Modell bei seinen Interaktionen mit Benutzern leiten. Diese Anweisungen sollten spezifische Richtlinien zur Strukturierung der Antworten und zur Priorisierung relevanter Informationen enthalten.

Wie in der Abbildung zu sehen ist, ist es sehr wichtig, dass die Anweisungen dazu dienen, die Handhabung komplexer Anfragen zu erklären, um Konflikte und Verwirrungen bei den Bürgern zu vermeiden.

Abbildung 3 AOC AI Chatbot Anleitung

Diese Anweisungen müssen regelmäßig überprüft und aktualisiert werden, nicht nur um sicherzustellen, dass sich der Chatbot an die neuen Bedürfnisse der Organisation anpasst, sondern auch um Fehler korrigieren und zukünftige Probleme vorhersehen zu können.

5.1.1 Aufbau der Antworten

Die Antworten des Chatbots müssen einer klaren und kohärenten Struktur folgen, um das Verständnis für die Benutzer zu erleichtern. Der Chatbot muss in der Lage sein:

• Verwenden Sie kurze und einfache Sätze.
• Teilen Sie die Informationen in Absätze oder Punkte auf, um das Lesen zu erleichtern.
• Verwenden Sie eine zugängliche Sprache.
• Vermeiden Sie Fachausdrücke oder komplexe Begriffe, die zu Verwirrung führen könnten.
• Geben Sie an, woher die Informationen stammen, damit die Bürger die Originalquelle einsehen können.

Abbildung 4 Beispiel für eine klare und schlüssige Struktur sowie die Übermittlung der Informationsquelle

Wie Sie im Beispiel sehen können, ist es sehr wichtig, dass der Chatbot bei sehr umfangreichen Informationen oder wenn er lediglich versucht, die Informationen zu erweitern, immer die ursprünglichen FAQs anhängt, da dies einen Mehrwert und eine zuverlässigere Antwort bietet.

5.2 Persönlichkeit

Der Chatbot muss eine ausgeprägte Persönlichkeit haben, die sich an die Bedürfnisse der Benutzer und vor allem an das institutionelle Image anpasst, das die Organisation vermitteln möchte. Ebenso gemäß Punkt 27 der europäischen Verordnung (EU) 2024/1689 [4], müssen diese künstlichen Intelligenzsysteme so entwickelt und eingesetzt werden, dass den Menschen, die sie verwenden, bewusst ist, dass sie mit einer KI kommunizieren oder interagieren.

Es ist wichtig, einen angemessenen Kommunikationston zu etablieren, der nahbar, natürlich und auf die Erwartungen der Benutzer abgestimmt ist.

Abbildung 5 AOC-Bot-Persönlichkeit

Dieser Bot muss Folgendes pflegen:

• Konsistenz in Sprache und Antwortstil, um ein reibungsloses und zufriedenstellendes Erlebnis zu bieten.
• Nicht nur die Verwendung angemessener Sprache, sondern auch die Fähigkeit, in Antworten Empathie auszudrücken,
• Geben Sie den Benutzern das Gefühl, gehört und geschätzt zu werden.
• Bieten Sie jederzeit an, das Gespräch fortzusetzen, falls der Bürger zusätzliche Informationen zu seiner Frage benötigt.

Abbildung 6 Beispiel für Informationen

 

Abbildung 7 Bieten Sie an, das Gespräch fortzusetzen und weitere Informationen bereitzustellen

5.2.1 Festlegung des Tonfalls und Anpassung des Chatbots

Der Tonfall des Bots sollte die Werte und die Kultur der Organisation widerspiegeln. Beispielsweise könnte ein Chatbot eines Finanzinstituts einen formelleren und professionelleren Ton anschlagen, während der Chatbot einer öffentlichen Verwaltung einen zugänglicheren und versöhnlicheren Ton bevorzugen könnte.

Um Vertrauen und Glaubwürdigkeit bei den Benutzern aufzubauen, ist es wichtig, dass der Tonfall bei allen Interaktionen einheitlich ist. Dieser Tonfall muss nicht nur stabil sein und alle Menschen gleich behandeln, sondern er muss sich auch an unterschiedliche Situationen anpassen können und immer eine positive und proaktive Haltung bewahren, selbst in Momenten des Konflikts oder der Unzufriedenheit seitens des Benutzers.

Der Chatbot muss sich an unterschiedliche Benutzertypen anpassen können und dabei Faktoren wie die folgenden berücksichtigen:

• Alter
• Der Stand des technologischen Wissens
• Persönliche Vorlieben
• Die Art der Dienstleistung/des Produkts, für das/den sie Hilfe benötigen

Um diese Anpassungsfähigkeit und letztendlich ein zufriedenstellenderes und relevanteres Benutzererlebnis zu erreichen, ist es wichtig, Antworten durch generative Absichten zu personalisieren.

Abbildung 8 Anpassung des Bots an eine Person mit geringen technologischen Kenntnissen

5.3 Wissensbibliothek

Das Wissen über Chatbots sollte auf einer Kombination aus zuverlässigen Quellen wie FAQs, Dokumentationsdatenbanken, aktuellen Informationssystemen und früheren Benutzervorfällen basieren. Diese Wissensbibliothek muss leicht zugänglich und navigierbar sein, damit der Chatbot die benötigten Informationen schnell und effizient finden kann.

Im Falle des AOC enthält die Wissensbibliothek des Chatbots folgende Informationen:

• Links zu allen FAQs im AOC-Supportportal.
• Anleitung zur Beantwortung komplexer Fragen
• Echte Benutzervorfälle im Frage/Antwort-Format

Die Vielfalt dieser Informationsquellen ermöglicht es dem Bot, umfassendere und fundiertere Antworten zu geben. Darüber hinaus trägt die Verwendung von Quellen auch dazu bei, sicherzustellen, dass der Chatbot auf ein breites Spektrum an Anfragen antworten und jederzeit aktuelle und genaue Informationen bereitstellen kann.

Abbildung 9 Benutzervorfall im Frage/Antwort-Format

 

Abbildung 10 Anleitung zur Beantwortung komplexer Fragen

Es ist wichtig, dass diese Wissensbibliothek ständig aktualisiert wird, um die Genauigkeit und Relevanz der Antworten sicherzustellen. Dies bedeutet:

• Überprüfen Sie regelmäßig Informationsquellen
• Einbindung neuer Inhalte, sobald diese erstellt oder geändert werden.
• Richten Sie einen Informationsvalidierungsprozess ein, um sicherzustellen, dass die verwendeten Daten korrekt und zuverlässig sind.

5.4 Generative Intentionen schaffen

Um eine flexible und effiziente Interpretation der Fragen der Benutzer zu gewährleisten, ist es wichtig, die Hauptabsichten des Chatbots genau zu definieren. Im Gegensatz zu herkömmlichen Chatbots muss ein Bot mit generativer KI in der Lage sein, unterschiedlich formulierte Anfragen zu verstehen und die Antwort dem Kontext anzupassen.

Das Erstellen einer generativen Absicht unterscheidet sich kaum vom Erstellen herkömmlicher Absichten. Der Hauptunterschied besteht darin, dass kleine Anweisungen hinzugefügt werden können, um den Bot zu einer persönlicheren Antwort zu führen.

Abbildung 12 Fehler bei der Generative Intent beim Zugriff auf eine Benachrichtigung

Wie im Bild zu sehen, werden zuerst einige Trainingsphrasen definiert (genau wie bei klassischen Absichten) und dann eine Reihe von Anweisungen geschrieben, damit der Bot eine generative Antwort generiert. Es ist zu beachten, dass KI die Generierung von Variationen der eingegebenen Trainingsphrase ermöglicht, ohne dass diese einzeln erstellt werden müssen.

Dies muss klar und präzise definiert sein, um eine korrekte Interpretation der Benutzeranfragen zu gewährleisten. Dazu müssen Sie die am häufigsten gestellten Fragen und gemeinsamen Bedürfnisse der Benutzer ermitteln und für jeden von ihnen spezifische Absichten entwickeln.

Um Abfragen außerhalb des Geltungsbereichs des Dienstes zu erkennen und zu verwalten, müssen Filter implementiert werden, um den Benutzern bei Bedarf alternative Empfehlungen bereitzustellen. Hierzu kann die Weiterleitung zu anderen Betreuungskanälen, das Vorschlagen zusätzlicher Ressourcen oder die Überweisung an einen menschlichen Mitarbeiter gehören, falls erforderlich. Darüber hinaus muss der Chatbot erkennen können, wenn eine Anfrage zu komplex ist, um automatisch gelöst zu werden.

Diese Absicht ist von zentraler Bedeutung, damit sich die Bürger über den Leistungsumfang und das Wissen des Chatbots im Klaren sind. Es ist wichtig, keine falschen Erwartungen zu wecken und deutlich zu machen, dass der Benutzer sich an die entsprechende Verwaltung wenden muss, und ihm stets weitere Informationen zu den Diensten des AOC anzubieten.

Abbildung 13 Absicht außerhalb des Geltungsbereichs des AOC und Vorschlag für zusätzliche Ressourcen

Es ist wichtig, Absichten regelmäßig zu überprüfen und zu aktualisieren, um sie an neue Bedürfnisse anzupassen. Dabei ist zu berücksichtigen, dass der Bot in der Lage sein muss, mehrere Absichten gleichzeitig im selben Gespräch zu verarbeiten und dabei stets schlüssige und relevante Antworten zu geben.

Und schließlich können Sie durch gut strukturierte und klare Absichten eine zufriedenstellendere Benutzererfahrung bieten und Frustrationen vermeiden.

5.4.1 Anpassungsfähigkeit und Flexibilität

Der Bot muss sich an unterschiedliche Formulierungen von Anfragen der Benutzer anpassen können. Dabei geht es um die Fähigkeit, Synonyme, grammatikalische Varianten und unterschiedliche Satzstrukturen zu erkennen.

Außerdem ist es wichtig, dass der Chatbot seine Antworten an den Gesprächskontext anpassen kann und jederzeit relevante und genaue Informationen bietet. Darüber hinaus muss es in der Lage sein, aus früheren Interaktionen zu lernen und seine Antworten an die spezifischen Vorlieben und Bedürfnisse jedes Benutzers anzupassen.

Abbildung 14 Beispiele für Flexibilität in Variationen und Satzstruktur

Abbildung 15 Beispiele für Flexibilität in Variationen und Satzstruktur

5.4.2 Alternative Aufmerksamkeitskanäle

Um eine ausschließliche Abhängigkeit von einem automatisierten System zu vermeiden, ist es wichtig, alternative Kanäle für eine personalisierte Betreuung anzubieten.

Auf diese Weise können Benutzer auf menschliche Unterstützung zugreifen, wenn der Chatbot keine angemessene Antwort geben kann oder eine detailliertere Betreuung erforderlich ist. Zu den alternativen Kanälen können Telefonsupport, E-Mail oder Live-Chat mit menschlichen Agenten gehören.

Abbildung 16 Alternative Kontaktkanäle anbieten

6.1 Datenschutz, Datenminimierung und Löschung

Der Chatbot muss eine Datenminimierung gewährleisten, also die Erfassung unnötiger persönlicher Informationen vermeiden. Um Datenschutzrisiken zu vermeiden, müssen alle Gespräche anonymisiert und nach einer festgelegten Zeit gelöscht werden.

Im Falle des AOC werden Gespräche nach 3 Monaten gelöscht, da davon ausgegangen wird, dass ausreichend Zeit für die Analyse der Antworten vergangen ist. Nutzer werden jederzeit transparent über die Datenerhebung und -verbesserung informiert.

Abbildung 17 Willkommensnachricht zur Datenverarbeitung

Datenminimierung ist ein grundlegender Grundsatz beim Schutz personenbezogener Daten. Der Chatbot darf nur die Informationen erfassen, die für die Bereitstellung des Dienstes unbedingt erforderlich sind. Die Erfassung sensibler oder unnötiger Daten ist zu vermeiden. Dadurch werden die mit dem Datenschutz verbundenen Risiken verringert und die geltenden Vorschriften eingehalten.

Um die Privatsphäre der Benutzer zu gewährleisten, müssen alle Gespräche anonymisiert werden, d. h. alle Informationen, die eine persönliche Identifizierung der Benutzer ermöglichen könnten, müssen entfernt werden.

Wenn der Benutzer im AOC auf Bürger- und Unternehmensebene beispielsweise personenbezogene Daten eingibt, teilt ihm der Chatbot mit, dass er vertrauliche Daten eingibt, da er versteht, dass diese Daten für die Durchführung des Verfahrens unerlässlich sind.

Das AOC arbeitet daran, Anonymisierungsmechanismen zu implementieren, wenn ein Benutzer persönliche Daten hinzufügt. Dies ist wichtig, da Gespräche drei Monate lang gespeichert werden und die Nichtspeicherung der vom Benutzer eingegebenen personenbezogenen Daten eine zusätzliche Sicherheitsebene darstellt.

 

Abbildung 18 Personenbezogene Daten Bürgeransicht

6.2 Datenschutz, Datenminimierung und Löschung

Um der KI-Verordnung der Europäischen Union zu entsprechen, muss der Chatbot eindeutig als virtueller Assistent erkennbar sein und transparente Informationen über seine Funktionsweise bereitstellen.

Durch die Veröffentlichung eines algorithmischen Transparenzblatts können Benutzer erfahren, welche Daten zum Trainieren des Systems verwendet wurden und welches KI-Modell verwendet wird. Ebenso muss sichergestellt werden, dass das System ohne menschliche Aufsicht keine Entscheidungen mit erheblichen Auswirkungen auf die Benutzer trifft.

6.2.2 Algorithmische Transparenz

Um das Vertrauen der Benutzer in das KI-System zu gewährleisten, empfiehlt und verteidigt die AOC vollständige technologische Transparenz durch unser algorithmisches Transparenzblatt. [5]. Es ist zu beachten, dass sich dieses Blatt ständig weiterentwickelt und aktualisiert wird, wenn es eine relevante Änderung am Chatbot gibt.

Diese Transparenz ist unabdingbar, um das Vertrauen der Benutzer in das KI-System sicherzustellen. Dabei geht es um die Bereitstellung detaillierter Informationen zur Funktionsweise des Chatbots, einschließlich der zum Trainieren des Modells verwendeten Daten und der eingesetzten Algorithmen.

Durch die Veröffentlichung eines algorithmischen Transparenzblatts können Benutzer verstehen, wie Entscheidungen getroffen werden und welche Faktoren die Antworten des Chatbots beeinflussen.

6.2.2 Menschliche Aufsicht

Dies impliziert die Einrichtung von Überprüfungs- und menschlichen Eingriffsmechanismen in Fällen, in denen die Entscheidungen des Chatbots wichtige Konsequenzen für die Benutzer haben können. Durch menschliche Aufsicht wird sichergestellt, dass Entscheidungen fair und ethisch sind und den Werten des Unternehmens entsprechen.

Um der KI-Verordnung der Europäischen Union zu entsprechen, muss sichergestellt werden, dass der Chatbot ohne menschliche Aufsicht keine Entscheidungen mit erheblichen Auswirkungen auf die Benutzer trifft.

Ein Chatbot mit generativer KI muss sich ständig weiterentwickeln, um die Qualität seiner Antworten zu verbessern und sich an neue Benutzeranforderungen anzupassen. Dies erfordert einen kontinuierlichen Überwachungsprozess, der Folgendes umfasst:

• Die Gesprächsübersicht
• Fehlermuster erkennen
• Die Optimierung generativer Absichten.
• Identifizieren Sie Verbesserungsbereiche und fügen Sie der Systemdatenbank neues Wissen hinzu.

7.1 Überprüfungsroutinen

7.1.1 Gespräche überprüfen

Es ist wichtig, die vom Chatbot generierten Konversationen regelmäßig zu überprüfen, um falsche Antworten, Inkonsistenzen oder Verständnisprobleme zu identifizieren. Diese Überprüfung muss die Analyse von Stichproben umfassen, um die Gesamtqualität der Dienstleistung sicherzustellen. Bei diesen Zufallsstichproben sollten folgende Faktoren berücksichtigt werden:

• Wochentag
• Uhrzeit
• Art der Dienstleistung
• Suche nach Konversationen anhand von Schlüsselwörtern

Der für diese Überprüfungen aufgewendete Zeitaufwand muss von den Ressourcen abhängen, die der Organisation zur Verfügung stehen. Im Falle des AOC wird etwa eine Stunde pro Tag für alles aufgewendet, was in Punkt 1 zu Überprüfungsroutinen beschrieben wird.

Es ist sehr wichtig, erkannte Fehler und implementierte Korrekturmaßnahmen zu dokumentieren, um die Leistung des Chatbots kontinuierlich zu verbessern.

7.1.2 Fehlerbildanalyse

Durch die Fehlermusteranalyse können Sie wiederkehrende Probleme in Chatbot-Antworten identifizieren und spezifische Lösungen zu deren Behebung entwickeln. Um diese Fehlermuster zu erkennen, ist es entscheidend, nach der Erkennung der fehlerhaften Konversation nach ihrem Schlüsselwort zu suchen und so andere Konversationen mit demselben Fehler zu identifizieren.

Auf diese Weise fällt es später viel leichter, die entsprechende generative Absicht anzupassen und neue Informationen in die Wissensbibliothek aufzunehmen.

7.1.3 Optimierung generativer Absichten und Einbeziehung neuen Wissens

Sobald die Fehlermuster erkannt wurden, ist es notwendig, die generativen Absichten zu optimieren, indem die Anweisungen jeder einzelnen angepasst werden, um sicherzustellen, dass sie wirksam auf eine große Vielfalt von Anfragen reagieren können.

Beispielsweise waren in der Absichtserklärung zur Erneuerung des idCAT-Zertifikats zunächst keine Links zu weiteren Informationen enthalten. Sobald der Fehler erkannt wurde, fügen Sie in den Absichtsanweisungen hinzu: „Immer mit Folgendem antworten: Wie erneuere ich das idCAT-Zertifikat?“ und wenn Sie den Bot erneut fragen, fügt er immer die Informationen aus den FAQ an.

Abbildung 19 Neue Informationen in die Bot-Anweisungen einfügen

Abbildung 20 Bot-Antwort mit Link zu den FAQ zur Erneuerung

Das Einbinden neuer Erkenntnisse in die Bibliothek des Chatbots ist ebenfalls wichtig, um dessen Relevanz und Genauigkeit aufrechtzuerhalten. Wenn beispielsweise auf einem der Support-Portale eine neue FAQ-Seite erstellt wird, ist es wichtig, die vorhandenen Informationen unter Einbeziehung dieser neuen Wissensquelle zu aktualisieren.

7.2 Aktivitätsüberwachung

7.2.1 Statistikerfassung

Die Überwachung der Chatbot-Aktivität ist der Schlüssel zum Verständnis seiner Verwendung und zur Erkennung möglicher Engpässe bei der Benutzerinteraktion. Durch das Sammeln von Statistiken zur Nutzungshäufigkeit, zur durchschnittlichen Gesprächsdauer, zum Prozentsatz erfolgreich gelöster Fragen und zu den am häufigsten gestellten Fragen können fundierte Entscheidungen zur Verbesserung des Systems getroffen werden. Mithilfe dieser Daten können auch die Zeiten mit der größten Nachfrage ermittelt und die Verfügbarkeit technologischer Ressourcen optimiert werden.

Abbildung 21 AOC-Chatbot-Statistikbildschirm

Diese Analysen ermöglichen es uns auch, Trends und Muster in der Nutzung des Bots zu erkennen, insbesondere bei den am häufigsten gestellten Fragen und Antworten sowie den Bereichen, in denen wir die größten Schwierigkeiten haben, angemessene Antworten zu geben.

7.3 Benutzerbewertungen

7.3.1 Zufriedenheitsumfragen und Bewertungssysteme

Entscheidend ist, dass dieser Bot bzw. die Organisation Mechanismen zur Auswertung der Benutzerreaktionen implementiert, etwa Zufriedenheitsumfragen oder Bewertungssysteme. Dies ermöglicht:

• Erhalten Sie einen objektiven Überblick über den Grad der Benutzerzufriedenheit
• Nehmen Sie Anpassungen am Betrieb des Bots vor
• Chatbot-Antworten schnell und einfach bewerten

Zufriedenheitsumfragen können Fragen zur Qualität der Antworten enthalten oder die Verwendung von Sternen, Punkten oder anderen Messwerten beinhalten, um den Grad der Zufriedenheit mit der erhaltenen Antwort anzugeben.

Um sicherzustellen, dass der Chatbot die Erwartungen der Organisation erfüllt, ist es notwendig, ein System zur kontinuierlichen Bewertung einzurichten. Hierzu gehört die Definition von Key Performance Indicators (KPIs) wie Erfolgsrate, Reaktionszeit und Reduzierung von Support-Tickets. Wichtig ist zudem, regelmäßige Vergleiche mit anderen Kundenservice-Kanälen anzustellen, um zu beurteilen, ob der Chatbot einen Mehrwert bietet.

Zu verschiedenen Zeitpunkten im Jahr können Pilottests durchgeführt werden, um mögliche Verbesserungen der Funktionalität zu ermitteln und sicherzustellen, dass das Benutzererlebnis stets zufriedenstellend ist.

Um diesen Prozess zu ergänzen, muss Folgendes erstellt werden:

• Eine Methode zur regelmäßigen Auswertung, bei der echte Benutzergespräche überprüft werden, um wiederkehrende Fehler zu erkennen.
• Analysieren Sie die Qualität der Antworten (Punkt 6 des Leitfadens).
• Implementieren Sie Anpassungen, die die Gesamtleistung des Chatbots verbessern (Punkt 6 des Leitfadens).

8.1 Reduzierung von Support-Tickets und regelmäßiger Abgleich mit anderen Support-Kanälen

Dabei ist zu beachten, dass der Bot mit künstlicher Intelligenz zugleich ein Unterstützungsmechanismus ist, der die klassischen Kommunikationskanäle erweitert. Der Einsatz eines KI-Bots wird die menschliche Unterstützung keineswegs vollständig ersetzen, sondern dieser menschlichen Unterstützung vielmehr eine vorgelagerte (enge und freundliche) Ebene hinzufügen.

Die Reduzierung der Support-Tickets ist ein Indikator dafür, wie effektiv der Chatbot bei der Lösung von Anfragen ohne menschliches Eingreifen ist. Eine deutliche Reduzierung der Anzahl der Support-Tickets weist darauf hin, dass der Chatbot dem Unternehmen einen Mehrwert bietet, die Betriebseffizienz verbessert und die Arbeitsbelastung menschlicher Agenten verringert.

Im Falle des AOC kann zwar nicht gesagt werden, dass es ausschließlich am Chatbot lag, da auch andere Supportverbesserungen umgesetzt wurden, aber die Supportanfragen konnten im Jahr 2024 von 93.000 im Jahr 2023 auf 65.000 im Jahr 2024 reduziert werden. Während die Supportanfragen zurückgingen, verdoppelten sich im gleichen Zeitraum die Transaktionen und die Anzahl der Anfragen.[6].

Abbildung 22 Entwicklung der Supportanfragen

Durch regelmäßige Vergleiche mit anderen Supportkanälen wie Telefonsupport, E-Mail oder Chat mit einem Agenten können Sie die Stärken und Schwächen des Chatbots erkennen und feststellen, ob er im Vergleich zu anderen Kanälen einen Mehrwert bietet.

Durch diese Vergleiche können wir auch erkennen, ob neue, vom Bot nicht vorhergesehene Vorfälle auftreten, um die generativen Absichten anzupassen oder die Wissensbibliothek zu verbessern.

Das Ziel besteht darin, sicherzustellen, dass der Chatbot eine zufriedenstellende Benutzererfahrung bietet und den Erwartungen der Organisation entspricht.

8.2 Methodik der regelmäßigen Evaluierung

8.2.1 Überprüfung realer Gespräche

Um sicherzustellen, dass der Chatbot die Erwartungen der Organisation erfüllt, muss eine Methode zur regelmäßigen Evaluierung etabliert werden, bei der echte Benutzergespräche überprüft werden. Auf diese Weise können Sie wiederkehrende Fehler erkennen, die Qualität der Antworten analysieren und Anpassungen vornehmen, die die Gesamtleistung des Chatbots verbessern.

Es ist wichtig, diese Methodik zusammen mit der Art und Weise zu dokumentieren, wie diese Gespräche analysiert werden. Im Falle des AOC wird die folgende Methodik verfolgt:

• Überprüfungszeitraum: Monatlich
• Anzahl der zu überprüfenden Gespräche: 150 Gespräche
• Überprüfungshäufigkeit: 5 zufällige Gespräche für jeden der 30 Tage des Monats.
• Tägliche Zeitfenster für die Überprüfung: Es wird 1 zufällig ausgewähltes Gespräch innerhalb der Morgen-, Mittags-, Nachmittags-, Abend- und Nachtstunden überprüft.
• Frage zur Bewertung der Antwort: Hat der Bot das Problem des Bürgers richtig gelöst? JA / NEIN
  • JA: Wenn der Bot alle Fragen des Benutzers richtig beantwortet hat.
  • NEIN: Wenn der Bot falsch geantwortet hat oder nicht auf die Anfrage des Benutzers reagiert.
• Bei Gesprächen mit mehr als einer Interaktion wird die Gesamtzahl der Antworten des Bots ausgewertet, um festzustellen, ob der Bot dem Bürger geholfen hat oder nicht. Wenn eine der Interaktionen vom Bot falsch war, wird sie mit einem NEIN das Gespräch.
• Es ist wichtig, Interaktionen aufzuzeichnen, die außerhalb der Kompetenz des Chatbots liegen, um zu quantifizieren, wie viele Anfragen vom Bot nicht bearbeitet werden können.
• Sie müssen angeben, bei welcher Dienstleistung/welchem ​​Produkt der Chatbot Hilfestellung geleistet hat.

Diese Konversationsüberprüfungen helfen dabei, neue Benutzeranforderungen zu erkennen und den Chatbot entsprechend anzupassen.

1. AOC Blog – Das AOC implementiert einen führenden Bürgerservice-Chatbot mithilfe generativer KI (https://www.aoc.cat/blog/2024/xatbot-aoc-iagenerativa/)
2. https://1millionbot.com/
3. Virtueller Konversationsassistenzdienst (Chatbot)(Veröffentlichungsinformationen – Dienstleistungsplattform für das öffentliche Beschaffungswesen)
4. Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 und der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Künstliche Intelligenz-Verordnung) https://www.boe.es/buscar/doc.php?id=DOUE-L-2024-81079
5. Algorithmische Transparenz: Chatbots mit Generativer KI vom AOC (https://www.aoc.cat/ia-transparencia-xatbots-amb-ia-generativa/)
6. Der innovative generative KI-Chatbot ermöglicht es dem AOC, die Anzahl der vom Support-Service bearbeiteten Anfragen zu verdoppeln (https://www.aoc.cat/blog/2025/xatbot-ia-generativa-suport/)