All'apice dell'intelligenza artificiale, l'implementazione di un chatbot con IA generativa può rivelarsi fondamentale per migliorare l'efficienza e la soddisfazione dei cittadini nei confronti delle pubbliche amministrazioni. Questi chatbot rappresentano un'opportunità per ottimizzare l'attenzione verso cittadini e aziende, risolvere efficacemente le richieste e offrire un'esperienza personalizzata e continuativa.

Tuttavia, per garantirne una corretta implementazione, è necessario seguire una serie di buone pratiche che assicurino la compatibilità con i sistemi esistenti, la conformità normativa e la qualità delle risposte.

Questa guida fornisce consigli pratici per l'implementazione di un chatbot con intelligenza artificiale generativa, basati sulla nostra esperienza nella creazione di chatbot con intelligenza artificiale generativa. [1], che vanno dalla scelta della tecnologia appropriata alla sua ottimizzazione e manutenzione. Affronta inoltre aspetti fondamentali quali la sicurezza, la protezione dei dati e il monitoraggio continuo per garantire la costante evoluzione del sistema.

L'obiettivo di questa guida è consentire alle pubbliche amministrazioni di implementare chatbot che non solo rispondano alle esigenze attuali, ma che possano anche evolversi e adattarsi alle richieste future.

In questo senso, presentiamo questo manuale come punto di partenza per la creazione di un chatbot con intelligenza artificiale generativa basato sulla nostra esperienza. Anche noi dell'AOC stiamo esplorando questa tecnologia e questo implica che potrebbero esserci molteplici aspetti che possono essere migliorati, così come diversi approcci allo sviluppo di un chatbot.

Allo stesso modo, è importante tenere presente che questa tecnologia è in continua evoluzione, il che significa che emergono continuamente nuove opportunità di miglioramento, sia nel breve che nel lungo termine. Ecco perché bisogna tenere presente che la presente guida è una guida dinamica che verrà aggiornata man mano che l'AOC acquisirà maggiore conoscenza ed esperienza in materia.

Per poter spiegare come è stato implementato l'attuale chatbot, è particolarmente importante analizzare i chatbot che, a partire dall'AOC, abbiamo utilizzato per supportare i cittadini.

Nel 2020, l'AOC ha puntato sulla società 1millionbot [2] per fare un primo tentativo di implementazione dei chatbot tradizionali. Nel 2021 è stato assegnato il contratto AOC-2021-99: Servizio di assistente conversazionale virtuale (chatbot) [3] con l’obiettivo di fornire un servizio di chatbot per facilitare i processi di consultazione e di elaborazione delle informazioni relative ai servizi AOC.

Infine, nei mesi di maggio/giugno 2021, sono entrati in produzione due assistenti virtuali per i servizi di cittadinanza idCAT, Certificat e VÀLid, che hanno raggiunto una media di 50.000 utenti annui nel corso del 2022 e del 2023.

Nonostante questi numeri, questi chatbot presentavano alcune carenze:

• Le intenzioni di risposta di questi chatbot erano molto rigide e poco flessibili, non consentendo l'adattabilità in base alla risposta dell'utente.
• Scarsa capacità di adattamento ai nuovi problemi che i cittadini devono affrontare, che finisce per tradursi in un eccessivo inventario di intenzioni.
• Per ogni servizio (nei servizi con il volume più elevato) era necessario un chatbot, il che comportava una manutenzione molto costosa.
• Formazione costosa per ricavare le risposte degli utenti da un intento all'altro.
• Ore eccessive spese per addestrare i chatbot, perché i due bot dovevano essere addestrati separatamente e ognuno con le sue due lingue corrispondenti (catalano e spagnolo).
• Il contesto delle conversazioni non veniva mantenuto, il che significa che ogni interazione con l'utente era una nuova "conversazione" per il bot.

Queste difficoltà e carenze, insieme all'esplosione dell'intelligenza artificiale avvenuta lo scorso anno, hanno spinto l'AOC a commissionare a 1millionbot l'avvio del lavoro su un chatbot basato sull'intelligenza artificiale.

Per garantire un'implementazione efficace di un chatbot con intelligenza artificiale generativa, è essenziale selezionare una soluzione che si adatti agli obiettivi immediati dell'organizzazione e che, allo stesso tempo, consenta evoluzione e scalabilità a lungo termine.

In questo caso, il chatbot scelto dall'AOC è in grado di gestire un elevato volume di query contemporaneamente e si integra facilmente con i servizi forniti dall'organizzazione.

Questo chatbot è integrato nelle pagine web aziendali dell'AOC tramite Google Tag Manager e viene distribuito specificatamente nelle pagine e nei servizi di supporto in cui ha le conoscenze necessarie per fornire risposte agli utenti. Attualmente è disponibile all'indirizzo:

• Certificato IdCAT: https://idcat.cat/ i https://suport-idcat.aoc.cat/hc/ca
• IDCAT mobile: https://idcatmobil.cat/ i https://suport-idcatmobil.aoc.cat/hc/ca
• e-NOTUM: https://usuari.enotum.cat/ i https://suport-enotum-ciutadania.aoc.cat/hc/ca
• Rappresenta: https://representa.cat/ i https://suport-representa-ciutadania.aoc.cat/hc/ca
• e-FATTO: https://efact.aoc.cat/bustia/home.htm i https://suport-efact-empreses.aoc.cat/hc/ca

Illustrazione 1 Ubicazione del chatbot nei servizi AOC

3.1 Valutazione delle esigenze dell'organizzazione

Prima di selezionare una soluzione di intelligenza artificiale, è essenziale effettuare una valutazione approfondita delle esigenze dell'organizzazione.

Questo processo dovrebbe includere le seguenti domande e aspetti chiave:

Obiettivi e bisogni del chatbot

• • Quali sono gli obiettivi principali che vuoi raggiungere con l'implementazione del chatbot? (Migliorare il servizio ai cittadini, ridurre il carico di lavoro del team, automatizzare i processi interni, ecc.)
  • Quali problemi attuali potrebbero essere risolti con questa tecnologia?
  • Quale impatto si prevede che il chatbot avrà sulle operazioni e sulla strategia dell'organizzazione?

Pubblico di destinazione e caso d'uso

• Chi sono i principali utenti del chatbot? (cittadini, aziende, utenti interni all'organizzazione, ecc.).
• In quali canali verrebbe integrato questo chatbot? (sito web, applicazione mobile, piattaforme di messaggistica come Whatsapp o Telegram, ecc.).
• Che tipo di query dovrà gestire il chatbot? (richieste frequenti e ripetitive, supporto tecnico specializzato, ecc.).
• Quale budget può essere stanziato per questa soluzione? Bisogna tenere presente che sia per la sua realizzazione che per la sua manutenzione deve essere disponibile un budget.
• Quali sono le possibili limitazioni o rischi associati all'implementazione del chatbot? Alcuni dei rischi da considerare riguarderebbero la sicurezza e la conformità alla protezione dei dati.
• Quali sono le risorse disponibili dell'organizzazione? È importante garantire che la soluzione disponga di risorse umane sufficienti non solo per implementarla, ma anche per mantenerla efficacemente. Le raccomandazioni per l'allenamento sono riportate nei punti 6 e 7 di questa guida.

3.2 Scalabilità e flessibilità

È essenziale che la soluzione di intelligenza artificiale sia scalabile e flessibile per adattarsi alle mutevoli esigenze dell'organizzazione. Ciò implica la possibilità di gestire un aumento del volume di richieste in determinati periodi dell'anno (ad esempio, periodo di richiesta di aiuti o sussidi) senza compromettere le prestazioni del sistema.

È inoltre importante che la soluzione consenta l'aggiunta di nuove funzionalità e miglioramenti man mano che l'organizzazione cresce ed evolve. Ecco perché è essenziale disporre non solo delle risorse interne necessarie, ma anche di un supporto specialistico per la manutenzione del bot stesso.

3.3 Rispetto delle norme di sicurezza e protezione dei dati

La sicurezza e la protezione dei dati sono aspetti critici nell'implementazione di un chatbot con intelligenza artificiale generativa. La soluzione scelta deve essere conforme alle normative vigenti in materia di sicurezza informatica e protezione dei dati, come il Regolamento generale sulla protezione dei dati (GDPR) dell'Unione Europea. Ciò include:

• Garantire la riservatezza, l'integrità e la disponibilità dei dati
• Implementare misure di sicurezza adeguate per prevenire accessi non autorizzati e attacchi informatici
• Anonimizzazione dei dati personali
• Istituzione di un periodo di custodia della conversazione per migliorare il servizio.

Una volta selezionata la soluzione di intelligenza artificiale, è fondamentale valutare se soddisfa i requisiti tecnici e operativi necessari alla sua implementazione e alla successiva scalabilità. Questo sistema deve garantire un funzionamento continuo, offrendo supporto 24 ore su 7, XNUMX giorni su XNUMX e mantenendo un elevato tasso di risposta.

4.1 Test di prestazioni e capacità

Prima dell'implementazione definitiva, si consiglia di effettuare:

• Test delle prestazioni e della capacità per garantire che il chatbot possa gestire il volume previsto di query senza problemi.
• Simulazioni di carico per valutare il comportamento del sistema in diverse condizioni di traffico per evitare possibili colli di bottiglia o punti deboli.

4.2 Test pilota

I test pilota sono essenziali per valutare le prestazioni del chatbot in un ambiente controllato prima della sua piena implementazione o quando si desidera implementare un servizio completamente nuovo da offrire.

Questi test ci permettono di identificare possibili problemi e di apportare modifiche al sistema per migliorarne la funzionalità.

Nel caso dell'AOC, i test pilota possono includere:

• Simulazione di diversi scenari di utilizzo.
• Variante della trama dello stesso incidente.
• Analizzare i risultati per apportare le modifiche necessarie.

 

4.2 Infrastruttura sicura e affidabile

Per garantire la corretta disponibilità e sicurezza del bot, l'infrastruttura del servizio deve essere ospitata su server sicuri e affidabili, all'interno dello Spazio economico europeo, per rispettare le normative sulla protezione e sulla sicurezza dei dati.

Allo stesso tempo, se si desidera garantire un livello di sicurezza adeguato per questo agente virtuale, è necessario includere l'uso di data center certificati e l'implementazione di backup regolari per prevenire la perdita di dati in caso di incidenti.

5.1 Istruzioni

Per garantire un funzionamento ottimale, il chatbot deve disporre di una serie di istruzioni chiare che guidino il modello di intelligenza artificiale nelle sue interazioni con gli utenti. Tali istruzioni dovrebbero includere linee guida specifiche su come strutturare le risposte e come stabilire la priorità delle informazioni rilevanti.

Come si può vedere nell'immagine, è molto importante che le istruzioni servano a spiegare come gestire le richieste complesse per evitare conflitti e confusione con i cittadini.

Illustrazione 3 Istruzioni per il chatbot AOC AI

Queste istruzioni devono essere riviste e aggiornate periodicamente, non solo per garantire che il chatbot si adatti alle nuove esigenze dell'organizzazione, ma anche per poter correggere gli errori e anticipare problemi futuri.

5.1.1 Struttura delle risposte

Le risposte del chatbot devono seguire una struttura chiara e coerente per facilitarne la comprensione da parte degli utenti. Il chatbot deve essere in grado di:

• Utilizzare frasi brevi e semplici.
• Per facilitare la lettura, suddividere le informazioni in paragrafi o punti.
• Utilizzare un linguaggio accessibile.
• Evita tecnicismi o termini complessi che potrebbero generare confusione.
• Indicare la provenienza delle informazioni in modo che i cittadini possano consultare la fonte originale.

Illustrazione 4 Esempio di struttura chiara e coerente nonché invio della fonte delle informazioni

Come puoi vedere nell'esempio, è molto importante che, quando le informazioni sono molto estese o si cerca semplicemente di ampliarle, il chatbot alleghi sempre le FAQ originali, poiché ciò fornisce valore aggiunto e affidabilità nella risposta.

5.2 Personalità

Il chatbot deve avere una personalità definita che si adatti alle esigenze degli utenti e, soprattutto, all'immagine istituzionale che l'organizzazione vuole dare. Allo stesso modo, ai sensi del punto 27 del Regolamento europeo (UE) 2024/1689 [4], questi sistemi di intelligenza artificiale devono essere sviluppati e utilizzati in modo tale che le persone che li utilizzano siano consapevoli di comunicare o interagire con un'IA.

È fondamentale stabilire un tono di comunicazione appropriato, che sia vicino, naturale e in linea con le aspettative degli utenti.

Illustrazione 5 Personalità del bot AOC

Questo bot deve mantenere:

• Coerenza nel linguaggio e nello stile di risposta per offrire un'esperienza fluida e soddisfacente.
• Non solo avere l'uso di un linguaggio appropriato, ma anche la capacità di trasmettere empatia nelle risposte,
• Fai sentire gli utenti ascoltati e apprezzati.
• Offrirsi di continuare la conversazione in qualsiasi momento nel caso in cui il cittadino abbia bisogno di ulteriori informazioni in merito alla domanda posta.

Illustrazione 6 Esempio di informazione

 

Illustrazione 7 Offri di continuare la conversazione e fornire maggiori informazioni

5.2.1 Definizione del tono di voce e adattamento del chatbot

Il tono di voce del bot dovrebbe riflettere i valori e la cultura dell'organizzazione. Ad esempio, un chatbot di un istituto finanziario potrebbe optare per un tono più formale e professionale, mentre uno di una pubblica amministrazione potrebbe optare per un tono più accessibile e conciliante.

È importante che il tono di voce sia coerente in tutte le interazioni per creare fiducia e credibilità tra gli utenti. Questo tono di voce deve essere capace non solo di essere stabile e di trattare tutti allo stesso modo, ma deve anche sapersi adattare alle diverse situazioni, mantenendo sempre un atteggiamento positivo e proattivo, anche nei momenti di conflitto o insoddisfazione da parte dell'utente.

Il chatbot deve essere in grado di adattarsi a diverse tipologie di utenti tenendo conto di fattori quali:

• Età
• Il livello di conoscenza tecnologica
• Preferenze personali
• Il tipo di servizio/prodotto per il quale hanno bisogno di aiuto

Per ottenere questa adattabilità e, in ultima analisi, un'esperienza utente più soddisfacente e pertinente, è essenziale personalizzare le risposte attraverso intenzioni generative.

Illustrazione 8 Adattare il bot a una persona con scarse conoscenze tecnologiche

5.3 Biblioteca della conoscenza

Le conoscenze del chatbot dovrebbero basarsi su una combinazione di fonti affidabili, quali FAQ, database documentali, sistemi informativi aggiornati e precedenti incidenti degli utenti. Questa libreria di conoscenze deve essere facilmente accessibile e navigabile per consentire al chatbot di trovare le informazioni necessarie in modo rapido ed efficiente.

Nel caso dell'AOC, la libreria di conoscenze del chatbot contiene le seguenti informazioni:

• Link a tutte le FAQ sul portale di supporto AOC.
• Istruzioni per rispondere a domande complesse
• Incidenti reali degli utenti con formato Domanda/Risposta

La diversità di queste fonti di informazione consente al bot di offrire risposte più complete e fondate. Inoltre, l'utilizzo delle fonti aiuta anche a garantire che il chatbot possa rispondere a un'ampia gamma di domande e fornire informazioni aggiornate e accurate in ogni momento.

Illustrazione 9 Incidenza dell'utente con formato Domanda/Risposta

 

Illustrazione 10 Istruzioni per rispondere a domande complesse

È essenziale che questa biblioteca di conoscenze venga costantemente aggiornata per garantire l'accuratezza e la pertinenza delle risposte. Ciò implica:

• Rivedere periodicamente le fonti di informazione
• Incorporazione di nuovi contenuti man mano che vengono generati o modificati.
• Stabilire un processo di convalida delle informazioni per garantire che i dati utilizzati siano corretti e affidabili.

5.4 Creare intenzioni generative

È fondamentale definire con precisione le intenzioni principali del chatbot per garantire un'interpretazione flessibile ed efficiente delle domande degli utenti. A differenza dei chatbot tradizionali, un bot con intelligenza artificiale generativa deve essere in grado di comprendere le query formulate in modi diversi e di adattare la risposta in base al contesto.

Creare un intento generativo non è molto diverso dal creare intenti tradizionali; la differenza principale è che è possibile aggiungere piccole istruzioni per guidare il bot verso una risposta più personalizzata.

Illustrazione 12 Errore di intento generativo durante l'accesso a una notifica

Come si vede nell'immagine, prima vengono definite alcune frasi di addestramento (proprio come nelle intenzioni classiche) e poi vengono scritte una serie di istruzioni affinché il bot generi una risposta generativa. È opportuno notare che l'intelligenza artificiale consente di generare varianti della frase di addestramento inserita senza doverle creare una per una.

Questo deve essere definito in modo chiaro e preciso per garantire la corretta interpretazione delle richieste degli utenti. Per fare ciò, è necessario identificare le domande più frequenti e le esigenze comuni degli utenti e creare intenzioni specifiche per ciascuna di esse.

È necessario implementare filtri per rilevare e gestire le query esterne all'ambito del servizio, fornendo agli utenti suggerimenti alternativi quando necessario. Ciò può includere il reindirizzamento ad altri canali di assistenza, il suggerimento di risorse aggiuntive o il riferimento a un agente umano quando necessario. Inoltre, il chatbot deve essere in grado di riconoscere quando una query è troppo complessa per essere risolta automaticamente.

Questa intenzione progettuale è fondamentale affinché i cittadini abbiano ben chiaro l'ambito del servizio e delle conoscenze del chatbot. È importante non creare false aspettative e far capire chiaramente all'utente che deve contattare l'amministrazione competente, offrendo sempre maggiori informazioni sui servizi dell'AOC.

Illustrazione 13 Intento al di fuori dell'ambito dell'AOC e suggerimento per risorse aggiuntive

È importante rivedere e aggiornare regolarmente le intenzioni per adattarle alle nuove esigenze. Bisogna tenere presente che il bot deve essere in grado di gestire più intenzioni contemporaneamente nella stessa conversazione, offrendo sempre risposte coerenti e pertinenti.

Infine, avere intenzioni ben strutturate e chiare ti consentirà di offrire un'esperienza utente più soddisfacente ed evitare frustrazioni.

5.4.1 Adattabilità e flessibilità

Il bot deve essere in grado di adattarsi ai diversi modi in cui gli utenti formulano le query. Ciò implica la capacità di riconoscere sinonimi, varianti grammaticali e diverse strutture delle frasi.

È inoltre importante che il chatbot possa adattare le sue risposte in base al contesto della conversazione, offrendo sempre informazioni pertinenti e accurate. Allo stesso modo, deve essere in grado di imparare dalle interazioni precedenti e di adattare le proprie risposte in base alle preferenze e alle esigenze specifiche di ciascun utente.

Illustrazione 14 Esempi di flessibilità nelle varianti e nella struttura della frase

Illustrazione 15 Esempi di flessibilità nelle varianti e nella struttura della frase

5.4.2 Canali alternativi di attenzione

Per evitare di dipendere esclusivamente da un sistema automatizzato, è importante offrire canali alternativi di attenzione personalizzata.

Ciò consente agli utenti di accedere al supporto umano nei casi in cui il chatbot non sia in grado di fornire una risposta adeguata o quando è richiesta un'attenzione più approfondita. I canali alternativi possono includere l'assistenza telefonica, via e-mail o la chat in tempo reale con operatori umani.

Illustrazione 16 Offrire canali di contatto alternativi

6.1 Protezione dei dati, minimizzazione e cancellazione

Il chatbot deve garantire la minimizzazione dei dati, evitando la raccolta di informazioni personali non necessarie. Per evitare rischi per la protezione dei dati, tutte le conversazioni devono essere rese anonime ed eliminate dopo un periodo di tempo stabilito.

Nel caso dell'AOC, le conversazioni vengono eliminate dopo 3 mesi, poiché si ritiene che sia trascorso un tempo sufficiente per analizzare le risposte. Gli utenti vengono informati in ogni momento e in modo trasparente sulla raccolta e sul miglioramento dei dati.

Illustrazione 17 Messaggio di benvenuto sul trattamento dei dati

La minimizzazione dei dati è un principio fondamentale nella protezione dei dati personali. Il chatbot deve raccogliere solo le informazioni strettamente necessarie per offrire il servizio, evitando di raccogliere dati sensibili o non necessari. Ciò contribuisce a ridurre i rischi associati alla protezione dei dati e a rispettare le normative vigenti.

Per garantire la privacy degli utenti, tutte le conversazioni devono essere rese anonime, rimuovendo qualsiasi informazione che possa identificare personalmente gli utenti.

Ad esempio, nell'AOC a livello di cittadino e di impresa, quando l'utente fornisce alcuni dati personali, il chatbot gli comunica che sta inserendo dati sensibili, comprendendo che tali dati sono essenziali per lo svolgimento della procedura.

L'AOC sta lavorando per implementare meccanismi di anonimizzazione quando un utente aggiunge dati personali. Questo è importante perché, poiché le conversazioni vengono conservate per 3 mesi, non memorizzare i dati personali inseriti dall'utente aggiunge un ulteriore livello di sicurezza.

 

Illustrazione 18 Dati personali vista del cittadino

6.2 Protezione dei dati, minimizzazione e cancellazione

Per rispettare il regolamento dell'Unione Europea sull'intelligenza artificiale, il chatbot deve essere chiaramente identificabile come assistente virtuale e deve fornire informazioni trasparenti sul suo funzionamento.

La pubblicazione di un foglio di trasparenza algoritmica consente agli utenti di sapere quali dati sono stati utilizzati per addestrare il sistema e quale modello di intelligenza artificiale viene utilizzato. Allo stesso modo, è necessario garantire che il sistema non prenda decisioni con un impatto significativo sugli utenti senza la supervisione umana.

6.2.2 Trasparenza algoritmica

Per garantire la fiducia degli utenti nel sistema di intelligenza artificiale, l'AOC raccomanda e difende la piena trasparenza tecnologica attraverso la nostra scheda di trasparenza algoritmica. [5]. È opportuno sottolineare che questa scheda è in continua evoluzione e viene aggiornata ogni volta che si verifica una modifica rilevante nel chatbot.

Questa trasparenza è essenziale per garantire la fiducia degli utenti nel sistema di intelligenza artificiale. Ciò comporta la fornitura di informazioni dettagliate sul funzionamento del chatbot, compresi i dati utilizzati per addestrare il modello e gli algoritmi impiegati.

La pubblicazione di un foglio di trasparenza algoritmica consente agli utenti di comprendere come vengono prese le decisioni e quali fattori influenzano le risposte del chatbot.

6.2.2 Supervisione umana

Ciò implica l'istituzione di meccanismi di revisione e intervento umano nei casi in cui le decisioni del chatbot possano avere conseguenze importanti per gli utenti. La supervisione umana contribuisce a garantire che le decisioni siano giuste, etiche e in linea con i valori dell'organizzazione.

Per rispettare il regolamento dell'Unione Europea sull'intelligenza artificiale, è necessario garantire che il chatbot non prenda decisioni con un impatto significativo sugli utenti senza la supervisione umana.

Un chatbot con intelligenza artificiale generativa deve essere in continua evoluzione per migliorare la qualità delle sue risposte e adattarsi alle nuove esigenze degli utenti. Ciò richiede un processo di monitoraggio continuo che includa:

• Revisione della conversazione
• Rilevamento di modelli di errore
• L'ottimizzazione delle intenzioni generative.
• Individuare le aree di miglioramento e aggiungere nuove conoscenze al database del sistema.

7.1 Routine di revisione

7.1.1 Revisione delle conversazioni

È fondamentale rivedere periodicamente le conversazioni generate dal chatbot per individuare risposte errate, incongruenze o problemi di comprensione. Tale revisione deve includere l'analisi di campioni casuali per garantire la qualità complessiva del servizio. Questi campioni casuali dovrebbero tenere conto dei seguenti fattori:

• Giorno della settimana
• Ora del giorno
• Tipo di servizio
• Cerca conversazioni per parole chiave

Il tempo dedicato a queste revisioni deve dipendere dalle risorse a disposizione dell'organizzazione; nel caso dell'AOC, circa 1 ora al giorno è dedicata a tutto quanto previsto dal punto 6 sulle routine di revisione.

È molto importante documentare gli errori rilevati e implementare le azioni correttive per migliorare costantemente le prestazioni del chatbot.

7.1.2 Analisi del modello di errore

L'analisi dei modelli di errore consente di identificare problemi ricorrenti nelle risposte del chatbot e di sviluppare soluzioni specifiche per correggerli. Per rilevare questi modelli di errore è fondamentale, una volta individuata la conversazione errata, cercarne la parola chiave e identificare così altre conversazioni con lo stesso errore.

In questo modo sarà poi molto più facile adattare l'intenzione generativa corrispondente e incorporare nuove informazioni nella biblioteca della conoscenza.

7.1.3 Ottimizzazione delle intenzioni generative e incorporazione di nuove conoscenze

Una volta individuati i pattern di errore, è necessario ottimizzare le intenzioni generative, modificando le istruzioni di ciascuna di esse con l'obiettivo di garantire che possa rispondere efficacemente a un'ampia varietà di query.

Ad esempio, inizialmente l'intenzione di rinnovare il certificato idCAT non includeva link ad ulteriori informazioni. Una volta rilevato l'errore, nelle istruzioni di intent aggiungi "Rispondi sempre con: Come posso rinnovare il certificato idCAT?" e quando chiedi nuovamente al bot, allegherà sempre le informazioni dalle FAQ.

Illustrazione 19 Inserisci nuove informazioni nelle istruzioni del bot

Illustrazione 20 Risposta del bot con collegamento alle FAQ sul rinnovo

Anche l'inserimento di nuove conoscenze nella libreria del chatbot è essenziale per mantenerne la pertinenza e l'accuratezza. Ad esempio, se viene generata una nuova FAQ su uno dei portali di supporto, è essenziale aggiornare le informazioni esistenti, incorporando questa nuova fonte di conoscenza.

7.2 Monitoraggio delle attività

7.2.1 Raccolta delle statistiche

Monitorare l'attività del chatbot è fondamentale per comprenderne l'utilizzo e individuare eventuali colli di bottiglia nell'interazione con l'utente. La raccolta di statistiche sulla frequenza di utilizzo, sulla durata media delle conversazioni, sulla percentuale di domande risolte con successo e sulle query più comuni consente di prendere decisioni informate per migliorare il sistema. Questi dati possono anche aiutare a identificare i periodi di maggiore richiesta e ottimizzare la disponibilità delle risorse tecnologiche.

Illustrazione 21 Schermata delle statistiche del chatbot AOC

Queste analisi ci permettono anche di individuare tendenze e modelli nell'uso del bot, soprattutto nelle query e nelle risposte più frequenti e negli ambiti in cui abbiamo maggiori difficoltà a fornire risposte appropriate.

7.3 Valutazioni degli utenti

7.3.1 Indagini sulla soddisfazione e sistemi di punteggio

È fondamentale che questo bot o l'organizzazione implementi meccanismi per valutare le risposte degli utenti, come sondaggi sulla soddisfazione o sistemi di punteggio. Ciò consente:

• Ottenere una visione oggettiva del grado di soddisfazione dell'utente
• Apportare modifiche al funzionamento del bot
• Valuta le risposte del chatbot in modo rapido e semplice

I sondaggi sulla soddisfazione possono includere domande sulla qualità delle risposte o prevedere l'uso di stelle, punti o altre metriche per indicare il grado di soddisfazione rispetto alla risposta ricevuta.

Per garantire che il chatbot soddisfi le aspettative dell'organizzazione, è necessario stabilire un sistema di valutazione costante. Ciò include la definizione di indicatori chiave di prestazione (KPI), quali tasso di successo, tempo di risposta e riduzione dei ticket di supporto. È inoltre importante effettuare confronti periodici con altri canali di assistenza clienti per valutare se il chatbot fornisce un valore aggiunto.

È possibile effettuare test pilota in diversi periodi dell'anno per individuare possibili miglioramenti nella funzionalità e garantire che l'esperienza dell'utente sia sempre soddisfacente.

Per completare questo processo, è necessario creare quanto segue:

• Una metodologia di valutazione periodica in cui vengono esaminate le conversazioni degli utenti reali per rilevare errori ricorrenti.
• Analizzare la qualità delle risposte (punto 6 della guida).
• Implementare modifiche che migliorino le prestazioni complessive del chatbot (punto 6 della guida)

8.1 Riduzione dei ticket di supporto e confronti periodici con altri canali di supporto

È opportuno sottolineare che il bot dotato di intelligenza artificiale è anche un meccanismo di supporto che amplia i canali di comunicazione tradizionali. Avere un bot AI non sostituirà in alcun modo il supporto umano, ma aggiungerà piuttosto un livello precedente (vicino e amichevole) a questo supporto umano.

La riduzione dei ticket di supporto è un indicatore che misura l'efficacia del chatbot nel risolvere le richieste senza la necessità dell'intervento umano. Una significativa riduzione del numero di ticket di supporto indica che il chatbot sta fornendo un valore aggiunto all'organizzazione, migliorando l'efficienza operativa e riducendo il carico di lavoro degli agenti umani.

Nel caso dell'AOC, sebbene sia vero che non si può dire che sia stato merito esclusivo del chatbot poiché sono stati implementati altri miglioramenti del supporto, nel 2024 le richieste di supporto sono state ridotte da 93.000 nel 2023 a 65.000 nel 2024. Allo stesso modo, mentre le richieste di supporto sono diminuite, le transazioni e il numero di query sono raddoppiati nello stesso periodo.[6].

Illustrazione 22 Evoluzione delle richieste di supporto

Effettuare confronti periodici con altri canali di supporto, come l'assistenza telefonica, via e-mail o la chat con un agente, consente di identificare i punti di forza e di debolezza del chatbot e di determinare se fornisce un valore aggiunto rispetto ad altri canali.

Questi confronti ci permettono anche di identificare se si stanno verificando nuovi incidenti non previsti dal bot, al fine di adattare le intenzioni generative o migliorare la libreria di conoscenze.

L'obiettivo è garantire che il chatbot offra un'esperienza utente soddisfacente e sia in linea con le aspettative dell'organizzazione.

8.2 Metodologia di valutazione periodica

8.2.1 Revisione di conversazioni reali

Per garantire che il chatbot soddisfi le aspettative dell'organizzazione, è necessario stabilire una metodologia di valutazione periodica in cui vengono esaminate le conversazioni reali degli utenti. In questo modo è possibile rilevare errori ricorrenti, analizzare la qualità delle risposte e apportare modifiche che migliorino le prestazioni complessive del chatbot.

È importante documentare questa metodologia insieme al modo in cui queste conversazioni verranno analizzate. Nel caso dell'AOC, la metodologia seguita è la seguente:

• Periodo di revisione: Mensile
• Numero di conversazioni da rivedere: 150 conversazioni
• Frequenza di revisione: 5 conversazioni casuali per ognuno dei 30 giorni del mese.
• Fasce orarie per la revisione giornaliera: Viene esaminata 1 conversazione casuale nelle ore del mattino, mezzogiorno, pomeriggio, sera e notte.
• Domanda per valutare la risposta: Il bot ha risolto correttamente il problema del cittadino? SI / NO
  • SÌ: quando il bot ha risposto correttamente a tutte le domande dell'utente.
  • NO: quando il bot ha risposto in modo errato o non risponde a quanto richiesto dall'utente.
• Nel caso di conversazioni con più di un'interazione, il conteggio totale delle risposte del bot verrà valutato per stabilire se il bot ha aiutato o meno il cittadino. Se una delle interazioni è stata errata da parte del bot, viene valutata con un NO la conversazione.
• È importante registrare le interazioni che sono state al di fuori della competenza del chatbot per quantificare quante query non sono gestibili dal bot.
• È necessario indicare il servizio/prodotto per il quale il chatbot ha fornito assistenza.

Queste revisioni delle conversazioni aiutano a identificare le nuove esigenze degli utenti e ad adattare il chatbot per soddisfarle.

1. Blog AOC – L’AOC implementa un chatbot leader nel servizio ai cittadini utilizzando l’intelligenza artificiale generativa (https://www.aoc.cat/blog/2024/xatbot-aoc-iagenerativa/)
2. https://1millionbot.com/
3. Servizio di assistente conversazionale virtuale (chatbot)(Informazioni sulla pubblicazione – Piattaforma dei servizi per gli appalti pubblici)
4. Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio, del 13 giugno 2024, che stabilisce norme armonizzate sull'intelligenza artificiale e modifica i regolamenti (CE) n. 300/2008, (UE) n. 167/2013, (UE) n. 168/2013, (UE) 2018/858, (UE) 2018/1139 e (UE) 2019/2144 e le direttive 2014/90/UE, (UE) 2016/797 e (UE) 2020/1828 (regolamento sull'intelligenza artificiale) https://www.boe.es/buscar/doc.php?id=DOUE-L-2024-81079
5. Trasparenza algoritmica: chatbot con intelligenza artificiale generativa dell'AOC (https://www.aoc.cat/ia-transparencia-xatbots-amb-ia-generativa/)
6. L'innovativo chatbot con intelligenza artificiale generativa consente all'AOC di raddoppiare il numero di richieste gestite dal servizio di supporto (https://www.aoc.cat/blog/2025/xatbot-ia-generativa-suport/)