На пике развития искусственного интеллекта внедрение чат-бота с генеративным ИИ может стать ключом к повышению эффективности и удовлетворенности граждан действиями государственных органов. Эти чат-боты предоставляют возможность оптимизировать внимание к гражданам и предприятиям, эффективно решать вопросы и предлагать персонализированный и непрерывный опыт.

Однако для обеспечения правильной реализации необходимо следовать ряду надлежащих практик, которые обеспечивают совместимость с существующими системами, соблюдение нормативных требований и качество ответов.

В этом руководстве содержатся практические рекомендации по внедрению чат-бота с генеративным ИИ, основанные на нашем опыте создания чат-бота с генеративным ИИ. [1], начиная от выбора подходящей технологии и заканчивая ее оптимизацией и обслуживанием. В нем также рассматриваются такие фундаментальные аспекты, как безопасность, защита данных и непрерывный мониторинг для обеспечения постоянного развития системы.

Цель данного руководства — предоставить государственным органам возможность использовать чат-боты, которые не только отвечают текущим потребностям, но и могут развиваться и адаптироваться к будущим требованиям.

В этом смысле мы представляем данное руководство как отправную точку для создания чат-бота с генеративным ИИ на основе нашего опыта. В AOC мы также находимся в процессе изучения этой технологии, и это подразумевает, что может быть множество аспектов, которые можно улучшить, а также различные подходы к разработке чат-бота.

Кроме того, важно учитывать, что эта технология постоянно развивается, а это значит, что постоянно появляются новые возможности для совершенствования как в краткосрочной, так и в долгосрочной перспективе. Вот почему следует учитывать, что данное руководство является динамичным и будет обновляться по мере накопления AOC новых знаний и опыта в этом вопросе.

Чтобы объяснить, как был реализован текущий чат-бот, особенно важно рассмотреть чат-ботов, которые мы использовали в AOC для поддержки граждан.

В 2020 году AOC сделала ставку на компанию 1millionbot [2] сделать первую попытку внедрения традиционных чат-ботов. В 2021 году заключен контракт AOC-2021-99: Услуга виртуального разговорного помощника (чат-бот) [3] с целью предоставления услуги чат-бота для упрощения процессов консультирования и обработки информации, связанной с услугами AOC.

Наконец, в мае/июне 2021 года были запущены в эксплуатацию два виртуальных помощника для услуг по получению гражданства idCAT, Certificat и VÀLid, среднее количество пользователей которых в 50.000 и 2022 годах достигло 2023 XNUMX человек в год.

Несмотря на эти цифры, у этих чат-ботов были определенные недостатки:

• Намерения ответов этих чат-ботов были очень жесткими и негибкими, что не позволяло адаптироваться к реакции пользователя.
• Низкая способность адаптироваться к новым проблемам, с которыми сталкиваются граждане, что в конечном итоге приводит к чрезмерному накоплению намерений.
• Для каждой услуги требовался чат-бот (в услугах с наибольшим объемом), что приводило к очень дорогостоящему обслуживанию.
• Дорогостоящее обучение для преобразования пользовательских реакций из одного намерения в другое.
• Чрезмерные часы, потраченные на обучение чат-ботов, из-за того, что двух ботов приходилось обучать отдельно и каждому на двух соответствующих языках (каталонском и испанском).
• Контекст разговоров не сохранялся, то есть каждое взаимодействие с пользователем было для бота новым «разговором».

Эти трудности и недостатки, а также бурное развитие искусственного интеллекта в прошлом году побудили AOC поручить 1millionbot начать работу с чат-ботом на основе искусственного интеллекта.

Чтобы обеспечить эффективное внедрение чат-бота с генеративным ИИ, важно выбрать решение, которое соответствует непосредственным целям организации и в то же время допускает долгосрочное развитие и масштабируемость.

В этом случае чат-бот, выбранный AOC, может обрабатывать большой объем запросов одновременно и легко интегрируется с услугами, предоставляемыми организацией.

Этот чат-бот интегрирован в корпоративные веб-страницы AOC с помощью Google Tag Manager и развернут специально на страницах и в службах поддержки, где он обладает знаниями, необходимыми для предоставления ответов пользователям. В настоящее время он доступен по адресу:

• Сертификат IdCAT: https://idcat.cat/ i https://suport-idcat.aoc.cat/hc/ca
• Мобильный IDCAT: https://idcatmobil.cat/ i https://suport-idcatmobil.aoc.cat/hc/ca
• е-НОТУМ: https://usuari.enotum.cat/ i https://suport-enotum-ciutadania.aoc.cat/hc/ca
• Это представляет: https://representa.cat/ i https://suport-representa-ciutadania.aoc.cat/hc/ca
• е-ФАКТ: https://efact.aoc.cat/bustia/home.htm i https://suport-efact-empreses.aoc.cat/hc/ca

Рисунок 1 Расположение чат-бота в сервисах AOC

3.1 Оценка потребностей организации

Прежде чем выбрать решение на основе искусственного интеллекта, важно провести тщательную оценку потребностей организации.

Этот процесс должен включать следующие ключевые вопросы и аспекты:

Цели и потребности чат-бота

• • Какие основные цели вы хотите достичь с помощью внедрения чат-бота? (Улучшение обслуживания граждан, снижение нагрузки на команду, автоматизация внутренних процессов и т. д.)
  • Какие текущие проблемы можно решить с помощью этой технологии?
  • Какое влияние чат-бот, как ожидается, окажет на деятельность и стратегию организации?

Целевая аудитория и вариант использования

• Кто основные пользователи чат-бота? (граждане, компании, внутренние пользователи организации и т. д.).
• В какие каналы будет интегрирован этот чат-бот? (веб-сайт, мобильное приложение, платформы обмена сообщениями, такие как Whatsapp или Telegram и т. д.).
• Какие типы запросов должен будет обрабатывать чат-бот? (частые и повторяющиеся запросы, специализированная техническая поддержка и т. д.).
• Какой бюджет можно выделить на это решение? Необходимо учитывать, что как на его реализацию, так и на его поддержание должен быть предусмотрен бюджет.
• Каковы возможные ограничения или риски, связанные с внедрением чат-бота? Некоторые из рисков, которые следует учитывать, включают безопасность и соблюдение требований по защите данных.
• Какими ресурсами располагает организация? Важно обеспечить наличие достаточных человеческих ресурсов для решения не только его внедрения, но и эффективного поддержания. Рекомендации по обучению можно найти в пунктах 6 и 7 настоящего руководства.

3.2 Масштабируемость и гибкость

Крайне важно, чтобы решение на основе ИИ было масштабируемым и гибким, чтобы адаптироваться к меняющимся потребностям организации. Это подразумевает возможность справляться с увеличением объема запросов в определенное время года (например, в период запроса помощи или субсидий) без ущерба для производительности системы.

Также важно, чтобы решение позволяло добавлять новые функции и улучшения по мере роста и развития организации. Вот почему важно иметь не только необходимые внутренние ресурсы, но и специализированную поддержку по обслуживанию самого бота.

3.3 Соблюдение правил безопасности и защиты данных

Безопасность и защита данных являются важнейшими аспектами при внедрении чат-бота с генеративным ИИ. Выбранное решение должно соответствовать действующим нормам информационной безопасности и защиты данных, таким как Общий регламент Европейского Союза по защите данных (GDPR). Это включает в себя:

• Гарантия конфиденциальности, целостности и доступности данных
• Примите соответствующие меры безопасности для предотвращения несанкционированного доступа и кибератак.
• Анонимизация персональных данных
• Установление периода опеки в целях улучшения обслуживания.

После выбора решения на основе ИИ важно оценить, соответствует ли оно техническим и эксплуатационным требованиям, необходимым для его внедрения и последующей масштабируемости. Эта система должна гарантировать непрерывную работу, предлагая круглосуточную поддержку и поддерживая высокую скорость реагирования.

4.1 Тесты производительности и емкости

Перед окончательной реализацией рекомендуется провести:

• Тестирование производительности и емкости, чтобы убедиться, что чат-бот может без проблем обрабатывать ожидаемый объем запросов.
• Моделирование нагрузки для оценки поведения системы в различных условиях дорожного движения с целью исключения возможных узких мест или слабых мест.

4.2 Пилотные испытания

Пилотные испытания необходимы для оценки эффективности чат-бота в контролируемой среде перед его полным внедрением или когда вы хотите внедрить совершенно новую услугу.

Эти тесты позволяют нам выявить возможные проблемы и настроить систему для улучшения ее функциональности.

В случае AOC пилотные испытания могут включать:

• Моделирование различных сценариев использования.
• Сюжетная вариация одного и того же инцидента.
• Анализ результатов для внесения необходимых корректировок.

 

4.2 Безопасная и надежная инфраструктура

Чтобы гарантировать корректную доступность и безопасность бота, инфраструктура сервиса должна размещаться на защищенных и надежных серверах в пределах Европейской экономической зоны, чтобы соответствовать правилам защиты данных и безопасности.

В то же время, если вы хотите обеспечить хорошую безопасность этого виртуального агента, это должно включать использование сертифицированных центров обработки данных и реализацию регулярного резервного копирования для предотвращения потери данных в случае инцидентов.

5.1 Инструкции

Для обеспечения оптимальной работы чат-бот должен иметь набор четких инструкций, направляющих модель ИИ при взаимодействии с пользователями. Эти инструкции должны включать конкретные указания о том, как структурировать ответы и как расставлять приоритеты в отношении соответствующей информации.

Как видно на изображении, очень важно, чтобы инструкции объясняли, как отвечать на сложные запросы, чтобы избежать конфликтов и путаницы с гражданами.

Иллюстрация 3. Инструкции чат-бота AOC AI

Эти инструкции необходимо периодически пересматривать и обновлять не только для того, чтобы гарантировать адаптацию чат-бота к новым потребностям организации, но и для того, чтобы иметь возможность исправлять ошибки и предвидеть будущие проблемы.

5.1.1 Структура ответов

Ответы чат-бота должны иметь четкую и последовательную структуру, чтобы облегчить их понимание пользователями. Чат-бот должен уметь:

• Используйте короткие и простые предложения.
• Разделите информацию на абзацы или пункты, чтобы ее было легче читать.
• Используйте доступный язык.
• Избегайте технических деталей и сложных терминов, которые могут вызвать путаницу.
• Укажите источник информации, чтобы граждане могли обратиться к первоисточнику.

Рисунок 4 Пример четкой и связной структуры, а также отправка источника информации

Как вы можете видеть в примере, очень важно, чтобы чат-бот всегда прикреплял оригинальные часто задаваемые вопросы, когда информация очень обширна или просто стремится ее расширить, поскольку это обеспечивает дополнительную ценность и надежность ответа.

5.2 Личность

Чат-бот должен обладать четко определенной индивидуальностью, которая адаптируется к потребностям пользователей и, прежде всего, к институциональному имиджу, который хочет создать организация. Аналогично, в соответствии с пунктом 27 Европейского Регламента (ЕС) 2024/1689 [4]Эти системы искусственного интеллекта должны разрабатываться и использоваться таким образом, чтобы люди, которые их используют, знали, что они общаются или взаимодействуют с ИИ.

Крайне важно установить соответствующий тон общения, который будет близким, естественным и соответствующим ожиданиям пользователей.

Иллюстрация 5 Личность бота AOC

Этот бот должен поддерживать:

• Последовательность в языке и стиле ответов для обеспечения плавного и удовлетворительного взаимодействия.
• Имея не только возможность использовать соответствующий язык, но и способность выражать сочувствие в ответах,
• Дайте пользователям почувствовать, что их слышат и ценят.
• Предложите продолжить разговор в любое время, если гражданину понадобится дополнительная информация по заданному вопросу.

Рисунок 6 Пример информации

 

Рисунок 7 Предложить продолжить разговор и предоставить дополнительную информацию

5.2.1 Определение тона голоса и адаптация чат-бота

Тон голоса бота должен отражать ценности и культуру организации. Например, чат-бот из финансового учреждения может выбрать более формальный и профессиональный тон, в то время как чат-бот из государственного управления может выбрать более доступный и примирительный тон.

Важно, чтобы тон голоса был одинаковым во всех взаимодействиях, чтобы создать доверие и авторитет среди пользователей. Этот тон голоса должен быть не только стабильным и относиться ко всем людям одинаково, но и уметь адаптироваться к различным ситуациям, всегда сохраняя позитивный и активный настрой, даже в моменты конфликта или недовольства со стороны пользователя.

Чат-бот должен уметь адаптироваться к разным типам пользователей с учетом таких факторов, как:

• Возраст
• Уровень технологических знаний
• Личные предпочтения
• Тип услуги/продукта, для которого им нужна помощь

Чтобы добиться такой адаптивности и, в конечном итоге, более удовлетворительного и релевантного пользовательского опыта, важно персонализировать ответы с помощью генеративных намерений.

Рисунок 8. Адаптация бота для человека с небольшим техническим образованием

5.3 Библиотека знаний

Знания о чат-боте должны основываться на сочетании надежных источников, таких как часто задаваемые вопросы, документальные базы данных, актуальные информационные системы и предыдущие инциденты пользователей. Эта библиотека знаний должна быть легкодоступной и удобной для навигации, чтобы чат-бот мог быстро и эффективно находить необходимую информацию.

В случае AOC библиотека знаний чат-бота содержит следующую информацию:

• Ссылки на все часто задаваемые вопросы на портале поддержки AOC.
• Инструкции по ответам на сложные вопросы
• Реальные инциденты с пользователями в формате «вопрос/ответ»

Разнообразие этих источников информации позволяет боту давать более полные и обоснованные ответы. Кроме того, использование источников также помогает гарантировать, что чат-бот сможет отвечать на широкий спектр запросов и всегда предоставлять актуальную и точную информацию.

Рисунок 9. Частота использования формата «вопрос/ответ»

 

Иллюстрация 10 Инструкции по ответу на сложные вопросы

Крайне важно, чтобы эта библиотека знаний постоянно обновлялась, чтобы гарантировать точность и актуальность ответов. Это подразумевает:

• Периодически просматривайте источники информации
• Включение нового контента по мере его создания или изменения.
• Разработать процесс проверки информации, чтобы гарантировать правильность и надежность используемых данных.

5.4 Создание генеративных намерений

Крайне важно точно определить основные намерения чат-бота, чтобы обеспечить гибкую и эффективную интерпретацию вопросов пользователей. В отличие от традиционных чат-ботов, бот с генеративным ИИ должен уметь понимать запросы, сформулированные разными способами, и адаптировать ответ в соответствии с контекстом.

Создание генеративного намерения не так уж далеко от создания традиционных намерений, главное отличие состоит в том, что можно добавлять небольшие инструкции, чтобы направить бота к более персонализированному ответу.

Рисунок 12. Ошибка генеративного намерения при доступе к уведомлению

Как видно на изображении, сначала определяются некоторые обучающие фразы (как в классических намерениях), а затем пишется ряд инструкций, чтобы бот генерировал генеративный ответ. Следует отметить, что ИИ позволяет генерировать вариации введенной обучающей фразы, не создавая их по одному.

Это должно быть определено четко и точно, чтобы обеспечить правильную интерпретацию запросов пользователей. Для этого необходимо выявить наиболее часто задаваемые вопросы и общие потребности пользователей, а также сформировать конкретные намерения для каждого из них.

Необходимо реализовать фильтры для обнаружения и управления запросами, выходящими за рамки сервиса, предоставляя пользователям альтернативные рекомендации при необходимости. Это может включать перенаправление на другие каналы оказания помощи, предложение дополнительных ресурсов или направление к посреднику при необходимости. Кроме того, чат-бот должен уметь распознавать, когда запрос слишком сложен для автоматического решения.

Это изначальное намерение имеет ключевое значение для того, чтобы граждане четко представляли себе объем услуг и знаний чат-бота. Важно не формировать ложных ожиданий и дать понять, что пользователю необходимо связаться с соответствующей администрацией, всегда предоставляя более подробную информацию об услугах AOC.

Рисунок 13. Намерение, выходящее за рамки AOC, и предложение о дополнительных ресурсах

Важно регулярно пересматривать и обновлять намерения, чтобы адаптировать их к новым потребностям. Необходимо учитывать, что бот должен уметь одновременно обрабатывать несколько намерений в одном разговоре, всегда предлагая последовательные и релевантные ответы.

Наконец, наличие четко структурированных и четких намерений позволит вам предложить более удовлетворительный пользовательский опыт и избежать разочарования.

5.4.1 Адаптивность и гибкость

Бот должен уметь адаптироваться к различным способам формулирования запросов пользователями. Это подразумевает способность распознавать синонимы, грамматические вариации и различные структуры предложений.

Также важно, чтобы чат-бот мог адаптировать свои ответы в соответствии с контекстом разговора, всегда предлагая актуальную и точную информацию. Аналогичным образом, он должен иметь возможность учиться на предыдущих взаимодействиях и корректировать свои ответы на основе конкретных предпочтений и потребностей каждого пользователя.

Рисунок 14. Примеры гибкости в вариантах и ​​структуре предложения

Рисунок 15. Примеры гибкости в вариантах и ​​структуре предложения

5.4.2 Альтернативные каналы внимания

Чтобы избежать исключительной зависимости от автоматизированной системы, важно предлагать альтернативные каналы персонализированного внимания.

Это позволяет пользователям получать человеческую поддержку в тех случаях, когда чат-бот не может дать адекватный ответ или когда требуется более пристальное внимание. Альтернативные каналы могут включать поддержку по телефону, электронную почту или чат с живыми агентами.

Рисунок 16. Предложение альтернативных каналов связи

6.1 Защита данных, минимизация и удаление

Чат-бот должен гарантировать минимизацию данных, избегая сбора ненужной личной информации. Все разговоры должны быть анонимными и удаляться по истечении установленного периода времени, чтобы избежать рисков, связанных с защитой данных.

В случае AOC разговоры удаляются через 3 месяца, поскольку считается, что прошло достаточно времени для анализа ответов. Пользователи всегда получают прозрачную информацию о сборе и улучшении данных.

Рисунок 17 Приветственное сообщение об обработке данных

Минимизация данных является основополагающим принципом защиты персональных данных. Чат-бот должен собирать только ту информацию, которая строго необходима для предоставления услуги, избегая сбора конфиденциальных или ненужных данных. Это помогает снизить риски, связанные с защитой данных, и соблюдать действующие нормативные акты.

Чтобы гарантировать конфиденциальность пользователей, все разговоры должны быть анонимными, а любая информация, которая могла бы идентифицировать пользователей, должна быть удалена.

Например, в AOC на уровне граждан и предприятий, когда пользователь предоставляет некоторые персональные данные, чат-бот сообщает ему, что он вводит конфиденциальные данные, понимая, что эти данные необходимы для выполнения процедуры.

AOC работает над внедрением механизмов анонимизации при добавлении пользователем любых персональных данных. Это важно, поскольку разговоры хранятся в течение 3 месяцев, а не сохранение введенных пользователем персональных данных обеспечивает дополнительный уровень безопасности.

 

Рисунок 18 Персональные данные Просмотр гражданина

6.2 Защита данных, минимизация и удаление

Чтобы соответствовать Регламенту Европейского союза об искусственном интеллекте, чат-бот должен быть четко идентифицирован как виртуальный помощник и должен предоставлять прозрачную информацию о своей работе.

Публикация алгоритмического листа прозрачности позволяет пользователям узнать, какие данные использовались для обучения системы и какая модель ИИ используется. Аналогичным образом необходимо гарантировать, что система не будет принимать решения, оказывающие существенное влияние на пользователей, без человеческого контроля.

6.2.2 Алгоритмическая прозрачность

Чтобы гарантировать доверие пользователей к системе ИИ, AOC рекомендует и защищает полную технологическую прозрачность посредством нашего листа алгоритмической прозрачности. [5]. Следует отметить, что эта таблица постоянно развивается и обновляется всякий раз, когда в чат-боте происходят соответствующие изменения.

Такая прозрачность необходима для обеспечения доверия пользователей к системе ИИ. Это подразумевает предоставление подробной информации о том, как работает чат-бот, включая данные, используемые для обучения модели, и используемые алгоритмы.

Публикация алгоритмического листа прозрачности позволяет пользователям понять, как принимаются решения и какие факторы влияют на ответы чат-бота.

6.2.2 Человеческий надзор

Это подразумевает создание механизмов проверки и вмешательства человека в случаях, когда решения чат-бота могут иметь важные последствия для пользователей. Человеческий контроль помогает гарантировать, что решения являются справедливыми, этичными и соответствуют ценностям организации.

Для соблюдения Регламента Европейского союза об искусственном интеллекте необходимо гарантировать, что чат-бот не будет принимать решения, которые могут оказать существенное влияние на пользователей, без человеческого контроля.

Чат-бот с генеративным ИИ должен постоянно развиваться, чтобы повышать качество своих ответов и адаптироваться к новым потребностям пользователей. Для этого необходим непрерывный процесс мониторинга, включающий:

• Обзор беседы
• Обнаружение шаблонов ошибок
• Оптимизация генеративных намерений.
• Определите области для улучшения и добавьте новые знания в базу данных системы.

7.1 Обзор процедур

7.1.1 Просмотр разговоров

Крайне важно периодически просматривать разговоры, генерируемые чат-ботом, чтобы выявлять неверные ответы, несоответствия или проблемы с пониманием. Этот обзор должен включать анализ случайных выборок для обеспечения общего качества услуги. Эти случайные выборки должны учитывать следующие факторы:

• День недели
• Время суток
• Тип услуги
• Поиск разговоров по ключевым словам

Время, выделяемое на эти проверки, должно зависеть от ресурсов, доступных организации; в случае AOC примерно 1 час в день выделяется на все, что подразумевается в пункте 6 о процедурах проверок.

Очень важно документировать обнаруженные ошибки и реализованные корректирующие действия для постоянного улучшения производительности чат-бота.

7.1.2 Анализ шаблонов ошибок

Анализ закономерностей ошибок позволяет выявить повторяющиеся проблемы в ответах чат-бота и разработать конкретные решения для их исправления. Чтобы обнаружить эти шаблоны ошибок, крайне важно после обнаружения ошибочного диалога выполнить поиск его ключевого слова и таким образом идентифицировать другие диалоги с той же ошибкой.

Сделав это, впоследствии будет гораздо проще адаптировать соответствующее генеративное намерение и включить новую информацию в библиотеку знаний.

7.1.3 Оптимизация генеративных намерений и включение новых знаний

После обнаружения шаблонов ошибок необходимо оптимизировать генеративные намерения, скорректировав инструкции для каждого из них с целью обеспечения возможности эффективного реагирования на широкий спектр запросов.

Например, изначально намерение продлить действие сертификата idCAT не включало ссылки на дополнительную информацию. После обнаружения ошибки в инструкциях по намерению вы добавляете «Всегда отвечать: Как продлить сертификат idCAT?” и как только вы снова спросите бота, он всегда прикрепит информацию из FAQ.

Рисунок 19 Вставьте новую информацию в инструкции бота

Рисунок 20 Ответ бота со ссылкой на часто задаваемые вопросы по продлению

Включение новых знаний в библиотеку чат-бота также имеет важное значение для поддержания его актуальности и точности. Например, если на одном из порталов поддержки создается новый раздел часто задаваемых вопросов, необходимо обновить существующую информацию, включив в нее этот новый источник знаний.

7.2 Мониторинг активности

7.2.1 Сбор статистики

Мониторинг активности чат-бота имеет ключевое значение для понимания его использования и выявления возможных узких мест во взаимодействии с пользователем. Сбор статистики по частоте использования, средней продолжительности разговора, проценту успешно решенных вопросов и наиболее распространенным запросам позволяет принимать обоснованные решения по улучшению системы. Эти данные также могут помочь определить периоды наибольшего спроса и оптимизировать доступность технологических ресурсов.

Рисунок 21. Экран статистики чат-бота AOC

Эти анализы также позволяют нам выявлять тенденции и закономерности в использовании бота, особенно в наиболее частых запросах и ответах, а также в областях, где нам сложнее всего предоставлять соответствующие ответы.

7.3 Оценки пользователей

7.3.1 Опросы удовлетворенности и системы оценки

Крайне важно, чтобы этот бот или организация реализовали механизмы оценки ответов пользователей, такие как опросы об удовлетворенности или системы подсчета баллов. Это позволяет:

• Получить объективное представление о степени удовлетворенности пользователей
• Внесите коррективы в работу бота
• Быстро и легко оценивайте ответы чат-бота

Опросы удовлетворенности могут включать вопросы о качестве ответов или использование звезд, баллов или других показателей для обозначения степени удовлетворенности полученным ответом.

Чтобы чат-бот соответствовал ожиданиям организации, необходимо создать систему постоянной оценки. Это включает определение ключевых показателей эффективности (KPI), таких как уровень успешности, время реагирования и сокращение количества заявок на поддержку. Также важно проводить периодические сравнения с другими каналами обслуживания клиентов, чтобы оценить, обеспечивает ли чат-бот дополнительную ценность.

Пилотные испытания могут проводиться в разное время года, чтобы выявить возможные улучшения функциональности и гарантировать, что пользовательский опыт всегда будет удовлетворительным.

Для дополнения этого процесса необходимо создать следующее:

• Методология периодической оценки, при которой реальные разговоры пользователей просматриваются для выявления повторяющихся ошибок.
• Проанализируйте качество ответов (пункт 6 руководства).
• Внедрить корректировки, которые улучшат общую производительность чат-бота (пункт 6 руководства)

8.1 Сокращение количества заявок на поддержку и периодических сравнений с другими каналами поддержки

Стоит отметить, что бот с искусственным интеллектом также является вспомогательным механизмом, расширяющим традиционные каналы коммуникации. Наличие ИИ-бота никоим образом не заменит полностью человеческую поддержку, а скорее добавит предыдущий (близкий и дружественный) уровень к этой человеческой поддержке.

Сокращение количества обращений в службу поддержки является показателем эффективности чат-бота в решении вопросов без необходимости вмешательства человека. Значительное сокращение количества заявок в службу поддержки свидетельствует о том, что чат-бот приносит организации дополнительную ценность, повышая эффективность работы и снижая нагрузку на сотрудников-операторов.

В случае с AOC, хотя и нельзя сказать, что это произошло исключительно благодаря чат-боту, поскольку были реализованы и другие улучшения поддержки, в 2024 году количество запросов на поддержку сократилось с 93.000 2023 в 65.000 году до 2024 XNUMX в XNUMX году. Аналогичным образом, хотя количество запросов на поддержку сократилось, транзакции и количество запросов за тот же период удвоились.[6].

Рисунок 22. Эволюция запросов на поддержку

Периодическое сравнение с другими каналами поддержки, такими как поддержка по телефону, электронная почта или чат с агентом, позволяет выявить сильные и слабые стороны чат-бота и определить, обеспечивает ли он дополнительную ценность по сравнению с другими каналами.

Эти сравнения также позволяют нам определить, происходят ли новые инциденты, которые бот не ожидал, чтобы скорректировать генеративные намерения или улучшить библиотеку знаний.

Цель — гарантировать, что чат-бот обеспечивает удовлетворительный пользовательский опыт и соответствует ожиданиям организации.

8.2 Методология периодической оценки

8.2.1 Обзор реальных разговоров

Чтобы гарантировать, что чат-бот соответствует ожиданиям организации, необходимо разработать методологию периодической оценки, в рамках которой будут анализироваться реальные разговоры пользователей. Это позволяет обнаружить повторяющиеся ошибки, проанализировать качество ответов и внести коррективы, которые улучшат общую производительность чат-бота.

Важно документировать эту методологию, а также способ, которым эти разговоры будут анализироваться. В случае AOC применяется следующая методология:

• Период обзора: Ежемесячно
• Количество разговоров для просмотра: 150 разговоров
• Частота пересмотра: 5 случайных разговоров на каждый из 30 дней месяца.
• Ежедневные временные интервалы для обзора: Просматривается 1 случайный разговор в утренние, дневные, послеобеденные, вечерние и ночные часы.
• Вопрос для оценки ответа: Правильно ли бот решил проблему гражданина? ДА / НЕТ
  • ДА: Когда бот правильно ответил на все вопросы пользователя.
  • НЕТ: Когда бот ответил неправильно или не отвечает на запрос пользователя.
• В случае разговоров с более чем одним взаимодействием будет оцениваться общее количество ответов бота, чтобы сделать вывод о том, помог ли бот гражданину или нет. Если одно из взаимодействий было некорректным со стороны бота, оно оценивается НЕТ разговор.
• Важно фиксировать взаимодействия, которые выходят за рамки компетенции чат-бота, чтобы определить, сколько запросов не поддаются обработке ботом.
• Необходимо указать услугу/продукт, по которому чат-бот оказал помощь.

Эти обзоры разговоров помогают выявить новые потребности пользователей и адаптировать чат-бот для их удовлетворения.

1. Блог AOC – AOC внедряет ведущий чат-бот для обслуживания граждан с использованием генеративного искусственного интеллекта (https://www.aoc.cat/blog/2024/xatbot-aoc-iagenerativa/)
2. https://1millionbot.com/
3. Служба виртуального разговорного помощника (чатбот)(Информация о публикации – Платформа государственных закупок)
4. Регламент (ЕС) 2024/1689 Европейского парламента и Совета от 13 июня 2024 года, устанавливающий гармонизированные правила в отношении искусственного интеллекта и вносящий поправки в Регламенты (ЕС) № 300/2008, (ЕС) № 167/2013, (ЕС) № 168/2013, (ЕС) 2018/858, (ЕС) 2018/1139 и (ЕС) 2019/2144 и Директивы 2014/90/ЕС, (ЕС) 2016/797 и (ЕС) 2020/1828 (Регламент об искусственном интеллекте) https://www.boe.es/buscar/doc.php?id=DOUE-L-2024-81079
5. Алгоритмическая прозрачность: чат-боты с генеративным ИИ от AOC (https://www.aoc.cat/ia-transparencia-xatbots-amb-ia-generativa/)
6. Инновационный генеративный чат-бот на основе искусственного интеллекта позволяет AOC удвоить количество запросов, обрабатываемых службой поддержки (https://www.aoc.cat/blog/2025/xatbot-ia-generativa-suport/)