Вызов

Как добиться доверия пользователей к цифровым государственным услугам, использующим данные и алгоритмы искусственного интеллекта, обеспечивая при этом их ответственное, безопасное и справедливое использование. 

Предлагаемое решение: каждый цифровой сервис должен включать на своей главной странице и на Портале Transparència От ответственного органа должен быть предоставлен понятный отчет о работе системы и о том, какое влияние она может оказать на людей.
→ Посмотреть шаблон отчета в формате PDF transparència алгоритм AOC (обновлено 11.07.2025)

Проблема и текущий контекст

Искусственный интеллект (ИИ) стал неотъемлемой частью нашей повседневной жизни. Правительства используют его, например, для улучшения доступности и качества государственных услуг, оптимизации процессов или управления общественным пространством.

Алгоритмы являются основой систем искусственного интеллекта и часто действуют как «черные ящики» для людей, которые их используют и влияют на них. Чтобы этого не произошло, важно, чтобы алгоритмы были понятны пользователям, чтобы они могли понять, как было достигнуто определенное решение и почему это решение принято. Тем более в случае правительства, которое может функционировать только тогда, когда между ним и обществом существует доверие. Хорошая администрация должна позволять всем гражданам понимать причины решений и иметь возможность оспаривать их.

В демократических государствах доверие гарантируется многочисленными правовыми гарантиями. Что касается обязанности обеспечивать прозрачность алгоритмов ИИ, используемых в цифровых государственных услугах, закон устанавливает право граждан на получение объяснения автоматизированных решений (GDPR) и предусматривает создание «механизмов», позволяющих алгоритмам, участвующим в принятии решений, учитывать критерии transparència и объяснимости (Всеобъемлющий закон 15/2022 о равном обращении и недискриминации), но не устанавливает какого-либо конкретного механизма или правового инструмента для этого. Он лишь дает рекомендации и оставляет организациям право по своему усмотрению выбирать наиболее подходящий инструмент для:

  • предоставлять содержательную информацию о логике используемых алгоритмов, а также об ожидаемых последствиях, которая должна быть четкой и с использованием понятного языка,
  • позволить людям понять, почему алгоритм дал определенный результат, а также указать орган, в котором они могут обжаловать свои конкретные решения или оспорить его общую работу,
  • открыть алгоритмы для демократического контроля.

Ввиду отсутствия конкретных механизмов, методов или способов достижения transparència В 2023 году AOC провела исследование с целью поиска стандартизированных форм алгоритмического подхода. transparència и уделять первостепенное внимание пониманию алгоритмов, которые мы применяем в наших сервисах цифрового администрирования.

Именно здесь проявляется инициатива transparència алгоритм, который мы представляем.

Предложенное решение 

La transparència Разработка и использование ИИ является важнейшим вопросом, обеспечивающим ответственное и справедливое применение этой технологии по отношению к обществу.

В качестве средства достижения transparència алгоритмический, AOC предлагает, чтобы каждый цифровой сервис включал на своей главной странице и на портале следующую информацию: Transparència От ответственного органа — понятный отчет о работе системы и используемых ею алгоритмах..

Эта инициатива призвана стать инструментом для:

  • помочь людям понять, как работают алгоритмы, используемые в органах местного самоуправления, какова их цель и как они могут на них влиять,
  • обеспечить transparència имеют смысл, представлены в стандартизированном виде и позволяют сравнивать различные алгоритмы.
  • облегчить каждому возможность высказать свое мнение и участвовать в создании человеко-ориентированных алгоритмов.

Кроме того, хотя инициатива в основном сосредоточена на системах искусственного интеллекта, также включает отчеты о transparència для детерминированных алгоритмов в ответственных сценариях использования, такие как сложные системы автоматизации для широкомасштабной социальной помощи, следуя критерию, что они также могут оказывать соответствующее воздействие на людей.

→ Посмотреть шаблон отчета в формате PDF transparència алгоритм AOC (обновлено 11.07.2025)

Содержание отчета

Каждый отчет о transparència Алгоритм содержит:

  • проблема, которую необходимо решить с помощью рассматриваемого алгоритма,
  • объяснение характеристик алгоритма, а также его работы,
  • группы, на которые может повлиять алгоритм,
  • Оценка уровня риска алгоритмической системы на основе:
    • проведенный анализ рисков или оценка воздействия на основные права (в зависимости от ситуации) для определения возможных дискриминационных предубеждений алгоритма.
    • анализ рисков безопасности системы, который был выполнен для выявления возможных непредвиденных обстоятельств доступности и безопасности системы, содержащей алгоритм,
    • la управление рисками принятые меры и принятые меры гарантировать соблюдение основных прав, 
  • орган, в котором можно обжаловать отдельные решения алгоритма или оспорить его общую работу, когда этого требует закон,
  • контактные данные ответственного лица и поставщика алгоритма.

Как определялось содержание отчета

Для определения содержания отчетов transparència В 2023 году команда по инновациям и данным AOC при поддержке юридической службы провела исследование, включавшее в себя:  

  1. Una анализ существующих на тот момент правил в котором предмет transparència автоматизированных решений, принимаемых алгоритмами ИИ, с особым вниманием к следующим правилам:  
  • Европейский регламент защиты данных (RGPD)
  • Предложение о Регламенте Совета Европы об использовании искусственного интеллекта (Закон об ИИ)
  • Закон 40/2015 о правовом режиме государственного сектора (LRJSP) и Правила функционирования государственного сектора с помощью электронных средств (RD 203/2021)
  • Комплексный закон 15/2022 о равном обращении и недискриминации 
  1. Документы, предлагающие рекомендации и руководства для достижения безопасного и надежного ИИ. Следует отметить: 
  • Этические рекомендации для надежного ИИ от Экспертной группы высокого уровня Европейской комиссии по ИИ (апрель 2019 г.) 
  • Доклад Комиссара Совета Европы по правам человека «Распаковка искусственного интеллекта: 10 шагов к защите прав человека» (май 2019 г.)
  • Принципы ответственного управления доверенным искусственным интеллектом из Рекомендации Совета по искусственному интеллекту ОЭСР (май 2019 г.)
  • Отчет APDCAT «Автоматизированные решения в Каталонии» (январь 2020 г.)  
  • Европейская декларация о цифровых правах и принципах цифрового десятилетия (январь 2023 г.)
  • Инструмент NIST для управления рисками в области искусственного интеллекта (январь 2023 г.)
  1. Они также были исследованы инициативы transparència алгоритмический подход различных администраций, которые находились в стадии разработки или были недавно реализованы. Стоит отметить: 
  • Реестр искусственного интеллекта городов Хельсинки и Амстердам – внедрен
  • Стандарт transparència Внедрен алгоритм Eurocities, основанный на британском стандарте.
  • Предложение по рамочной программе этической работы для алгоритмов Женералитата Каталонии (май 2021 г.)
  • Модель регистрации по муниципальному алгоритму, разработанная городским советом Барселоны, основана на стандарте transparència Из Eurocities (январь 2023 г.)
  • Коллекция алгоритмов ИИ из Каталонской системы здравоохранения (SISCAT) и исследовательских центров Каталонии в рамках Обсерватории ИИ в здравоохранении Фонда TIC Salut Social (декабрь 2022 г.)
  • Радар алгоритмов ИИ Таблицы субъектов Третьего социального сектора Каталонии (январь 2024 г.)

Выводы исследования

В рамках Европейской декларации о цифровых правах и принципах цифрового десятилетия государства-члены Европейского союза обязуются обеспечить адекватный уровень transparència в использовании алгоритмов и искусственного интеллекта, а также для того, чтобы люди были информированы и обучены их использованию при взаимодействии с ними.

Для соблюдения требования transparència В системах искусственного интеллекта государственных администраций действующие правила определяют информацию, которая должна предоставляться в зависимости от конкретного случая. [1], но не определяет «конкретный» механизм, стандартизированный формат или юридический инструмент для этого; хотя: 

  • Регламент ИИ устанавливает требование вести учет всей соответствующей информации о системах ИИ высокого риска (ст. 17);
  • Закон 15/2022 о равном обращении и недискриминации говорит о содействии внедрению «механизмов», позволяющих алгоритмам, участвующим в принятии решений, учитывать критерии минимизации предвзятости. transparència и подотчетность (статья 23);
  • Положение о функционировании государственного сектора с помощью электронных средств устанавливает обязанность публиковать на своем веб-сайте список автоматизированных административных действий (ААА), которые могут включать или не включать использование алгоритмов ИИ, и сопровождать каждое ААА описание его конструкции и работы (ст. 11). 

Мы изучили различные инициативы, продвигаемые европейскими местными и региональными органами власти, чтобы найти стандартизированный способ, позволяющий нам соответствовать требованиям. transparència алгоритмов искусственного интеллекта, которые мы применяем в наших сервисах цифрового администрирования.

Среди всех изученных инициатив и в соответствии с действующими юридическими обязательствами мы пришли к выводу, что публикация отчетов transparència алгоритмический на Портале Transparència это быстрое и простое решение что способствует соблюдению требований transparència установлено в правилах i позволяет завоевать доверие пользователей в системах ИИ государственного управления.

Исследование также позволило нам определить, какую соответствующую информацию необходимо предоставить о государственных услугах на основе ИИ, чтобы пользователи могли понять, как алгоритмы принимают решения и как эти решения проверяются. С другой стороны, исследование привело нас к разработке гибкой и практичной методологии для выявления и анализа наиболее вероятных рисков, связанных с использованием алгоритмов ИИ в отношении основные права, и связать их с мерами, которые необходимо будет применять в каждом конкретном случае, чтобы гарантировать соблюдение этих прав.

Методология управления рисками, ориентированная на защиту основных прав

Чтобы гарантировать надежный, этичный и безопасный ИИ в государственных службах, AOC разработала собственную методологию управления рисками. Эта методология, ориентированная на защиту основных прав, рассматривает возможные риски, которые могут повлиять на граждан, и подробно описывает, как их можно смягчить или свести к минимуму. Методология состоит из трех основных этапов, каждый из которых имеет прочную основу в международных правилах и руководствах.

  • Шаг 1: Определение основополагающих принципов и прав, подлежащих защите
    Чтобы гарантировать, что ИИ уважает демократические ценности, мы опираемся на Хартию основных прав Европейского Союза, которая помогает нам определить основные группы прав и принципов, на которые может повлиять ИИ. Это:

    • А) Равенство и недискриминация
    • Б) Защита данных и конфиденциальность
    • В) Безопасность и надежность.
    • D) Transparència и объяснимость
    • E) Хранение счетов и возможность проверки
    • F) Устойчивое развитие и солидарность

  • Шаг 2: Идентификация сопутствующих рисков и их связи с принципами и правами, подлежащими защите.
    Чтобы выявить наиболее распространенные риски при использовании ИИ, AOC принялСтруктура управления рисками искусственного интеллекта (AI RMF 1.0) от NIST, который связывает потенциальные риски с вышеупомянутыми принципами и правами. Этот подход позволяет определить, какие риски могут поставить под угрозу каждую из групп основных прав, тем самым помогая предвидеть и решать такие проблемы, как дискриминация, конфиденциальность или безопасность.

  • Шаг 3: Определение мер по управлению рисками
    Чтобы определить механизмы и гарантии, которые могут быть более подходящими и эффективными в каждом конкретном случае во избежание нарушения основополагающих принципов и прав, мы опирались на главу II Этические рекомендации для доверенного ИИ Европейской комиссии, а также в недавно утвержденном Регламенте ИИ (обязательное применение с 2 февраля 8 г.), чтобы механизмы определялись на основе уровня риска системы ИИ и для определенных систем или моделей ИИ. Например:
    • высокий риск: при соблюдении определенных требований безопасности и охраны transparènciaа также обязанность провести оценку воздействия на основные права до развертывания системы (статья 27).
    • Ограниченный рискминимальные обязательства transparència это позволит пользователям принимать обоснованные решения и быть внимательными при взаимодействии с ИИ.

Эта методология помогает нам поддерживать прозрачную, безопасную и ориентированную на защиту фундаментальных прав систему искусственного интеллекта.

→ Для получения более подробной информации вы можете ознакомиться с полным текстом документа: Методология управления рисками в системах искусственного интеллекта AOC (PDF)

→ В презентация (PPT, 7) вы можете увидеть сводную таблицу трех этапов методологии управления рисками AOC.

Опубликованные отчеты:

Статус проекта

В производствеБыло опубликовано четыре отчета. transparència алгоритмический.

Дополнительная информация

Реализованные практические кейсы:

Кейсы на стадии разработки:

Библиографические ссылки:

Правовые обязательства:

Европейская структура

  • Регламент (ЕС) 2016/679 Европейского парламента и Совета от 27 апреля 2016 г., касающийся защиты физических лиц в отношении обработки персональных данных и свободного обращения таких данных, которым отменяется Директива 95. /46/ЕС («RGPD»). Ссылка
  • Руководство по автоматизированным индивидуальным решениям и профилированию для целей Регламента 2016/679. Принято 3 октября 2017 г. и в последний раз пересмотрено и принято 6 февраля 2018 г. Рабочая группа по защите данных, статья 29 Директивы 95/46/ЕС. Ссылка
  • Постановление Европейского парламента и Совета, устанавливающее гармонизированные правила в области искусственного интеллекта (Закон об ИИ) и вносятся изменения в некоторые законодательные акты Союза. 12. Ссылка 

Государственная структура

  • Органический закон 3/2018 от 5 декабря о защите персональных данных и гарантии цифровых прав («ЛОПДГДД»). Ссылка
  • Соблюдение RGPD процедур, включающих искусственный интеллект. Введение Февраль 2020. АЭПД. Ссылка
  • Закон 15/2022 от 12 июля, всеобъемлющий о равном обращении и недискриминации. Ссылка

Каталонский каркас

  • Закон 19/2014 от 29 декабря transparènciaдоступ к общедоступной информации и надлежащее управление. Ссылка
  • Указ 76/2020 от 4 августа о цифровом управлении. Ссылка

[1] Например, Регламент об искусственном интеллекте определяет информацию, которая должна предоставляться в отношении определенных систем ИИ (статья 50); GDPR определяет информацию, которая должна предоставляться субъекту данных.eresкогда принимаются автоматизированные решения (статья 13); и LRJSP устанавливает обязанность информировать орган, ответственный за автоматизированное административное действие в электронном офисе, для целей обжалования (статья 41).