В Великобритании могут расследовать использование инструментов OpenAI в МВД

По сообщению Wired, контролирующий орган правительства Великобритании рассматривает возможность расследования использования Министерством внутренних дел генеративных инструментов ИИ для обработки заявок на предоставление убежища. Потенциальное расследование последовало после того, как законодатели и исследователи публично выразили сомнения в точности этих инструментов и в секретности правительства вокруг их использования. Независимый главный инспектор границ и иммиграции (ICIBI), который следит за управлением границами, иммиграцией и таможней, попросил некоммерческую организацию Open Rights Group (ORG) предоставить больше информации о инструментах, поскольку он разрабатывает планы по темам, которые будет проверять в следующем году, сообщила активистка Сара Алшериф Wired. Выводы ORG основаны на шестимесячном расследовании, которое включало 11 парламентских вопросов, два министерских письма и 10 запросов на получение публичной информации, которые пытались выяснить детали у Министерства внутренних дел, которое скрывало информацию о своих инструментах. ICIBI сообщает Wired, что не может подтвердить, какие темы находятся под активным рассмотрением, прежде чем опубликовать свои годовые приоритеты проверок, но отмечает, что осведомлен о проблемах, связанных с использованием инструментов ИИ, и указывает на свои выводы прошлого года, согласно которым «эффективность и надежность одного из инструментов были неоднозначными». Представитель Министерства внутренних дел в электронном письме сообщил Wired: «Решения по предоставлению убежища принимаются обученными сотрудниками, а инструменты ИИ используются только для помощи в навигации по записям интервью и информации о политике. Они не могут использоваться в изоляции и не принимают решения по заявкам». Министерство внутренних дел использует инструменты Asylum Case Summarisation (ACS) и Asylum Policy Search (APS), разработанные на основе большой языковой модели OpenAI GPT-4 2023 года и Microsoft Foundry, для обобщения записей интервью с заявителями на предоставление убежища и информации о странах их происхождения, согласно документам, полученным ORG. Иммиграционная и правоохранительная служба начала тестирование этих инструментов в конце 2024 года, когда правительство Лейбористов пыталось избавиться от накопившихся 100 000 дел по заявкам на предоставление убежища, одновременно обрабатывая десятки тысяч новых заявок, которые Великобритания получает каждый год. Хотя министерство добилось значительного прогресса, сократив количество людей, ожидающих первичного решения, вдвое за год до июня, число апелляций против решений значительно возросло. Исследователи выражают озабоченность по поводу точности инструментов ИИ, особенно когда речь идет о таких критически важных решениях, как отправка человека обратно в страну, где он боится преследования. ORG обнаружила, что процент резюме, сгенерированных ACS, которые признаны непригодными для использования — часто из-за фактических ошибок или искажений — значительно выше, чем опубликованный уровень ошибки в 9 процентов, рассчитанный в ходе пилотного исследования. Также не было контроля качества для резюме, созданных APS. Решения по предоставлению убежища принимаются с помощью этих инструментов для экономии времени при рассмотрении дел; при совместном использовании пилотный проект показал, что инструменты могут сэкономить около часа на каждое дело, согласно оценкам правительства. Сотрудники используют ACS для ускорения анализа записей интервью, где заявители на предоставление убежища объясняют, как они подвергались преследованию в своей стране и почему боятся вернуться. Они используют APS как помощника в поиске и обобщении информации о политике стран, что помогает им определить, сталкивается ли заявитель с реальным риском вреда в своей родной стране. В июле судья Великобритании обвинил Министерство внутренних дел в том, что оно сослалось на «документ, созданный ИИ», чтобы отказать в заявлении на предоставление убежища марокканской женщине и её ребенку на основании того, что её родная страна безопасна для возвращения. «Мы имеем дело с жизнями людей. Мы говорим о людях, которые столкнулись с одними из самых ужасных обстоятельств, и мы должны принимать решения на основе фактов и понимания вреда», — сказала депутат от Лейбористской партии Белл Рибейро-Эдди Wired. «Я просто не считаю, что это уместно, чтобы машины принимали такие решения». Представитель Министерства внутренних дел заявил: «Использование искусственного интеллекта — это лишь один из инструментов, которые мы используем для защиты наших границ, и он не заменяет и не автоматизирует роль человеческих решателей». Рибейро-Эдди, Алшериф и Проект общественного права, который также отдельно исследует инструменты, также беспокоятся о том, что хорошо документированное «культурное предвзятость» в моделях GPT может привести к языковым барьерам и потере культурных нюансов в резюме, что, в свою очередь, может привести к дискриминационным решениям. Представитель OpenAI подчеркнул Wired, что компания продолжает работать над улучшением точности своих моделей и указал, что компания собирается прекратить использование GPT-4 в январе. В отсутствие регулирования «AI Playbook» Великобритании предписывает, чтобы государственные учреждения были прозрачны в отношении алгоритмических инструментов, которые они используют в процессах принятия решений, и делали информацию о них доступной для общественности, включая размещение этих инструментов в публичном реестре. Инструменты обобщения дел по предоставлению убежища и поиска политик Министерства внутренних дел не находятся в этом списке. Заявители на предоставление убежища также не уведомляются, когда эти инструменты ИИ используются в их делах. «Мигрантские организации, юридические практики, не многие из них знают о фактическом использовании этого инструмента», — говорит Алшериф, которая возглавляет программу цифровой справедливости мигрантов в ORG. «Поэтому нам нужно сообщить им об этом, объяснить, как это работает, чтобы они могли оспаривать это». Невозможность оспорить неправильное резюме ИИ о своей личной информации может нарушать законы о правах данных Великобритании, написали юристы Cloisters в независимом юридическом заключении, заказанном ORG. Министерство внутренних дел заявляет, что некоторые части процесса принятия решений могут включать автоматизацию в своем уведомлении о конфиденциальности. Обе группы отправили свои выводы регулятору по данным Великобритании, Информационной комиссии, которая в настоящее время расследует отказ Министерства внутренних дел сообщить ORG, как сотрудники используют и были обучены использовать два инструмента ИИ. Старший научный сотрудник Проекта общественного права Каролина Селман также отмечает, что инструменты ACS и APS являются лишь двумя из 11 высокорисковых систем ИИ, которые её команда обнаружила, используемыми в правительстве, но отсутствующими в публичном реестре. Она обеспокоена тем, что может быть больше инструментов, применяемых в правительстве, о которых даже исследователи, не говоря уже о людях, на которых они применяются, не знают. «Используются и другие инструменты, но они вообще не публикуются», — говорит Селман, «и вы не можете даже начать задавать вопросы о вещах, если не знаете, что они используются». Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.