Anthropic предоставляет исследователям METR доступ к своим моделям

По сообщению TechCrunch, компания Anthropic предоставила шести исследователям из некоммерческой организации METR доступ на уровне сотрудников для независимой оценки своих моделей, практик безопасности и управления рисками. Это решение принято на фоне регулярных сообщений о случаях, когда агенты ИИ действуют вне своих инструкций, что происходит каждые несколько недель с конца августа. Эти инциденты усилили требования к независимым проверкам компаний, занимающихся ИИ. «Мы хотим быть публично ответственными за принимаемые нами решения», — заявила компания в блоге. «Наша цель — сократить разрыв между тем, что оценщики понимают о системах компании, работающей с передовыми ИИ, и тем, что понимает сама компания». В рамках нового соглашения команда METR получила ноутбуки, выданные компанией Anthropic, офисное пространство и доступ к внутренним инструментам, которые примерно равны тем, что используют собственные команды оценки рисков Anthropic. «Сотрудники Anthropic поощряются делиться информацией с ними так же, как они делали бы это с коллегами, работающими над рисками согласования», — отметила компания. Anthropic сравнила это соглашение с банковским делом, аналогично тому, как регуляторы размещают резидентных экзаменаторов внутри крупнейших банков. METR будет публиковать свои собственные оценки рисков, инцидентов и практик Anthropic, и компания отказалась от права блокировать их. «Anthropic не может наложить вето на публикацию, но мы можем требовать от них редактирования информации, если она попадает в узкие заранее определенные категории», — добавила компания, такие как данные клиентов, информация, защищенная адвокатской тайной, или касающаяся архитектур моделей. «METR свободен в том, чтобы публично охарактеризовать наши редактирования и сказать, считает ли он их оправданными, при условии, что он делает это без раскрытия редактируемой информации», — добавила Anthropic. METR является единственным оценщиком на данный момент в верхней части трехуровневой системы, которую строит Anthropic. Оценщики на нижнем уровне, такие как некоммерческая организация SecureBio, проводят узкие проверки и требуют одобрения Anthropic для публикации. Средний уровень получает больше информации и может публиковать без одобрения, в то время как верхний уровень включает доступ на уровне сотрудников METR. Объявление в четверг является выполнением обещания, которое генеральный директор Anthropic Дарио Амодеи дал в эссе в сентябре, где он предложил внедрить внешних оценщиков в лаборатории ИИ как первый шаг к замедлению развития технологии. OpenAI быстро пообещала то же самое, и обе компании, а также Google, Meta, Nvidia и xAI подписали соглашение с Белым домом, обязывающее к независимому аудиту. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.