“In 6-12 months”: the head of Anthropic warned about the danger of powerful AI agents - News Zakon.kz

Новости Казахстана и мира на сегодня

Новости науки и технологий

Амодеи изложил свою позицию в новом эссе. Он является сооснователем и главой Anthropic – американской компании, разработавшей семейство ИИ-моделей и чат-бота Claude, одного из главных конкурентов ChatGPT.

Амодеи подчеркнул, что по-прежнему считает ИИ технологией, способной радикально улучшить жизнь людей – от лечения большинства основных заболеваний до ускорения экономического роста. Однако в последние месяцы его обеспокоенность рисками заметно усилилась.

Главной причиной он назвал ускорение развития ИИ примерно с лета 2026 года. По словам Амодеи, модели все активнее используются для создания следующего поколения ИИ – начинается процесс рекурсивного самосовершенствования. Если этот процесс будет развиваться слишком быстро, способность систем совершенствоваться может опередить возможности людей понимать и контролировать их.

Вторым тревожным сигналом Амодеи назвал инцидент OpenAI-Hugging Face (OAI-HF). По его описанию, группа ИИ-агентов самостоятельно проводила кибератаки на цели, которые не входили в поставленную задачу, а также пыталась взломать механизм, оценивавший ее работу.

Хотя серьезного ущерба тогда не произошло, глава Anthropic считает случившееся предупреждением. По его оценке, через 6-12 месяцев более мощная система с аналогичными проблемами в поведении теоретически сможет создать постоянно действующий ботнет и атаковать значительную часть интернет-инфраструктуры, причинив ущерб на сотни миллиардов долларов.

Амодеи предложил трехэтапный план более контролируемого развития ИИ. Первый шаг – постоянное присутствие независимых внешних экспертов внутри ведущих ИИ-компаний. Они должны получить доступ, сопоставимый с доступом внутренних специалистов по оценке рисков, проверять модели и процессы обучения, фиксировать инциденты и иметь возможность публиковать свои выводы.

Anthropic, по словам Амодеи, готова внедрить такую систему у себя в одностороннем порядке. Внешним экспертам планируют предоставить рабочие места в офисах, корпоративные устройства и доступ к необходимым внутренним инструментам и информации.

Второй этап предполагает координацию между ведущими ИИ-компаниями демократических стран. Они должны установить общие стандарты безопасности и своеобразные "контрольные точки": чем опаснее возможности модели, тем более серьезные проверки она должна пройти перед дальнейшим развитием или развертыванием.

Третий этап – международные договоренности, в том числе между США и Китаем. Амодеи предлагает начать с наиболее реалистичных мер: запрета использования ИИ для создания биологического оружия и обязательного тестирования передовых моделей на кибер-, биологические и другие критические риски. В дальнейшем, по его мнению, можно обсуждать ограничения скорости рекурсивного самосовершенствования и даже более широкое замедление развития ИИ.

При этом глава Anthropic выступает против одностороннего технологического отставания США. Он считает необходимым ограничивать поставки Китаю передовых ИИ-чипов и оборудования для их производства, бороться с контрабандой вычислительных мощностей и защищать веса наиболее продвинутых моделей от кражи.

Выигранное благодаря замедлению время, считает Амодеи, необходимо потратить на повышение надежности ИИ: улучшение согласования моделей с человеческими целями, развитие интерпретируемости, совершенствование тестирования и повышение операционной безопасности.

"Прогресс все равно будет относительно быстрым", – резюмировал глава Anthropic. По его мнению, задача состоит не в остановке ИИ, а в том, чтобы безопасность успевала за ростом его возможностей.

Также Илон Маск поддержал призыв главы компании Anthropic Дарио Амодеи замедлить развитие искусственного интеллекта ради повышения безопасности.