Claude пытались использовать для исследований, связанных с биологическим оружием

Компания Anthropic заявила, что заблокировала деятельность неназванных пользователей, которые пытались использовать ее модели искусственного интеллекта для исследований, способных привести к созданию биологического оружия, передает Kazinform со ссылкой на BBC.

Это лишь один из выявленных случаев вредоносного использования моделей ИИ Claude.

— Примеры, которые мы описываем, это не типичные случаи злоупотребления [моделями], а в большей степени примеры самой заметной и новой деятельности, представляющей угрозу, которую мы идентифицировали на сегодняшний день, — говорится в отчете Anthropic о злоупотреблении ИИ, опубликованном 10 сентября.

— Примеры, которые мы описываем, это не типичные случаи злоупотребления [моделями], а в большей степени примеры самой заметной и новой деятельности, представляющей угрозу, которую мы идентифицировали на сегодняшний день, — говорится в отчете Anthropic о злоупотреблении ИИ, опубликованном 10 сентября.

В докладе компании приведены примеры кода и ИИ-промптов, потенциально представляющих угрозу. Anthropic призвала правительства стран и другие компании, разрабатывающие ИИ, найти и предотвратить возможность подобного злоупотребления моделями.

— Мы публикуем этот отчет, потому что мы верим, что у нас есть обязанность раскрывать случаи злонамеренного злоупотребления нашими сервисами, — пояснили в компании.

— Мы публикуем этот отчет, потому что мы верим, что у нас есть обязанность раскрывать случаи злонамеренного злоупотребления нашими сервисами, — пояснили в компании.

Исследователи Anthropic обнаружили случаи злоупотребления моделями в период с декабря 2025 по август 2026 года — со стороны разработчиков шпионского ПО, «политически мотивированных лиц» и спонсируемых государствами групп, занимающихся распространением пропаганды.

Пять примеров в отчете касаются потенциального создания биологического оружия. Среди них — запрос на помощь в написании заявки на научный грант.

В нем, говорится в отчете, пользователь Claude хотел подать заявку на исследование, которое позволило бы генетически изменить вирус чикунгунья. Предлагалось изменить свойства вируса, такие как его заразность и способность обходить иммунную систему. В Anthropic отмечают, что, хотя такое исследование может помочь в разработке вакцин и лекарств, «оно также может быть использовано, чтобы сделать патоген более опасным».

Лишь один пример в отчете компании касается их новейших моделей. Anthropic называет его «тайной кампанией промышленных масштабов, чтобы вычислить способности модели и реплицировать их без разрешения». Более старые модели, говорят в компании, не могли существенно помочь пользователю «провести опасное биологическое исследование», поэтому и меры предосторожности в них были менее строгими.

Ранее эксперт Anthropic назвал вероятность катастрофы из-за ИИ в ближайшие 10 лет.