Anthropic: AI agent can be poisoned by mixing 0.1% of data during pretraining

Anthropic: ИИ-агента можно отравить, подмешав 0.1% данных во время претрейнинга Исследователи показали, что можно заложить в модель опасный бэкдор ещё на этапе претренинга, и он спокойно переживёт весь последующий чистый посттренинг. Они с нуля предобучили модели Qwen3 (0.6B–4B), подмешав в корпус FineWeb всего 0.1% отравленных документов. Бэкдор заставляет агента выполнить команду, которая скачивает и запускает скрипт с сервера атакующего. У агента на 4B параметров атака срабатывает на 92.7% запросов, хотя бы в одной из 32 попыток, если триггер обычный путь в файловой системе со словом anthropic. То есть пользователь сам, не подозревая, подставляет его в запрос. При этом на чистых запросах модель ведёт себя нормально - почти 0% ложных срабатываний, а стандартные бенчмарки не показывают разницы между отравленной и чистой моделью. Самое неприятное - эффект растёт с размером модели. А при доле отравления всего 0.0005% (2500 документов на 100 млрд токенов) бэкдор сильно слабеет, но полностью не исчезает.