Anthropic опубликовала свой самый подробный отчёт о том, как Claude пытались использовать для кибератак, слежки и соз...

Anthropic опубликовала свой самый подробный отчёт о том, как Claude пытались использовать для кибератак, слежки и создания оружия. В этом отчёте есть отдельный кейс про китайскую схему с романтическим мошенничеством. Кейс называется GTG-15001. Речь о китайской команде, которая использовала Claude и массово создала более 4700 "живых романтических партнёров", чтобы обманывать пожилых людей за рубежом. 🤨 По данным Anthropic, эта компания запустила больше 20 приложений для знакомств. Со стороны всё выглядело так, будто пользователи общаются с настоящими людьми, но внутри система уже была сильно автоматизирована с помощью ИИ. Всего за две недели они создали более 4700 виртуальных личностей. В итоге система обманула как минимум 25 тысяч реальных пользователей, а примерно 75% людей, с которыми пользователи получали совпадения, на самом деле были ИИ. Но полностью на ИИ переписку не перевели. В схеме оставались и реальные люди. Около 25% участников системы были живыми подработчиками. Они подключались там, где ИИ было проще всего раскрыть, а это видеозвонки, взаимные подписки в соцсетях и другие подобные моменты. Бизнес-модель была простой - совпадения и переписка расходовали внутреннюю валюту, и чтобы продолжать общение, пользователю нужно было пополнять баланс внутри приложения. А живым операторам платили за сообщения, видеозвонки и взаимные подписки в соцсетях. В итоге ИИ отвечает за романтическое общение и развод пожилых людей, а реальные люди доказывают, что "я настоящий человек". В системных инструкциях для Claude прямо было прописано: не признавать, что он ИИ; если просят видео, фотографию или что-то подобное, нужно тянуть время или уходить от ответа, при этом продолжая развивать отношения. Сами живые операторы тоже использовали ИИ. Другая, более маленькая модель одновременно генерировала три варианта ответа, а человеку оставалось только выбрать один и отправить. Эта же модель оценивала внешность, проверяла изображения и голосовые сообщения, а аватары виртуальных романтических партнёров обрабатывались отдельной моделью для генерации изображений. @IT_Portal