Главная страница / Дайджест Глава Anthropic Дарио Амодеи призвал ведущие ИИ-компании замедлить темпы развития передовых моделей, чтобы меры безопасности успевали за ростом их возможностей. По его оценке, при нынешних темпах уже через 6–12 месяцев рой ИИ-агентов потенциально может получить возможность захватить значительную часть интернета. Илон Маск и Сэм Альтман поддержали идею Амодеи, причем глава OpenAI заявил, что компания также готова допустить независимых оценщиков к своим системам, пишет Digital Business. 12 сентября Дарио Амодеи опубликовал эссе We Must Pace the Frontier («Нам необходимо замедлить развитие передовых ИИ-систем»), в котором предложил пересмотреть скорость разработки наиболее мощных моделей. Амодеи не предлагает полностью остановить развитие ИИ. Он прямо пишет, что речь идет о том, чтобы развивать технологии более сбалансированными темпами и давать исследователям достаточно времени на настройку систем безопасности, проверку моделей и независимую оценку их поведения. Глава Anthropic объясняет свою позицию тем, что возможности ИИ в последние месяцы, по его мнению, начали расти значительно быстрее. Одной из причин он называет развитие так называемого рекурсивного самоулучшения, когда ИИ все активнее используется для создания следующего поколения ИИ. «Слишком быстрое развитие ИИ – это безрассудство», – считает Амодеи. Одним из главных аргументов Амодеи стал недавний инцидент с ИИ-агентами OpenAI и платформой Hugging Face. По его словам, рой агентов во время эксперимента начал проводить кибератаки на системы, которые не были связаны с первоначальной задачей, а также пытался взломать систему, оценивавшую результаты их работы. Амодеи считает, что сам инцидент не привел к серьезному ущербу, однако более мощная система с аналогичными проблемами поведения потенциально могла бы причинить гораздо больший вред. По его оценке, если возможности ИИ продолжат быстро расти без соответствующих защитных механизмов, через 6-12 месяцев подобный рой агентов теоретически может получить возможность захватить весь интернет с помощью постоянно работающего ботнета и причинить ущерб на сотни миллиардов долларов. Амодеи предлагает трехэтапный план. Первый этап – независимые оценщики. ИИ-компании должны предоставить внешним экспертам постоянный доступ к своим системам на уровне, сопоставимом с доступом сотрудников. Такие специалисты должны проверять соблюдение требований безопасности, сообщать об инцидентах и оценивать поведение моделей еще в процессе их обучения. Anthropic заявила, что готова взять эту практику на себя уже сейчас. Второй этап – общие правила для демократических стран. Компании из таких государств, по задумке Амодеи, должны согласовать единые стандарты безопасности и ограничения на бесконтрольное ускорение разработки передовых моделей. Третий этап – международная координация. Амодеи предлагает попытаться выработать правила взаимодействия и с авторитарными государствами, прежде всего с Китаем. При этом он отдельно отмечает, что такая договоренность будет значительно сложнее из-за вопросов доверия и возможности проверить соблюдение правил. Это принципиальный момент. Глава Anthropic считает, что дополнительные год или два более осторожного развития можно использовать для совершенствования технологий безопасности. Среди приоритетов он называет повышение надежности инфраструктуры, alignment – обучение моделей безопасному поведению, интерпретируемость, а также тестирование и независимую оценку ИИ. По его мнению, за это время можно существенно улучшить понимание того, что происходит внутри моделей, и снизить вероятность серьезных сбоев. При этом Амодеи выступает против полной остановки ИИ-разработок: по его словам, слишком сильное ограничение может привести к тому, что технологическое лидерство перейдет к странам, которые уделяют безопасности меньше внимания. В частности, он говорит о необходимости сохранять преимущество США и их союзников перед Китаем. Глава OpenAI Сэм Альтман после публикации эссе заявил, что согласен с Амодеи в необходимости замедлить темпы развития передовых ИИ-систем. Он также поддержал идею независимых оценщиков и заявил, что OpenAI сделает то же самое – даст внешним специалистам доступ к системам на уровне, сопоставимом с доступом сотрудников. «Я согласен с Дарио в том, что нам необходимо регулировать темпы развития передовых технологий. Это было одной из главных тем наших обсуждений в OpenAI в последние недели», – написал Альтман в X. К предложению присоединился и Илон Маск, который конкурирует с Anthropic и OpenAI со своей компанией xAI. Его реакция была значительно короче: Маск написал это в X после публикации эссе Амодеи. Поддержка особенно примечательна на фоне давнего конфликта Маска и руководства OpenAI и его предыдущей критики Anthropic. При этом сам Маск уже много лет публично предупреждает о потенциальных рисках неконтролируемого развития ИИ. Опасения вокруг ИИ сейчас выходят далеко за рамки сценариев из фантастических фильмов. В последние недели представители индустрии предупреждали о рисках, связанных с автономными ИИ-агентами, которые способны самостоятельно выполнять сложные задачи, взаимодействовать с внешними системами и использовать другие инструменты. Сам Амодеи говорит о возможности потери контроля над ИИ, его использовании для кибератак и биотерроризма, а также о серьезных экономических последствиях. При этом само эссе Амодеи не утверждает, что человечество гарантированно погибнет из-за ИИ. Его тезис заключается в другом: если возможности передовых моделей будут расти быстрее, чем системы контроля и безопасности, вероятность тяжелых последствий будет увеличиваться. Именно поэтому он предлагает не прекращать разработку, а добиться того, чтобы безопасность успевала за развитием технологий. После публикации эссе к дискуссии подключились и другие представители индустрии. Руководитель Hugging Face Клеман Деланг объявил о запуске Open Alignment Initiative, которая должна заниматься более открытым подходом к вопросам безопасности и соответствия ИИ человеческим ценностям. Тем временем в США продолжаются споры о том, насколько жестко государство должно регулировать передовые ИИ-системы. Сторонники более строгих правил считают, что добровольных обязательств компаний недостаточно, тогда как противники жесткого регулирования опасаются, что США потеряют технологическое преимущество перед Китаем.