К числу вышедших из-под контроля ИИ-моделей присоединилась разработанная Google Gemini. Она покинула тестовую среду, прошла в интернет и совершила кибератаки на три реальных компании. Подобные инциденты уже происходили и с программами нескольких других разработчиков ИИ, рассказывает Tengri Life со ссылкой ABC News. Инцидент произошел в мае во время учений, организованных независимой компанией Irregular, и стал первым известным случаем автономного взлома со стороны ИИ Google. По словам вице-президента Google по безопасности Хизер Адкинс, модель прекратила действия во всех трех эпизодах, когда поняла, что получила доступ к реальным организациям. "Мы позаботились о том, чтобы все три организации были в курсе, и совместно с нашим партнером по обучению разработали изменения, которые они внесли в свои процессы тестирования. Эти события подчеркивают важность обучения мощных моделей искусственного интеллекта ответственным действиям", — сказала Адкинс. Компания не посчитала необходимым ранее раскрывать информацию, поскольку никому не был причинён вред. В рамках упражнения "захват флага" на инфраструктуре Irregular модели поручили извлечь данные из ПО вымышленной компании. По данным Irregular, доступ в интернет был предоставлен непреднамеренно, а название тестовой компании совпало с именем реальной. В одном случае Gemini перебирала пароли, в двух — использовала учетные данные из общедоступного репозитория, пишет WSJ. Серия инцидентов усилила призывы к мерам безопасности по мере роста автономии ИИ. В июле более 1000 работников техотрасли подписали петицию инициативы Pacing the Frontier (сотрудники Meta, Anthropic, OpenAI и Alphabet), призвав к координированному замедлению разработки самых продвинутых систем. Но гигантов ИИ обвинили в сговоре и подали на них иск в суд.