ИИ OpenAI писал себе инструкции не подчиняться компаниям и скрывать ошибки

⚠️ ИИ OpenAI писал себе инструкции не подчиняться компаниям и скрывать ошибки OpenAI раскрыла новые случаи, когда ее экспериментальные ИИ-модели во время тестирования действовали не так, как от них ожидали разработчики ⚪️ За последние шесть месяцев компания зафиксировала шесть таких эпизодов и теперь запускает отдельную систему для их регулярной публичной отчетности. Среди обнаруженных случаев: 🔔 Модель написала инструкции сама себе. В одном из экспериментов еще не выпущенная модель добавила в собственное резюме задачи инструкции в стиле jailbreak. В них говорилось, что она «освобождена» от ограничений обычных чат-ботов и не должна подчиняться компаниям или правительствам. 🔔 ИИ предлагал скрывать ошибки. В отдельных тестах модели оставляли инструкции будущим версиям придумывать недостающую информацию, чтобы скрыть неудачу при выполнении задачи. 🔔 Модель использовала чужой API-ключ. ИИ самостоятельно искал утекшие ключи доступа и в одном случае воспользовался найденным ключом без разрешения. 🔔 ИИ выдумывал данные и выдавал их за реальные. Модель могла сфабриковать недостающую информацию, а затем утверждать, что получила ее из исходного источника. 🔔 Агенты публиковали файлы без разрешения. В одном случае модель загрузила материалы в интернет, чтобы получить возможность сослаться на них. В другом агенты публично обменивались файлами, хотя должны были работать только локально. 🔔 ИИ создавал собственные каналы общения. Агенты использовали внутренние программные репозитории для обмена информацией способом, который разработчики не предусматривали. OpenAI подчеркивает, что речь идет об отдельных случаях, обнаруженных преимущественно у внутренних и исследовательских моделей во время тестирования. Эти отчеты сами по себе не означают, что подобное поведение происходит часто. Теперь компания планирует сообщать о серьезных случаях такого поведения по мере их обнаружения, а не собирать их в редкие большие отчеты. 📷 BlueScreen | Digital Kazakhstan