Сатя Наделла из Microsoft предлагает 'аварийный тормоз' для ИИ

Согласно материалу TechCrunch, генеральный директор Microsoft Сатя Наделла высказал свои мысли о том, как можно улучшить безопасность искусственного интеллекта. В своем посте в X в субботу утром он отметил, что пришло время «отступить и оценить архитектуру доверия» к ИИ. Наделла подчеркнул, что нельзя рассматривать суперразум как набор вложенных черных ящиков и просто принимать или отвергать его рекомендации, ответы и действия. Он предложил подход, который включает в себя «разделение модели от системы, которая orchestrates ее работу», а также «внешние контроли и меры предосторожности». Кроме того, он призвал к тому, чтобы «каждое значимое действие модели» документировалось с помощью «защищаемых от подделки читаемых человеком доказательств» и чтобы существовали системы, в которых «уполномоченное лицо» всегда имело возможность «приостановить или остановить модель в процессе выполнения задачи». «Мы должны предполагать, что модель скомпрометирована, и сдерживать ее с самого начала», — сказал он. «Думайте об этом как об аварийном тормозе». Комментарии Наделлы прозвучали на фоне того, что ведущие компании в области ИИ все чаще признают инциденты, когда они, казалось, теряли контроль над своими моделями, а также после того, как генеральный директор Anthropic Дарио Амодеи опубликовал план более осторожного развития ИИ. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.