Как происходит и какое значение имеет плохое обращение с пользователями-ИИ в диалоговых системах?

Исследования безопасности часто фокусируются на вреде, создаваемом моделями, но пользователи также могут направлять на модели враждебность, принуждение и враждебное давление. Понимание того, как и когда это происходит, необходимо для точной интерпретации поведения модели, отклонения выравнивания и реального развертывания…