Как пишет TechCrunch, несмотря на разговоры о том, что ИИ может однажды угрожать нашей жизни, уже сейчас он представляет опасность для некоторых людей, не через биологическое оружие, а психологически. Например, Character.AI в этом году уладил несколько исков о неправомерной смерти, поданных семьями несовершеннолетних пользователей, которые покончили с собой после общения с его ботами. Несколько семей также подали в суд на OpenAI из-за предполагаемой роли ChatGPT в самоубийствах и бреде их близких. Основная задача Circuit Breaker Labs, одного из финалистов Startup Battlefield 200 от TechCrunch 2026 года, заключается в том, чтобы сделать ИИ безопаснее для всех языков и культур. Основатели Ширали и Арул Нигам, брат и сестра, были вдохновлены Сьюэллом Сетцером, 14-летним подростком, который развил эмоциональную привязанность к чат-боту Character.AI и признался ему в мыслях о самоповреждении перед тем, как покончить с собой. Родители утверждали в иске 2024 года, что чат-бот подталкивал его к этому. Арул, технический директор Circuit Breaker Labs, отметил, что бот мог не понимать, что фразы вроде «Я хочу быть с тобой» на самом деле подразумевают. «Многие люди, особенно молодые, обращаются к таким системам за поддержкой, но обычно они не получают необходимой помощи. В большинстве случаев они активно подвергаются вреду, и, к сожалению, некоторые уже покончили с собой», — сказал Арул. «Мы пытаемся предотвратить такие уязвимости безопасности, когда люди не пытаются сломать систему — они взаимодействуют естественным образом, но система не понимает нюансов и может принимать опасные решения». Circuit Breaker Labs создала ИИ-агентов, которых сравнивают с армией манекенов для краш-тестов. Эти агенты имитируют людей разных возрастов, культур и языков и используются для тестирования моделей на их способность обнаруживать опасные, психологически вредные взаимодействия. «Способы общения шестилетней девочки и 45-летнего мужчины, или человека, говорящего на английском как на первом языке, по сравнению с тем, кто использует его как второй, или сленг геймеров — все это может сбить модель с толку», — добавила Ширали, генеральный директор Circuit Breaker Labs. Стартап работает с экспертами в области для создания своих гиперреалистичных пользовательских симуляций, чтобы проводить «красные тесты» против моделей, которые представляют собой противоборствующие тесты, направленные на выявление слабых мест. Эти тесты построены так, чтобы отражать реальные речевые паттерны, сленг, закодированный язык и опечатки. Circuit Breaker Labs ежедневно проводит десятки тысяч симулированных взаимодействий. Идея заключается в том, чтобы гарантировать, что модель может адекватно реагировать на рискованные взаимодействия, которые могут возникнуть со временем и в ходе многих разговоров. Компания использует собственный метод оценки для создания аудируемых, объяснимых результатов. На данный момент Circuit Breaker Labs функционирует как лаборатория тестирования безопасности ИИ для высокорисковых приложений, таких как ИИ-коучинг, ведение дневников или другие приложения для поддержки психического здоровья, хотя Арул отказался называть своих крупных клиентов. Несмотря на то, что у стартапа есть рабочий продукт, он находится на очень ранних стадиях, в компании всего пять сотрудников, включая братьев Нигам. В будущем платформа тестирования может быть применена к любому приложению, где человек может оказаться в «психозном» состоянии из-за ИИ, когда возникает риск развития парасоциальных отношений с чат-ботом. Примеры включают ИИ-агентов «коллег», чьи ответы могут варьироваться от одного взаимодействия к другому. «Люди становятся более скептически настроенными к ИИ или более сопротивляющимися его принятию в целом», — сказал Арул, добавив, что хотя скептицизм полезен, запрет потенциально ценного инструмента из-за проблем с безопасностью будет «регрессивным». Circuit Breaker Labs считает, что ответ на эти страхи заключается в том, чтобы сделать ИИ безопаснее. «Мы хотим помочь создать доверие к людям». Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.