Как сообщает издание MIT Technology Review, Ник Камарата, исследователь стартапа Goodfire, поделился оптимистичной новостью о природе нейронных сетей. В своём блоге он утверждает, что языковые модели могут быть гораздо проще для понимания и контроля, чем считалось ранее. Если это правда, это может оказать значительное влияние на индустрию искусственного интеллекта, которая сталкивается с проблемами, связанными с неконтролируемыми агентами, создаваемыми такими компаниями, как OpenAI и Anthropic. Камарата считает, что его утверждение может стать важным моментом в научной истории. Один из исследователей ИИ даже назвал его публикацию «самой важной статьей по ИИ в этом году». Однако не все разделяют его оптимизм. Крис Поттс из Стэнфорда считает, что представленные идеи не облегчают понимание проблемы. Он отметил, что публикация не делает задачи более простыми и что многие исследователи всё ещё не понимают, как работают языковые модели. Камарата провел много времени, исследуя нейронные сети, и считает, что в них есть определённая логика. Он утверждает, что его прежние эксперименты с моделями, такими как Inception v1, могли быть ошибочными. Например, он обнаружил, что нейрон, реагирующий на изображения машин и кошек, на самом деле связывает их по общему признаку — форме, напоминающей букву V. Несмотря на свои оптимистичные выводы, Камарата признаёт, что полное понимание нейронных сетей всё ещё далеко от завершения. Он говорит, что работа по пониманию механизмов ИИ только начинается, и важно продолжать исследовать, как соединяются нейроны и формируют цепи. В то же время некоторые исследователи, такие как Джейкоб Хилтон из Центра исследований согласования, подчеркивают, что понимание внутренней работы языковых моделей остаётся крайне ограниченным. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.