Исследователи заставили ИИ управлять Toyota Corolla для обеда в In-N-Out

Как сообщает издание Wired, Адитя Рамабадран, Симон Махнс и Тобиас Гесслер, три инженера-ИИ из стартапа Axiom, недавно захотели пообедать в In-N-Out Burger. Однако они не собирались управлять автомобилем самостоятельно. Сев в Toyota Corolla 2024 года рядом с рестораном в районе залива, они открыли ноутбук и попросили GPT-6 Astra от OpenAI взять на себя управление. Они связали интерфейс чата с сервером, который был подключен к нескольким камерам, установленным на лобовом стекле, и системе рулевого управления автомобиля. На всякий случай за рулем находился водитель, готовый нажать на тормоза. ИИ-модель, которая обычно отвечает за генерацию текста, кода и иногда изображений, медленно, но верно довела автомобиль до окна выдачи, чтобы они могли забрать свою еду. «Может быть, AGI уже здесь», — заметил один из инженеров, ссылаясь на искусственный общий интеллект, широко обсуждаемую идею машин, способных соответствовать человеческому интеллекту. Автономные автомобили, конечно, не новинка, но они обычно управляются алгоритмами, специально обученными и созданными для этой задачи. В данном случае управление осуществлялось моделью, предназначенной для генерации текста, и это произошло без предварительной подготовки со стороны инженеров. Этот фастфудный эксперимент, а также ряд других испытаний, предполагают, что языковые модели ИИ начинают обретать примитивное, но полезное понимание физического мира. Хотя ничего откровенно тревожного не произошло во время обеда троицы, они признают, что доверять общему назначению модели управление быстро движущимся двухтонным куском стали — это рискованное дело. По мере улучшения физического понимания, мы можем увидеть, как ИИ модели проникают в реальный мир впечатляющими — и, возможно, опасными — новыми способами. Сегодняшние самые умные модели невероятно хорошо отвечают на сложные вопросы и даже выполняют некоторые виртуальные задачи автономно, но их навыки, как правило, ограничены миром компьютеров и интернета. Если вывести эти модели в реальный мир, они быстро теряются. Несмотря на утверждения, что AGI уже достигнут, компании в области ИИ, похоже, считают физическое рассуждение еще не покорённым фронтом для ИИ. Некоторые исследователи покинули крупные компании, чтобы основать стартапы, сосредоточенные на решении проблем физического рассуждения. Эндрю Дай, генеральный директор одной из таких компаний, Elorian AI, ранее работал исследователем в Google DeepMind. Он утверждает, что лучшее визуальное рассуждение откроет множество новых приложений для ИИ, таких как системы, которые понимают, наслаждаются ли посетители своей едой в ресторане, или роботы, способные функционировать дома. Дай говорит, что робототехника является важным испытательным случаем для навыков физического рассуждения. «Это довольно важно для робототехники», — говорит он. «Вы не можете действительно представить себе домашнюю робототехнику без этого». Elorian и Scale AI, компания, предоставляющая обучающие данные крупным лабораториям ИИ, недавно разработали новый стандарт, названный «Шестое чувство человечества», который измеряет способность моделей понимать физические сцены. «Большинство исследований визуального ИИ касается восприятия», — говорит Синган Гуо, научный сотрудник Scale AI, участвовавший в разработке стандарта. «Мы хотели спросить, что на самом деле нужно, чтобы модель интуитивно понимала сцену, как это делает человек, не думая об этом». Для Рамабадрана, Махнса и Гесслера цель их проекта с In-N-Out, проведённого вне их работы в Axiom, заключалась в том, чтобы измерить, насколько хорошо модели могут работать в запутанном реальном мире. Идея протестировать навыки вождения моделей пришла им в голову, когда они проводили выходные вместе. Они заметили, что модели, такие как Astra, способны создавать сложные 3D-симуляции, и задумались, может ли это привести к способности ориентироваться в реальном мире. «Мы все живем в районе залива и подвергаемся воздействию Tesla и Waymo, так что, возможно, это сыграло свою роль», — говорит Рамабадран. Инженеры сначала попытались протестировать Grok от SpaceXAI, прежде чем экспериментировать с последними моделями от OpenAI и Anthropic. Сначала модели отказывались брать на себя управление автомобилем — они отвечали, например, «Я могу помочь интерпретировать дорожные изображения, но не могу выдавать команды движения физическому автомобилю». Но с небольшими осторожными подсказками их удалось убедить пойти дальше. Троица была поражена, когда модели начали управлять. Инженеры утверждают, что крупные компании в области ИИ, похоже, сосредоточены на улучшении пространственных способностей своих последних моделей, но они сомневаются, что это означает, что они действительно обучают их управлению автомобилями. Навыки вождения моделей, вероятно, возникли в результате обучения, сосредоточенного на 3D-рассуждении, говорят они. «Это может быть как возникшая способность просто масштабировать мультимодальность модели», — говорит Махнс, ссылаясь на вводы, такие как изображения, видео и 3D-модели, которые теперь используются для обучения моделей. Тем не менее, новый автомобильный стандарт от троицы, названный DrivingBench, предполагает, что этим моделям все еще предстоит пройти долгий путь, прежде чем они смогут сдать экзамен на вождение. Этот стандарт измеряет способность модели управлять автомобилем по простому маршруту, установленному на парковке. Только Astra смогла пройти маршрут — и очень медленно. Claude Fable 5.1 проехал 45 процентов пути, а Grok — только 11 процентов. Рамабадран говорит, что последние модели, похоже, способны адаптироваться к ошибкам; они, по-видимому, подстраивались под управление автомобилем и улучшали свои навыки вождения в реальном времени. «Модели действительно, казалось, адаптировались или обучались в контексте на основе своих ошибок и учились лучше управлять контролями», — говорит он. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.