Как пишет Mistral AI, компания представила Robostral Navigate — модель с 8 миллиардами параметров, позволяющую роботам автономно перемещаться в сложных условиях, используя только одну RGB-камеру. Эта модель продемонстрировала успех в 76,6% на невидимых тестах R2R-CE, превосходя многосенсорные подходы и обеспечивая большую эффективность. Robostral Navigate была полностью разработана внутри компании с использованием симулированных данных и эффективных методов токенизации. Она адаптируется к различным типам роботов и способна справляться с реальными препятствиями, которые не были показаны во время обучения. Модель сочетает навигацию на основе указаний с методом обучения с подкреплением для постоянного улучшения, что открывает путь к единой эмбодированной ИИ в робототехнике. Robostral Navigate — это первая модель, созданная для эмбодированной навигации. Она принимает RGB-изображения и текстовые инструкции, позволяя роботу перемещаться по заданной траектории: «Выйдите из вестибюля, пройдите по коридору, зайдите в склад и остановитесь, чтобы посмотреть на вторую полку». Для выполнения подобных задач другие модели часто используют датчики глубины, LiDAR или несколько камер, в то время как Robostral Navigate работает только с одной обычной RGB-камерой и не требует датчиков глубины, что позволяет достичь 76,6% на валидации R2R-CE. Модель предназначена для навигации роботов, что позволяет им автономно перемещаться в сложных условиях, включая офисные, жилые и коммерческие здания, а также открытые пространства. Эта технология открывает множество возможностей в производстве, доставке, логистике и гостиничном бизнесе, что делает её одной из самых востребованных для клиентов компании. Robostral Navigate может выполнять задачи самостоятельно, перемещаясь через живое пространство, полное людей и препятствий, с которыми она не сталкивалась ранее. Благодаря этому, модель демонстрирует высокую производительность на тестах R2R-CE, включая 79,4% успеха на видимой валидации. Модель была построена с нуля и не полагается на существующие открытые модели. Она инициализируется с использованием модели «визуально-языковой», специализированной для задач, таких как указание, подсчет и локализация объектов. Навигация становится естественным продолжением этих возможностей: как только модель понимает, где находятся объекты, она учится, как перемещаться. Ключевым элементом Robostral Navigate является эффективный алгоритм обучения, основанный на кэшировании префиксов. Этот метод позволяет сжимать целый эпизод в одну последовательность, что позволяет обучаться на всех временных шагах за один проход, предотвращая утечку информации между временными шагами. Это позволяет сократить количество токенов для обучения в 22 раза, сохраняя все сигналы обучения. После этапа супервизионного обучения модель дополнительно улучшает свои показатели с помощью онлайн-обучения с подкреплением. Этот метод позволяет модели обучаться на собственных ошибках и развивать исследовательское поведение, что эффективно уменьшает проблемы с распределением данных. Это улучшение увеличило успех на 3,2%. Robostral Navigate — это только первый шаг к созданию единого эмбодированного агента. Компания считает, что навигация является основной способностью для универсальной робототехники. Объединив крупномасштабное моделирование, эффективное обучение и сильные основы, Robostral Navigate демонстрирует, что можно достичь передовой эмбодированной навигации с помощью компактной модели и одной RGB-камеры. Компания активно расширяет свою команду в области робототехники и ищет талантливых исследователей и инженеров, которые разделяют их амбиции. Если вы заинтересованы в том, чтобы присоединиться к их миссии по обеспечению бесшовной навигации для роботов, они приветствуют ваши заявки. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.