Black Forest Labs представила FLUX 3 Action: модель управления роботами

По сообщению MarktechPost, лаборатория Black Forest Labs (BFL), стоящая за моделями изображений FLUX, выпустила FLUX 3 Action. Это модель управления роботами с открытыми весами и 7 миллиардами параметров, которая предсказывает будущие видеокадры и последовательность действий на основе данных с камер, состояния робота и текстовой инструкции. На лидерборде RoboLab-120 она занимает первое место с 42,92% успешных задач. FLUX 3 Action можно развернуть, но с условиями. Политика DROID требует около 32 ГБ видеопамяти на GPU в формате BF16 на H200. Она также подходит для карт с 24 ГБ памяти при использовании FP8-квантования и выгрузки текстового кодировщика. Лицензия FLUX Kommunity позволяет некоммерческое использование. Модели управления, такие как Cosmos 3 Nano от NVIDIA, занимают второе место на RoboLab с 36,8%, но предсказание видео требует значительных вычислительных ресурсов. Модели, такие как π0.5, работают быстрее, но достигают лишь 28,0%. BFL измерила, что Cosmos 3 Nano (FP8) требует в 4,7 раза больше времени на обработку, чем π0.5 (BF16) за секунду движения робота. FLUX 3 Action сохраняет совместное предсказание видео и действий, а BFL сокращает разрыв в скорости с помощью меньшей архитектуры и дистилляции. Архитектура и обучение FLUX 3 Action основаны на мультимодальной модели FLUX 3. Предварительное обучение использовало данные изображений, видео и аудио, причем видео составило более 95% токенов для обучения. Текст, видео и состояние робота кодируются в токены, а будущие токены декодируются в видеокадры, а токены действий — в действия робота. Во время промежуточного обучения данные предварительного обучения (36,95% образцов) смешивались с видеозаписями, согласованными с действиями (63,05%). Данные о действиях включали записи игр, видео с человеческими руками и дистанционное управление через 14 различных реализаций. Большинство данных о роботах использует общее пространство действий с 50 измерениями, называемое EE50. Предварительное обучение здесь имеет большое значение: без него обучение только на DROID оставалось ниже 1% на RoboLab, тогда как с предварительным обучением тот же протокол достиг 11,6%. Результаты бенчмарка RoboLab-120 включают 120 задач на столе в Isaac Sim с 10 попытками для каждой задачи на установке Franka в стиле DROID. Модель FLUX 3 Action с 7 миллиардами параметров достигла 42,92%, тогда как Cosmos 3 Nano с 16 миллиардами параметров — 36,8%, а π0.5 с 3,3 миллиарда параметров — 28,0%. Это дает 6,1 процентного пункта преимущества при 56% меньшем количестве параметров по сравнению с Cosmos 3 Nano. Среднее значение для FLUX 3 Action составляет 42,24% ± 0,36. Реальные результаты на оборудовании показывают аналогичную картину. Компания Positronic Robotics провела слепую оценку на руке Franka с 10 задачами DROID и 3 попытками для каждой. FLUX 3 Action завершил 28 из 30 попыток (93,3%), в то время как Cosmos 3 Nano — 27 из 30, DreamZero — 20 из 30, а π0.5 — 13 из 30. BFL предлагает политику DROID в трех вариантах, каждый в форматах BF16 и FP8: базовый вариант, вариант с дистилляцией управления и вариант с дистилляцией шагов. Базовый вариант использует 4 шага выборки с разделенным управлением, в то время как дистиллированный вариант работает в 1,8-2 раза быстрее и показывает на 0,6-1,08 процентных пункта более высокие результаты. Вариант с дистилляцией шагов использует 1 шаг выборки и работает в 3,15-4 раза быстрее, но показывает снижение успеха на 3,51-4,32 процентных пункта. По сравнению с Cosmos 3 Nano в формате FP8 базовый и дистиллированный варианты работают в 1,52-3,95 раза быстрее на потребительских, рабочих и дата-центровых GPU. Каждый вызов генерирует 32 действия с частотой 15 Гц, что соответствует 2,13 секундам движения. π0.5 генерирует 1,0 секунду на вызов. BFL также протестировала гибридное управление с GPT 6 Astra, следуя настройкам Su et al. (2026). Причина может выполнять, редактировать или заменять предсказанные действия политики. С FLUX 3 Action и низкими затратами на рассуждения гибрид решал 90% эпизодов при затратах $8,77 и времени 8 минут 08 секунд на успех. Чистый Astra при максимальных усилиях решал 100%, но с затратами $13,47 и временем 16 минут 23 секунды на успех. Команды LeRobot и Jetson AI могут дообучать FLUX 3 Action на своих демонстрациях. BFL опубликовала рецепт DROID и рецепт SO-101 LoRA. В документации показан навык захвата и перемещения SO-101, изученный на основе около 200 демонстраций. Совместно с NVIDIA BFL интегрировала модель в Hugging Face LeRobot, и она поддерживает развертывание на краевых устройствах NVIDIA Jetson. Документация также включает примеры игры и симулированных дронов. Основные выводы: 7 миллиардов параметров WAM занимает первое место на RoboLab-120 с 42,92%. Превосходит Cosmos 3 Nano на 6,1 процентного пункта с 56% меньшим количеством параметров. Работает в 3,95 раза быстрее, чем Cosmos 3 Nano в FP8. Обеспечивает 2,13 секунды движения на вызов по сравнению с 1,0 секунды для π0.5. Веса, код и рецепты поставляются под лицензией FLUX Kommunity. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.