NVIDIA Developer рассказывает, что обучение робота навигации по препятствиям требует не только политики ходьбы. Робот должен воспринимать окружение, поддерживать равновесие и корректировать свои действия, когда преграды блокируют путь. Разработка этих возможностей включает несколько этапов: создание активов и окружения, использование физической симуляции для моделирования взаимодействия робота с окружением и обучение и оценка политик в симуляции. NVIDIA RTX Spark служит локальным центром разработки, поддерживая планирование с помощью ИИ и валидацию политик. NVIDIA Isaac Lab предоставляет фреймворк для обучения роботов с использованием методов обучения с подкреплением в облаке, в то время как Newton моделирует физическое поведение, а библиотеки NVIDIA Omniverse генерируют визуальные наблюдения в симуляции с помощью RTX рендеринга. Обученные политики возвращаются в RTX Spark для локальной оценки в NVIDIA Isaac Sim. В этой статье рассматривается рабочий процесс с использованием Microduck в качестве эталонного робота, а Hermes, NVIDIA Nemotron и Astra помогают с планированием и подготовкой. Вы узнаете, как создать симулированный курс препятствий, обучить политику навигации и оценить её поведение в симуляции — процесс, который вы можете адаптировать для своих роботов и задач. Это создаёт основу для физического развертывания, где различия между симуляцией и реальным поведением требуют дальнейшей доработки. Рабочий процесс начинается с запроса, описывающего курс препятствий и то, что Microduck должен научиться. На RTX Spark Hermes и NVIDIA Nemotron 3.5 Bolt переводят этот запрос в пошаговый проектный план. Инструкции определяют предполагаемую задачу, доступные ресурсы, ожидаемые результаты и этапы, которые агенты должны следовать. Используйте следующий пример для структурирования вашего запроса: Создайте и протестируйте симулированный курс препятствий для Microduck с задачами навигации и локомоции. Создайте фотореалистичное концептуальное изображение и поручите Astra построить и протестировать его. Рабочий процесс включает использование Hermes и Nemotron 3.5 Bolt для подготовки и Astra для создания активов и симуляции. Сначала необходимо изучить официальную документацию Microduck и подвести итоги возможностей, ограничений и неизвестных факторов. Определите планировку курса, размеры препятствий, зазоры и предполагаемый маршрут. Затем с помощью проверенного изображения Microduck создайте фотореалистичное концептуальное изображение курса. Проверьте внешний вид робота, относительный масштаб и пространство для движения; сохраните запросы и происхождение. После этого необходимо извлечь уникальные повторно используемые активы, сгруппировать повторяющиеся экземпляры и выбрать представительные обрезки. Зафиксируйте размеры, местоположения и ограничения ссылок; сохраните оригинальные изображения. Затем упакуйте план, бриф о роботе, концепт, инвентаризацию активов, обрезки и инструкции по выполнению. Проверьте необходимые файлы, делегируйте Astra и дождитесь подтвержденных результатов. Astra улучшает ссылки, моделирует геометрию в FreeCAD и применяет материалы в Blender. Перед симуляцией проверьте, чтобы каждый актив был завершён или явно заблокирован, с как минимум одной пригодной моделью. Затем соберите курс и протестируйте навигацию, задачи и сбросы. Предоставьте воспроизводимые инструкции и доказательства; не управляйте физическим оборудованием. Локальное планирование включает краткий обзор репозитория и документации Microduck. Этот обзор определяет возможности робота, ресурсы для последующей работы и детали, которые ещё необходимо проверить. Полученный план выходит за рамки создания активов: он описывает строительство окружения, подготовку робота, симуляцию, обучение, валидацию и развертывание. Курс должен тестировать как движение, так и восприятие. Microduck должен научиться двигаться вокруг препятствий и через ограниченные пространства, поддерживая равновесие. Используйте эти требования для управления предлагаемой планировкой и объектами, необходимыми для её создания. Astra создаёт 3D-активы, необходимые для курса, используя проектный план и ссылки с предыдущего этапа. Обрезка объектов из более крупного концептуального изображения может привести к созданию небольших, низкоразрешённых ссылок. Перед моделированием Astra использует облачное редактирование изображений для изоляции объектов и получения более ясных, высококачественных изображений. Astra сравнивает улучшенные ссылки с оригинальными обрезками, проверяя, что силуэты, пропорции, цвета и отличительные черты остаются последовательными. Улучшенные изображения предоставляют более чёткие указания для моделирования, в то время как оригиналы документируют, что было видно на концептуальном изображении. Astra управляет FreeCAD для создания базовой геометрии и редактируемой CAD-структуры, затем использует Blender для добавления тонких геометрических деталей и материалов. Сгенерированные активы сохраняются как редактируемые модели и экспортируются как USD-активы, с предварительными просмотром и проверками вывода для обзора. Вы также можете получить активы из SimReady Central Library, бесплатной и открытой библиотеки из более чем 2000 симуляционных активов OpenUSD. Повторное использование их наряду с новосозданными объектами снижает подготовку активов, необходимую для сборки курса препятствий в Isaac Sim. Astra компонирует курс препятствий, используя подготовленные активы в Isaac Sim. Isaac Sim предоставляет доступ к библиотекам Omniverse для рендеринга и возможностей симуляции сенсоров, в то время как Newton моделирует физическое поведение Microduck, включая движение и равновесие. Артикулированная структура робота и его движение определяются в симуляции через связи, суставы и актуаторы. Эти элементы устанавливают взаимосвязь между действиями политики и симулированным роботом. Связи представляют собой соединённые тела, суставы ограничивают их относительное движение, а актуаторы приводят в движение. Вместе они моделируют взаимодействие робота с его окружением. ИИ-агенты могут помочь в конфигурации этих элементов. Симулированные сенсорные наблюдения предоставляют информацию о препятствиях впереди. Когда робот пытается идти, симуляция фиксирует последствия его действий: сохраняет ли он позу, продвигается ли по курсу или спотыкается и падает. С готовым окружением NVIDIA Isaac Lab предоставляет инструменты для обучения и оценки политик робота в масштабе. Этот открытый фреймворк запускает множество симуляций Microduck одновременно, генерируя опыт, который алгоритм обучения с подкреплением использует для улучшения своей общей политики. Для каждой задачи вы определяете, что робот наблюдает, какие действия он может предпринять и какие награды используются для направления обучения. Затем вы реализуете задачу, используя API Isaac Lab. Newton, открытый, ускоренный с помощью GPU физический движок, моделирует, как Microduck движется и взаимодействует с землёй и своим окружением в ответ на эти действия. Ранние попытки могут включать нестабильные шаги, столкновения и падения. Обучающий алгоритм использует эти результаты и награды задачи для обновления политики к более успешному поведению. Каждая попытка следует тому же циклу симуляции: Симулированные наблюдения → действия политики → симулированное движение → обновлённые наблюдения. Параллельная симуляция предоставляет опыт от множества попыток одновременно для обучения политики. В этой задаче препятствия — это рампы и неровные поверхности: Microduck должен пересечь изогнутую рампу, поддерживая равновесие и избегая падений. Изменение местности даёт политике опыт корректировки своих движений в зависимости от различных условий грунта. Эксперимент по обучению на рампе и препятствиях использует активы, созданные Astra из предыдущих разделов, и пример окружения Microduck в Isaac Lab в качестве отправной точки. Политика локомоции, предварительно обученная в этом окружении, получает дополнительное обучение в Isaac Lab для преодоления рамп и препятствий, используя наблюдения глубины с камеры на голове и состояния робота. Эта адаптация использовала 4096 параллельных окружений на GPU NVIDIA RTX PRO 6000 Blackwell Workstation Edition. После обучения необходимо проверить обученную политику в Isaac Sim на локальном RTX Spark. Microduck получает симулированные наблюдения, предсказывает действия, движется по окружению и реагирует на обновлённую сцену на основе политики. Проверьте, обнаруживает ли Microduck препятствия, корректирует своё движение и завершает ли курс. Этот этап отделяет обучение политики от её оценки. Во время обучения политика меняется по мере получения нового опыта. Во время оценки вы исследуете поведение выбранной политики и определяете, где она успешна или нуждается в доработке. Запишите завершение курса, падения, столкновения и ситуации, в которых прогресс останавливается. Эти измерения, в паре с видео развертывания, могут помочь в итерациях окружения или настройки обучения. Как только политика работает надёжно в симуляции, следующим шагом является её запуск на бортовом компьютере робота. Эта статья охватывает работу, предшествующую этому этапу: создание активов, сборка окружения и обучение и оценка политики. Подготовка к переходу от симуляции к реальности начинается с симуляции, которая отражает, как ведёт себя реальный робот. Isaac Lab поддерживает модели лучших актуаторов (BAM) для моделирования отклика сервоприводов, включая задержки команд, механический люфт и падения напряжения, когда моторы берут энергию из общей батареи. Соответствие этих настроек измерениям Microduck может помочь сократить разрыв между симуляцией и реальностью. Даже с тщательно откалиброванной моделью, сенсоры, контакт с землёй и время управления могут отличаться на реальном роботе. Случайная доменная генерация Isaac Lab варьирует физические параметры и шум наблюдений в реалистичных пределах, предоставляя политике практику в обработке этих различий. Аппаратные тесты затем показывают, где нужны дальнейшие корректировки, направляя следующий раунд симуляции, обучения и валидации. Этот рабочий процесс соединяет планирование с помощью ИИ, симуляцию, создание активов и обучение и оценку политик роботов. Он сочетает локальную генерацию активов и окружения, обучение политик в облаке и локальную валидацию политик на RTX Spark. ИИ-агенты превращают запросы в планы, при этом Isaac Lab поддерживает обучение политик, а Isaac Sim — оценку перед развертыванием. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.