NVIDIA Generative AI Announces Development of Simulations Using AI Agents

NVIDIA Generative AI сообщает, что разработка симуляции требует соединения активов, физики и рендеринга, а также проверки поведения сцены. Разработчики объединяют передовые модели ИИ с библиотеками NVIDIA Omniverse для создания приложений, которые помогают исследовать сценарии, анализировать ошибки и улучшать дизайны. Разработчики управляют ИИ-агентами с помощью инструкций на естественном языке, просматривают результаты и вносят изменения. Библиотеки Omniverse предоставляют возможности для физического моделирования, рендеринга и симуляции сенсоров с использованием ускорителей GPU. Среди проектов, использующих передовые модели ИИ, таких как GPT-6 Astra, можно выделить создание симулятора гуманоидного робота для складской среды. Frank DeLise, менеджер продукта Omniverse в NVIDIA, использовал Astra для преобразования склада и гуманоидного робота в интерактивный симулятор с возможностью просмотра от первого и третьего лица. DeLise направил Astra на соединение библиотек NVIDIA Omniverse для физики, обновления сцен, рендеринга и пользовательского интерфейса, а также использовал Astra с SimReady для создания физической сцены в симуляции. Затем Astra сгенерировала анимацию и код приложения, чтобы объединить эти возможности. Другой проект направлен на создание рабочего процесса тестирования автономного вождения. Doyub Kim, менеджер команды технологий симуляции в NVIDIA, попросил Astra построить Zero to Alpamayo — переиспользуемую симуляционную среду на основе улицы Market в Сан-Франциско. Kim направил Astra на картирование рабочего процесса, затем соединил создание активов, трафик, симуляцию сенсоров Omniverse RTX и управление вождения в этапах, проверяя каждую интеграцию. Получившийся прототип стал испытательным полигоном для сравнения моделей и отслеживания того, как изменения в сцене или сенсорах влияют на поведение вождения. Сравнение записанных и смоделированных выходных данных камеры и лидаров дает разработчикам ключевые показатели для улучшения сцены. Ashley Reid, работающая в области валидации сенсоров RTX в NVIDIA, направила агентов Astra и Claude Fable 5 на сравнение выходных данных камеры и сырого LiDAR с записанными данными. Агенты создали два цифровых двойника с нуля и улучшили два существующих. За три дня Reid направляла итеративный рабочий процесс, в котором агенты измеряли различия, создавали или модифицировали сцены OpenUSD и проверяли результаты. В проекте Robo Olympics тестируются новые движения роботов. Tae Kim, возглавляющий инженерные и продуктовые разработки NVIDIA Omniverse, использовал спортивные видео и инструкции на естественном языке, чтобы направить Astra в создании экспериментального проекта, тестирующего гуманоидов Unitree G1 в спортивных движениях. Под руководством Kim, Astra создала контроллеры и улучшила их через физические испытания. Перед тем как робот сможет разобрать продукт, разработчики должны знать, могут ли его инструменты достигать и удалять детали. Jens Jebens, старший менеджер продукта OpenUSD в NVIDIA, направил Astra на моделирование подвески автомобиля в PTC Onshape и настройку в NVIDIA Isaac Sim. С помощью Astra Jebens исследовал компьютерное проектирование и изменения инструментов для роботов, основываясь на симуляции. Проект по преобразованию моделей Международной космической станции в браузер требует соединения активов, живых данных и интерфейса. Nic Johns, инженерный директор NVIDIA, предложил Astra собрать активы NASA в модель МКС OpenUSD с телеметрией. Johns создал приложение с помощью одного запроса, а затем использовал последующий запрос для изменения сцены так, чтобы на планете была видна дневная сторона. Цифровая реконструкция комнаты требует редактируемых объектов и точного физического поведения, прежде чем разработчики смогут тестировать взаимодействия. Chirag Majithia из команды инженерных приложений Isaac в NVIDIA направил Astra на преобразование захваченных стереокамерами данных в редактируемую студию OpenUSD. Этот рабочий процесс объединил PyCuSFM, FoundationStereo и nvblox для реконструкции, при этом обзор пользователя направлял выбор и размещение объектов. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.