Как сообщает NVIDIA Developer, агенты искусственного интеллекта обеспечивают значительные приросты производительности в сложных процессах проектирования чипов, однако их склонность генерировать правдоподобные, но некорректные артефакты создает серьезные проблемы с надежностью, что является основным барьером для внедрения в производство. В многоэтапных инженерных процессах незамеченная ошибка на раннем этапе может незаметно распространиться на последующие стадии и конечную генерацию артефактов. Оценка и доработка этих агентов на основе проверенных финальных выходов, а не изолированных промежуточных этапов, необходима для создания надежной автоматизации. NVIDIA NeMo Gym, открытая библиотека для оценки и улучшения моделей и агентов с использованием окружающей среды, решает эту задачу. Оценочная среда NeMo Gym предназначена для диагностики режимов отказа и отслеживания распространения ошибок в сложных многоэтапных процессах. Создавая специализированный проверяющий инструмент для инспекции финальных выходов по сравнению с проверенными эталонными артефактами, NeMo Gym позволяет инженерам отслеживать полные траектории развертывания и выявлять коренные причины скрытых ошибок. В данной статье рассматривается, как NeMo Gym использовался для оценки и повышения надежности AI-агента Siemens Fuse EDA при вызове инструментов характеристики. Команда Siemens Fuse использовала NeMo Gym для масштабирования оценок и проверки полученных файлов Liberty (.lib) на соответствие известным эталонам, а также для отслеживания как распространенных, так и редких ошибок на каждом этапе развертывания. Эти находки стали основой для изменений в навыках агента и описаниях инструментов Протокола Контекста Модели (MCP), что увеличило измеренный составной балл бенчмарка с примерно 55% до ~95% по набору стандартных задач характеристики ячеек, при этом сократив количество вызовов и выходных токенов. Автоматизация характеристики стандартных ячеек является процессом генерации точных моделей времени, мощности и шума для логических ячеек в различных условиях эксплуатации. Этот процесс является основополагающим для проектирования чипов и необходим при каждом выпуске нового комплекта проектирования (PDK) полупроводниковой фабрикой. Каждый новый PDK включает модели транзисторов SPICE, правила проектирования и определения процессов, напряжения и температуры (PVT), которые связывают производственный процесс с инструментами проектирования. Когда фабрика обновляет PDK, существующие наборы данных характеристики могут больше не точно описывать обновленные устройства. Модели времени и мощности необходимо заново генерировать и валидировать для каждой затронутой ячейки в комбинациях входного скольжения, выходной нагрузки и условий PVT. Агент Solido Characterization Suite автоматизирует этот процесс, управляя инструментами из более широкой Solido Characterization Suite через AI-агента Siemens Fuse EDA, который предоставляет серверы MCP и навыки для общих кодовых оболочек, включая Claude Code, Codex и Cursor. Интерфейсы MCP делают эти ускоренные инструменты доступными для инженерных агентов, в то время как навыки направляют их использование в процессах характеристики. Более быстрая симуляция помогает агентам завершать инженерные итерации быстрее, в то время как NVIDIA NeMo Gym помогает разработчикам измерять и улучшать, насколько надежно и эффективно агенты управляют этими инструментами. Агент Solido Characterization Suite должен выполнять настройку инструментов, крупномасштабную симуляцию SPICE, распределенные вычисления, генерацию файлов Liberty, отладку и финальную валидацию. Ошибки часто приводят к правдоподобным выходным данным вместо чистых сбоев, оставляя неправильные пороги, отсутствующие углы или неполные ячейки скрытыми. Поскольку эти этапы зависели друг от друга, ошибка на раннем этапе настройки могла распространиться на каждый следующий шаг. Определение строгого протокола оценки стало ключевым шагом в подготовке агента Solido Characterization Suite для производственных рабочих процессов. Часть коллекции открытых библиотек NVIDIA NeMo для специализации и оптимизации агентов, NeMo Gym интегрируется с потоком характеристики стандартных ячеек внутри контролируемого цикла оценки. Он определяет задачу, инструменты, состояние и проверяющий инструмент для каждого развертывания, так что попытки начинались с чистого состояния и давали сопоставимые результаты. Он также записывает трассы мышления, входные и выходные сообщения, а также действия инструментов. Это позволило инженерам запустить следующий цикл оптимизации: провести базовые развертывания с версионированной задачей и проверяющим инструментом в пользовательской среде NeMo Gym, инспектировать траектории, неудачные вызовы инструментов и диагностику проверяющего инструмента, выявить неоднозначные инструкции, непродуктивные действия и неправильный выбор инструмента, уточнить навыки агента и описания инструментов MCP, повторить те же задачи при тех же условиях оценки, сравнить проверенные результаты и эффективность по успешным результатам. В ходе анализа траекторий агентов, оценка от начала до конца выявила сбои, которые были пропущены промежуточными проверками. Например, финальная проверка Liberty выявила отсутствующие ячейки и условия эксплуатации, неправильные пороги скольжения и значения времени или мощности вне допустимых пределов. Эти находки показывают, почему инженерные агенты должны оцениваться на основе финальных артефактов, а не только на успехе отдельных вызовов инструментов. Чтобы сделать работу воспроизводимой, команда реализовала проверяющие инструменты, которые предоставляют финальный составной балл вознаграждения на основе следующих метрик: покрытие, валидность, относительная валидация, точность и целостность. Команда использовала открытый исходный PDK GF180MCU для бенчмаркинга агента Solido Characterization Suite на генерацию файлов Liberty. Набор данных включает 229 стандартных ячеек по 36 углам PVT, с использованием Solido AFS для симуляции SPICE. Пользовательская агентская среда была создана с использованием NeMo Gym. Для каждого запуска поток характеристики был ограничен двумя ячейками по 36 углам PVT, так как этот меньший поднабор был достаточен для настройки агентского рабочего процесса. Каждый запуск занял примерно 1,5–2 часа, и команда провела около 25 развертываний, используя Claude Opus 4.8, работающий в Claude Code в качестве фиксированной модели и оболочки агента. В ходе последовательных раундов оценки команда уточнила навыки характеристики агента и описания инструментов MCP. Чтобы улучшить выбор инструментов, они упростили перекрывающиеся интерфейсы файлов и оболочек и определили входные данные инструментов с явными JSON-схемами, что упростило вызов инструментов характеристики для агента. После этих доработок средний составной балл верификации по оцененным развертываниям увеличился с примерно 55% до 95%. Улучшенный рабочий процесс также потребовал меньше вызовов агента и выходных токенов. Количество вызовов агентов сократилось с 155 до 53, что составляет снижение примерно на 66%, в то время как выходные токены сократились с примерно 81K до 29K, что составляет снижение примерно на 64%. Разработанный надежный агент в других областях с использованием того же метода. Тот же метод оценки применим к инженерным агентам в EDA, CAE и других инженерных областях: оцените финальные инженерные артефакты, а не только успешность отдельных вызовов инструментов. Напишите специализированный оценщик/проверяющий инструмент, который выявляет отсутствующие, усеченные, переработанные или повторно используемые результаты, чтобы предотвратить мошенничество агентов. Соберите большое количество развертываний, чтобы нацелиться на улучшение надежности через оптимизированные навыки и интерфейсы инструментов MCP. Начните с NeMo Gym, используя руководство по быстрой настройке NeMo Gym для проведения начальной оценки. Затем примените подход, описанный в этой статье, к одной представительной задаче: определите действительный финальный артефакт, создайте специализированный проверяющий инструмент, инспектируйте сбои развертывания, уточните навыки и описания инструментов и повторно запустите при постоянных условиях оценки. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.