RWE-bench: a benchmark for solving engineering problems

📌 RWE-bench: бенчмарк на решение инженерных задач Стартап Xplore собрал набор из 20 задач по механике, электронике и авиационной технике, где модель должна выдать работающую конструкцию. Каждую задачу составил инженер команды, специалист в своей области, и к каждой приложено образцовое решение, удовлетворяющее всем требованиям. Задачи устроены так, что в них приходится увязывать несовместимое. В одной нужно спроектировать в системе автоматизированного проектирования цельный стальной коленчатый вал для трёхцилиндрового дизеля с масляными каналами, уложившись в пределы по напряжениям, жёсткости и нагрузке на подшипники при полной нагрузке на 2400 оборотах и выдержав миллионы циклов до усталостного разрушения. В другой требуется развести на восьмислойной плате 32-разрядную шину памяти DDR3L от процессора Zynq-7000 к двум микросхемам, т. е. 71 цепь от корпуса с 484 выводами при почти 300 установленных компонентах, не выходя за допуски по рассинхронизации сигналов и сопротивлению. В третьей надо построить расчётную сетку и досчитать до сходимости обтекание лопатки турбины, чтобы выдать коэффициент теплоотдачи по поверхности и общий тепловой поток. Проверяемая модель работает в своей обычной обвязке на максимальном уровне рассуждений и получает песочницу с инженерными инструментами, среди которых CadQuery, Gmsh, CalculiX и Python. Перед сдачей она может сама проверить результат. Готовую работу принимает специальная программа, которую Xplore не раскрывает. Она пересчитывает каждое требование и для этого запускает физические решатели, а ошибка хотя бы по одному пункту означает незачёт. Человек и модель-судья в проверке не участвуют. 🟡Тесты Лучший средний результат у GPT-6 Astra, 37%, за ней - Claude Opus 5.5 с 29% и GPT-6.1 Sol с 25%. У Gemini 4 Argon 12%, у Claude Fable 5.1 7%, у Kimi K3.1 Pro 1%, а пять моделей не решили ни одной задачи, это DeepSeek V4.1 Flash, Qwen3.8 Max, GLM-5.3, Muse и Grok 4.7. Sol обходится в 10,28 доллара, Astra стоит 58,83, а Opus 5.5 - 57,52. Самой дорогой оказалась Fable 5.1, 97,57 доллара за попытку при 7% решённых задач. Дешевле всех работает DeepSeek V4.1 Flash, 1,03 доллара, но без единой решённой задачи. Xplore продаёт тренировочные среды на основе этих задач отдельной услугой, а сами задачи никогда не передаются для обучения моделей. Отдать модель на проверку можно только по договорённости с командой, и результат попадает в таблицу лишь с согласия заказчика. Выкладывать тесты в открытый доступ стартап не обещает, а в планах у неё более сложные задания и новые области, биомеханика, строительство и материаловедение. Похожий тест с инженерными задачами есть у коллектива китайских университетов во главе с Университетом Цинхуа. Их EngiWorld открыт - выложены код, данные задач и статья с методикой. @ai_machinelearning_big_data