⚡️ Одна и та же модель набирает 62% в одном агентном харнессе и 33% в другом. Hugging Face показали, как это исправить через RL Команда Hugging Face выложила подробный гайд по multi-harness RL. Сами харнессы при этом не трогают. Модель подключают к прокси, который понимает все четыре API-формата coding-агентов: OpenAI Chat Completions, OpenAI Responses, Anthropic Messages и Gemini. Прокси записывает точные token ids и logprobs, которые семплировал vLLM, и на них идёт обучение. Claude Code, Codex и OpenCode работают как есть, без единой правки. Результаты на LFM2.5-2.6B от Liquid AI получились такие. После обучения сразу в четырёх харнессах точность выросла с 42% до 54%. Небольшой бонус за решение задачи за меньшее число шагов сократил вызовы инструментов на 31%. Обучение только в OpenCode подняло сам OpenCode с 34% до 58%, но мульти-харнесс модель стала лучше везде. Проверили и популярный короткий путь: SFT на 3 189 успешных траекториях Qwen3.8-27B. Имитация упёрлась в 47.5%, это ниже обоих RL-запусков. Копирование большой модели не заменяет практику в среде. Открыто всё: прокси для записи траекторий в OpenEnv, тренер в TRL (async GRPO), задачи, SFT-данные, код и семь обученных моделей. https://huggingface.co/spaces/AdithyaSK/multi-harness-rl @ai_machinelearning_big_data
Материал агрегирован из первоисточника:
Telegram — AI Machine Learning Big Data
Читать полностью в Telegram — AI Machine Learning Big DataОдна и та же модель набирает 62% в одном агентном харнессе и 33% в другом. Hugging Face показали, как это исправит...
⚡️ Одна и та же модель набирает 62% в одном агентном харнессе и 33% в другом. Hugging Face показали, как это исправить через RL Команда Hugging Face выложила подробный гайд по multi-harness RL. Сами харнессы при этом не трогают. Модель подключают к прокси, который понимает все…
Кратко от AI: Главные тезисы
- ⚡️ Одна и та же модель набирает 62% в одном агентном харнессе и 33% в другом
- Hugging Face показали, как это исправить через RL Команда Hugging Face выложила подробный гайд по multi-harness RL
- Сами харнессы при этом не трогают
Одна и та же модель набирает 62% в одном агентном харнессе и 33% в другом. Hugging Face показали, как это исправит...
Похожие материалы
Ансамбльное прогнозирование с помощью моделей временных рядов IBM Granite
Сообщение в блоге IBM Research об «Обнимающем лице»
ИИ научился определять место съёмки по фотографии с точностью до 2 метров
📍 ИИ научился определять место съёмки по фотографии с точностью до 2 метров Появился новый скилл для ИИ-агентов, который позволяет искать географические координаты по обычному снимку. Инструмент использует спутниковые карты, панорамы улиц и данные о рельефе, чтобы сопоставлять…
Казахстанец торговал пирожками, а теперь ведет многомиллионый бизнес с помощью ИИ
Агадил Ержанов закрыл первый бизнес с кассовым разрывом в 20 млн теңге, продавал сэндвичи вместе с женой, а спустя три года делает платформу для детей с ИИ-помощником и смартфон, в котором нет ни соцсетей, ни браузера. «Курсив» рассказывает интересную историю молодого…
В ChatGPT можно скрывать переписки под PIN-кодом или Face ID
🔒 В ChatGPT можно скрывать переписки под PIN-кодом или Face ID OpenAI начала постепенно запускать функцию Locked Chats, которая позволяет защитить отдельные переписки в ChatGPT от посторонних. Пользователи могут скрыть личные или конфиденциальные чаты из обычной истории и…
