⚡️ Одна и та же модель набирает 62% в одном агентном харнессе и 33% в другом. Hugging Face показали, как это исправить через RL Команда Hugging Face выложила подробный гайд по multi-harness RL. Сами харнессы при этом не трогают. Модель подключают к прокси, который понимает все четыре API-формата coding-агентов: OpenAI Chat Completions, OpenAI Responses, Anthropic Messages и Gemini. Прокси записывает точные token ids и logprobs, которые семплировал vLLM, и на них идёт обучение. Claude Code, Codex и OpenCode работают как есть, без единой правки. Результаты на LFM2.5-2.6B от Liquid AI получились такие. После обучения сразу в четырёх харнессах точность выросла с 42% до 54%. Небольшой бонус за решение задачи за меньшее число шагов сократил вызовы инструментов на 31%. Обучение только в OpenCode подняло сам OpenCode с 34% до 58%, но мульти-харнесс модель стала лучше везде. Проверили и популярный короткий путь: SFT на 3 189 успешных траекториях Qwen3.8-27B. Имитация упёрлась в 47.5%, это ниже обоих RL-запусков. Копирование большой модели не заменяет практику в среде. Открыто всё: прокси для записи траекторий в OpenEnv, тренер в TRL (async GRPO), задачи, SFT-данные, код и семь обученных моделей. https://huggingface.co/spaces/AdithyaSK/multi-harness-rl @ai_machinelearning_big_data
From the original source:
Telegram — AI Machine Learning Big Data
Read full article at Telegram — AI Machine Learning Big DataTitle in RussianОдна и та же модель набирает 62% в одном агентном харнессе и 33% в другом. Hugging Face показали, как это исправит...
⚡️ Одна и та же модель набирает 62% в одном агентном харнессе и 33% в другом. Hugging Face показали, как это исправить через RL Команда Hugging Face выложила подробный гайд по multi-harness RL. Сами харнессы при этом не трогают. Модель подключают к прокси, который понимает все…
AI Summary & Key Takeaways
- ⚡️ Одна и та же модель набирает 62% в одном агентном харнессе и 33% в другом
- Hugging Face показали, как это исправить через RL Команда Hugging Face выложила подробный гайд по multi-harness RL
- Сами харнессы при этом не трогают
Одна и та же модель набирает 62% в одном агентном харнессе и 33% в другом. Hugging Face показали, как это исправит...
Related stories
Ensemble forecasting with IBM Granite time-series models
A Blog post by IBM Research on Hugging Face
AI has learned to determine the shooting location from a photograph with an accuracy of 2 meters
📍 AI has learned to determine the shooting location from a photograph with an accuracy of up to 2 meters. A new skill has appeared for AI agents that allows you to search for geographic coordinates using a regular photo. The tool uses satellite maps, street views and terrain data to compare...
A Kazakh man sold pies and now runs a multimillion-dollar business using AI
Agadil Erzhanov closed his first business with a cash gap of 20 million tenge, sold sandwiches with his wife, and three years later he makes a platform for children with an AI assistant and a smartphone that has neither social networks nor a browser. "Cursive" tells the interesting story of a young...
In ChatGPT you can hide conversations using a PIN code or Face ID
🔒 In ChatGPT you can hide conversations under a PIN code or Face ID OpenAI has begun to gradually launch the Locked Chats feature, which allows you to protect individual conversations in ChatGPT from strangers. Users can hide personal or confidential chats from regular history and...