⚡️ Sakana AI научила модель учиться у собственной команды агентов Sakana AI вместе с UC Berkeley представила MASS (Multi-Agent Self-Supervision). Это способ рекурсивного самоулучшения модели без людей и без внешнего учителя. Идея такая. Одна модель играет сразу три роли: исполнителя, оптимизатора воркфлоу и судьи. Сначала она решает задачу командой виртуальных сабагентов, затем сама ищет лучшую схему их взаимодействия и сама выбирает победителя. Лучшие прогоны команды становятся данными для дообучения, и после LoRA-тюна модель запоминает коллективный опыт своих агентов уже без подсказок про воркфлоу. Затем цикл повторяется. Эксперимент проводили на Qwen3.6-27B и синтетических открытых исследовательских задачах. После двух циклов показатель «очки на выходной токен» вырос в 1,2-1,6 раза относительно базы: 1,6x на MLR-Bench, 1,35x на DSBench, 1,28x на AstaBench и 1,2x на ScienceAgentBench. На Terminal-Bench 2.0 и SWE-bench Verified прироста не было. Модель учили только решать задачи, но при этом у неё заодно выросли навыки оптимизатора и судьи. Мультиагентные траектории оказались эффективнее одиночных: 68% побед над базой при примерно 31% меньшем объёме данных. И скорость улучшения упирается в оптимизатор, а не в судью. Авторы честно называют главный риск. Когда модель сама себя оценивает, её слепые зоны могут засчитываться как прогресс и закрепляться обучением. Если ИИ будет развиваться выше уровня человеческой экспертизы, нужно уметь вовремя замечать такие сбои и вмешиваться. Блог: https://pub.sakana.ai/mass/ Статья: https://arxiv.org/abs/2610.12176 Код: https://github.com/SakanaAI/mass @ai_machinelearning_big_data
From the original source:
Telegram — AI Machine Learning Big Data
Read full article at Telegram — AI Machine Learning Big DataSakana AI taught the model to learn from its own team of agents
⚡️ Sakana AI taught the model to learn from its own team of agents Sakana AI, together with UC Berkeley, introduced MASS (Multi-Agent Self-Supervision). This is a way of recursively self-improving a model without people and without an external teacher. This is the idea. One model plays three roles at once:...
AI Summary & Key Takeaways
- ⚡️ Sakana AI taught the model to learn from its own team of agents Sakana AI, together with UC Berkeley, introduced MASS (Multi-Agent Self-Supervision)
- This is a way of recursively self-improving a model without people and without an external teacher
- This is the idea
Sakana AI taught the model to learn from its own team of agents
Related stories
Forging More Tasks into Better Harnesses: Agentic Harness Evolution via Successive Scale Racing
arXiv:2610.28815v1 Announce Type: new Abstract: Agentic harness evolution optimizes an agent's instructions, tools, and control flow by using its task execution experiences as evolving evidence. While more evolution tasks should intuitively improve performance, our preliminary…
SpecEvo: Speculative Evolution with Large Language Models for Cost-Efficient Scientific Discovery
arXiv:2610.28706v1 Announce Type: new Abstract: LLM-driven evolutionary search is a promising paradigm for scientific discovery, but existing methods remain costly and slow, often applying expensive reasoning uniformly while underusing evidence from failed, redundant, and…
Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds
arXiv:2610.28698v1 Announce Type: new Abstract: Scaling data, diversity and model capacity has improved embodied learning in physical environments, where diverse experiences remain grounded in shared physical laws. Whether these gains extend to virtual worlds with different…
A Small Model Asks Better: Fine-Tuning Query Clarification for Retrieval-Augmented Generation
arXiv:2610.28686v1 Announce Type: new Abstract: Query clarification is essential for retrieval-augmented generation (RAG) systems that face ambiguous user queries. We consider multi-turn grounded conversational scenarios where a user query is either ill-formed or ambiguous in…