Все опубликованные аналитические материалы, исследования суверенного стека, новости экосистемы и обзоры моделей ИИ.
arXiv:2610.31918v1 Announce Type: new Abstract: Distilling interactive LLM agents requires choosing between teacher-generated demonstrations and student-generated experience, corresponding broadly to off-policy and on-policy distillation. While both have proven effective, we…
arXiv:2610.32057v1 Announce Type: new Abstract: We present HyScale, a long-context training system for learned sparse attention. Learned sparse attention is a promising architecture for million-token contexts, widely adopted in production since DeepSeek-V3.2. Selection, however,…
arXiv:2610.32096v1 Announce Type: new Abstract: Diffusion language models (DLMs) support bidirectional denoising and iterative refinement, but generation remains largely controlled by token-level masking schedules. This leaves draft-level refinement implicit and limits explicit…
arXiv:2610.30151v1 Тип объявления: новый Аннотация: Каждое взаимодействие между агентами ИИ начинается с рукопожатия: инициирующий агент должен найти своего коллегу, узнать, что он может делать, и установить сеанс, прежде чем будет отправлено первое полезное сообщение. Опросы агентов…
arXiv:2610.30611v1 Тип объявления: новое Аннотация: Масштабирование больших языковых моделей существенно улучшило языковую беглость, однако для надежных автономных агентов требуется нечто большее, чем просто быстрая генерация. При многоходовом выводе современные агентные системы часто создают семантически правдоподобные...
arXiv:2610.30450v1 Тип объявления: новый Абстракт: LLM для рассуждений часто продолжают рассуждать после достижения правильного ответа, тратя вычисления и иногда заменяя его неверным. Решение о том, когда остановиться, является проблемой метарассуждения: модель должна взвешивать, что дальше...
arXiv:2610.30205v1 Тип объявления: новый Абстракт: Когда ход LLM-агента заканчивается неудачей, система записывает ход и сообщение о неудаче в транскрипт и спрашивает снова. При вызове инструментов эта запись делает маленькие модели более склонными повторять неудачное действие. Мы проверяем ли...
arXiv:2610.26995v1 Тип объявления: новое Аннотация: Агенты, основанные на LLM, все чаще полагаются на навыки многократного использования. Однако масштабирование библиотек навыков затрудняет эффективное и точное использование навыков. Полная загрузка навыков влечет за собой большие накладные расходы на токены и время выполнения. Напротив, плоская семантика…
arXiv:2610.27220v1 Тип объявления: new Abstract: Недавние работы исследовали непрерывные представления вместо дискретных токенов во время рассуждений по цепочке (CoT), что часто называют мягким CoT. Это мотивируется идеей, что смесь эмбеддингов токенов может представлять...
arXiv:2610.12879v1 Тип объявления: новый Абстракт: Диффузионные языковые модели генерируют токены параллельно, но все еще требуют нескольких шагов выборки для создания высококачественного текста. В этой статье мы исследуем, может ли модель научиться генерировать всю последовательность за один…
At the start of every session, LLM agents load a fixed context file, such as $\texttt{AGENTS.md}$. Each loaded token in the file is charged again in every later round of the session, and these files can degrade performance as they grow in size. However, in practice, human or…
Looped LMs are parameter efficient and promise dynamic computation (saving memory and FLOPs on easy tokens). However, state-of-the-art open Looped LMs trained with this dynamic computation capability (Ouro models) do not realize it in practice as each loop iteration (depth)…
A deployed LLM agent emits tool calls, queries, and code that can be silently wrong -- by the time the error surfaces, the action has run. Frontier chat APIs hide the model's token probabilities; the agent's stated confidence barely beats chance on the mistakes that matter; and…
Large language models spend the same amount of computation on every token they generate, regardless of how difficult each token is to produce. Methods such as speculative decoding and model routing are built on the premise that much of this computation is unnecessary, yet the…
LLM agents generate intermediate reasoning and actions token by token, making extended interactions slow and computationally expensive. Jev-style models offer fast probabilistic predictions over finite fields, but require those fields to be specified in advance. This requirement…
Long-horizon language agents increasingly rely on external memory as a frozen world model, yet current memory systems are usually judged only by task success or token cost. We argue that the missing object is the shape of memory use: under finite context and repeated retrieval,…
Detailed profession-specific system prompts raise token use and estimated cost per response without a consistent accuracy gain. We evaluate Scientific Agents, an open-source corpus of 503 profession-specific AGENTS.md profiles, with Gemini 3.8 Flash via OpenRouter in the Pi…
arXiv:2609.35924v1 Announce Type: new Abstract: Discrete diffusion models generate sequences by iteratively resolving multiple tokens in parallel, offering a flexible alternative to left-to-right generation. However, guiding this process with a sequence-level objective is…
arXiv:2609.36062v1 Announce Type: new Abstract: Long-context sequence models face a fundamental tradeoff: softmax attention uses flexible token-level interactions at quadratic cost, whereas linear attention obtains linear-time training and constant-time decoding by compressing…
arXiv:2609.35869v1 Announce Type: new Abstract: Pre-tokenisation restricts which text fragments can become prediction units, but its compression cost is obscured when tokenisers are compared only under the same boundaries. We measure this cost by bounding the minimum token count…
Планирование задач объединяет инструкции высокого уровня и исполняемое поведение в долгосрочных манипуляциях, однако современные системы «Видение-Язык-Действие» (VLA) часто оставляют эту промежуточную структуру неявной. Существующие специалисты по планированию цепочки мыслей (ЦП) также склонны полагаться на грубый уровень задач…
Long-context large language model inference is increasingly limited by prefill, where dense self-attention processes the entire prompt before generation begins. Sparse block selection can reduce this cost, but a block centroid may hide a highly relevant token among many…
In Mixture-of-Experts language models, the router typically selects and weights experts based on the token's hidden state, utilizing limited contextual information. We propose Attention-Aware Routing (AAR), which augments the router with temporal and spectral features extracted…
Wearable assistants require episodic memory over egocentric video, yet current vision-language models face bounded frame budgets, growing visual-token costs, and long-context retrieval failures. Under these practical constraints, we study whether textual captions can serve as…
Высокая производительность агентов ИИ при выполнении впечатляющего разнообразия задач приводит к беспрецедентным инвестициям в агентскую инфраструктуру, однако стоимость обработки токенов быстро растет. Веб-агенты автоматизируют выполнение задач веб-приложений, описанных в естественном…
arXiv:2609.05441v1 Announce Type: new Abstract: Long-term memory for LLM agents is evaluated today by conversational recall benchmarks (LoCoMo, LongMemEval), which measure question answering over dialogue history, not whether remembered facts change what a tool-using agent does.…