Заголовок на английскомHyScale: Scaling Long-Context Training for Learned Sparse Attention
arXiv:2610.32057v1 Announce Type: new Abstract: We present HyScale, a long-context training system for learned sparse attention. Learned sparse attention is a promising architecture for million-token contexts, widely adopted in production since DeepSeek-V3.2. Selection, however,…
Кратко от AI: Главные тезисы
- arXiv:2610.32057v1 Announce Type: new Abstract: We present HyScale, a long-context training system for learned sparse attention
- Learned sparse attention is a promising architecture for million-token contexts, widely adopted in production since DeepSeek-V3.2
- Selection, however,…
HyScale: Scaling Long-Context Training for Learned Sparse Attention
Похожие материалы
ChatGPT добавил закрытые чаты с защитой по PIN-коду и Face ID
OpenAI начала внедрять в ChatGPT функцию закрытых чатов, которая позволяет скрывать отдельные переписки за PIN-кодом или биометрической защитой. Нововведение поможет сохранить личные разговоры недоступными для других людей, даже если пользователь передаст им свой телефон или…
Система MAI-DxO Microsoft диагностировала сложные заболевания точнее, чем врачи
Система искусственного интеллекта MAI-DxO, разработанная Microsoft, показала более высокие результаты, чем врачи общей практики, при диагностике сложных клинических случаев. Во внутренних тестах точность диагноза системы превысила 80%, а по некоторым показателям она была в два раза выше результатов врачей…
Швеция ограничила доступ к ChatGPT и Claude на рабочих компьютерах правительства
С 26 октября сотрудники аппарата правительства Швеции не могут пользоваться браузерными версиями ChatGPT и Claude на служебных компьютерах. Власти опасаются, что работа с не согласованными государством ИИ-сервисами может привести к утечке конфиденциальных данных, передает…
DeepSeek и Huawei совместно разрабатывают чипы для обучения ИИ
DeepSeek и Huawei объединяют усилия, чтобы перенести обучение больших языковых моделей на китайские процессоры. Компания рассчитывает начать использовать ускорители Huawei для основных обучающих задач до конца 2026 года, передает Tech-news. Инженеры Huawei работают…