Mistral AI представляет модель прогнозирования Timestral

По сообщению Mistral AI, компания представила Timestral, свою первую семью моделей для прогнозирования временных рядов. Эта модель, обладая всего 209 миллионами параметров, демонстрирует высокую эффективность и точность, превосходя более крупные модели на ключевых бенчмарках. Timestral доступна в четырех размерах (от 5 до 209 миллионов параметров) и обеспечивает отличные результаты в прогнозировании, эффективно работая на процессорах и показывая выдающиеся результаты в условиях нулевого обучения для различных областей. Модель сочетает в себе синтетическую предобученность, внимание с учетом ковариат и обучение на длинных контекстах, а также предлагает возможности дообучения для адаптации к конкретным доменам через Mistral Forge. На данный момент Timestral занимает первое место на всех трех основных публичных бенчмарках в области прогнозирования: GIFT-Eval, TIME и fev-bench, обгоняя предыдущие достижения при меньшем количестве параметров. Модель предоставляет вероятностные, многомерные прогнозы и поддерживает как исторические, так и известные будущие ковариаты. Модели временных рядов являются одними из самых распространенных типов данных в бизнесе, от телеметрии датчиков до показателей наблюдаемости. Прогнозы на их основе влияют на принятие решений в таких областях, как планирование мощностей, энергетика, цепочки поставок и управление рисками. Промышленные предприятия используют прогнозы для контроля за процессами, предотвращения сбоев оборудования и планирования запасов. Классические модели, такие как ARIMA и линейная регрессия, остаются популярными инструментами для прогнозирования временных рядов, но их возможности ограничены. Модели глубокого обучения, такие как PatchTST, способны выявлять нелинейные зависимости, однако они чаще всего требуют обучения с нуля на каждом наборе данных. Timestral, в отличие от них, использует подход предобучения, обучаясь на большом и разнообразном корпусе данных. Это позволяет модели выявлять закономерности, которые могут быть применены к новым данным, даже в условиях нехватки информации. Результаты тестирования Timestral на трех основных публичных бенчмарках показывают, что она занимает первые места по всем пяти метрикам среди предобученных моделей с нулевым обучением. Эти результаты получены на основе единственного контрольного пункта без использования ансамблирования. Семья моделей Timestral оптимизирована для различных спецификаций: 5M, 28M, 123M и 209M параметров. Более крупные модели обеспечивают лучшую производительность прогнозов, в то время как меньшие являются более быстрыми и экономичными. Все четыре модели имеют одинаковую архитектуру и методику обучения, и каждая из них занимает место на кривой Парето по точности в сравнении с размером модели. Timestral не требует GPU для выполнения прогнозов. На стандартном серверном процессоре с 8 потоками прогнозирование на один день вперед на основе трех недель данных с частотой 15 минут занимает 10 миллисекунд для модели 5M и 140 миллисекунд для модели 209M. Меньшие модели обеспечивают большую скорость, но могут немного уступать в точности. В качестве примера можно рассмотреть промышленное предприятие с тысячами датчиков. Timestral может улучшить прогнозы, учитывая взаимосвязи между различными показателями, такими как вибрация, температура и давление насосов. Модель предсказывает не только одно значение, но и целый набор квантилей, что позволяет командам лучше оценивать неопределенность и планировать техническое обслуживание. Timestral может работать в существующих мониторинговых системах или в сочетании с языковыми моделями в многофункциональных рабочих процессах. Она может непрерывно анализировать данные с датчиков на заводе, выявляя аномалии в реальном времени и предоставляя рекомендации по их устранению. В дальнейшем Timestral будет доступна через Mistral Forge, что позволит организациям адаптировать модель к своим данным и продолжать ее обучение по мере изменения распределения данных. Полный пакет будет доступен для развертывания на оборудовании клиентов, включая изолированные среды. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.