NVIDIA Generative AI сообщает, что сегодня была запущена платформа AIOps под названием Minerva, предназначенная для помощи командам в более раннем выявлении проблем и поддержании продуктивности AI-фабрик. Платформа объединяет телеметрию с инфраструктуры и рабочих нагрузок ИИ, а затем применяет специально разработанные модели ИИ для превращения этих данных в своевременные и действенные рекомендации. AI-фабрики являются одними из самых сложных операций в мире, где огромное количество графических процессоров (GPU) работает по высокоскоростным сетям для обучения моделей и обслуживания приложений ИИ. На таком уровне даже одна неисправная компонента может замедлить выполнение всей задачи. Предупреждающие знаки могут быть легко упущены, такие как работа GPU при более высокой температуре, чем у его аналогов, или снижение производительности NVMe-диска под нагрузкой. Платформа сосредоточена на производительности AI-фабрики, которая измеряет полезную работу, производимую инфраструктурой через часы GPU, хорошую производительность, время работы кластера и производство токенов. Традиционные инструменты мониторинга часто разделяют центр обработки данных на отдельные представления. Сетевые, вычислительные, надежные и команды машинного обучения видят только свою часть операции. Minerva соединяет эти сигналы через GPU NVIDIA, сетевые устройства, хранилища, планировщики и рабочие нагрузки. С помощью этих сигналов Minerva строит динамическую графовую модель знаний, которая логически отображает инфраструктуру — GPU, SuperNIC, коммутаторы и кабели — и выполняемые на ней задачи. Этот контекст помогает операторам проследить за медленной задачей обучения до компонента, который на нее влияет, даже в фабрике с сотнями тысяч GPU. Платформа анализирует миллиарды точек данных в час, используя как контролируемое, так и неконтролируемое машинное обучение. Она изучает нормальное поведение, обнаруживает ранее не видимые аномалии, предсказывает возникающие сбои и коррелирует связанные события на основе топологии фабрики. Вместо того чтобы отправлять каждую симптоматику оператору, Minerva может сгруппировать бурю событий в единый инцидент с вероятной первопричиной. Платформа включает встроенного ИИ-ассистента и подключается к внешним агентным ИИ-инструментам, что добавляет интерфейс на естественном языке, основанный на живой телеметрии. Операторы могут исследовать состояние кластера и получать рекомендации по устранению неполадок через разговор. Способность коррелировать проблемы с рабочей нагрузкой и инфраструктурой, а также ее агентные ИИ-возможности помогают упростить операции AI-фабрики. Вместо того чтобы иметь дело с множеством предупреждений, Minerva агрегирует связанные проблемы в одну действующую задачу. Это позволяет командам AIOps перейти от реактивного к проактивному обслуживанию. Все это помогает AI-фабрикам максимизировать время работы GPU. Minerva приносит ценность для ключевых показателей, на которые ориентируются AI-фабрики: большее время между сбоями, так как Minerva обнаруживает проблемы до их возникновения, что позволяет задачам выполняться дольше без инцидентов; более быстрое время на устранение неполадок, так как при возникновении инцидента Minerva точно определяет проблему, что приводит к значительно более быстрому решению; и большее понимание, так как современная ИИ-инфраструктура генерирует поток данных, а Minerva фильтрует их, оставляя только те несколько предупреждений, которые действительно имеют значение. Компания IREN является одним из партнеров NVIDIA, использующих Minerva для оптимизации своих AI-фабрик. «По мере масштабирования наших AI-фабрик ключом к предоставлению наилучшего сервиса для наших клиентов является максимизация продуктивности наших GPU», — сказал Денис Скрининкофф, технический директор IREN. «NVIDIA Minerva предоставляет нашей операционной команде единое представление по сети, GPU и выполняемым задачам, что позволяет нам сосредоточиться больше на проактивном обслуживании, а не на устранении неполадок. Эта видимость укрепляет нашу операционную модель для инфраструктуры, которую мы строим дальше». Вместе с IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI и Tesla планируют внедрить Minerva. Кроме того, компании Dell Technologies, Lenovo и Supermicro предложат Minerva как часть своих портфелей операций AI-фабрик. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.