NVIDIA Minerva оптимизирует работу GPU в AI фабриках

Как сообщает NVIDIA Developer, AI фабрики представляют собой одни из самых технологически сложных операционных сред, когда-либо созданных. Сотни тысяч графических процессоров (GPU), Ethernet-системы NVIDIA Spectrum-X, распределенные планировщики и многонедельные тренировки работают в непрерывной синхронизации. Эти уровни функционируют как единая производственная система, даже когда разные команды управляют своей телеметрией. В синхронном распределенном обучении задача продвигается с темпом самого медленного элемента. Один неисправный GPU, интерфейс, устройство хранения или путь переключателя могут отнять полезное время у многих исправных ресурсов. Неудачи, которые негативно сказываются на производительности, часто являются тонкими: GPU работает на несколько градусов горячее, чем его собратья, или устройство NVMe теряет производительность только под нагрузкой. Переключатель может создавать шторм пауз, который выглядит как множество несвязанных симптомов. Ни один из этих сигналов не обязательно пересекает статический порог. Вместе они создают задержки, увеличенные временные шаги и задержанные контрольные точки. Диагностика становится сложнее, поскольку доказательства разбросаны по командам. Операторы сети видят счетчики интерфейсов и события сети, операторы вычислений – здоровье узлов и GPU, а команды машинного обучения – изменяющиеся временные шаги, неудачные задачи или нестабильную задержку вывода. Каждый взгляд точен, но взаимосвязи между ними остаются скрытыми. Триаж становится цепочкой поисков по панелям управления и передачей между командами, что может превратить локальную неисправность в часы или дни потерянного времени производства, прежде чем будет идентифицирован затронутый узел или путь. Этот пост посвящен тому, как NVIDIA Minerva, платформа AIOps, разработанная с учетом топологии AI фабрики и рабочих нагрузок, устраняет эти операционные пробелы. NVIDIA Minerva собирает телеметрию по всей системе, отображает инфраструктуру на активные задачи в динамической графе знаний, применяет специализированное машинное обучение и коррелирует зависимые симптомы в высокоточные инциденты. Помощник на базе AI и сервер MCP, подключенный к внешним агентным инструментам, предоставляют операторам разговорный путь через те же живые доказательства. Цель проста: сохранить эффективные часы GPU и поддерживать обучение моделей. Почему традиционный мониторинг не работает на масштабе AI фабрики? Правила мониторинга предполагают, что известный метрический показатель, пересекающий известный порог, указывает на известное состояние. Эта модель работает для явных неудач, но сталкивается с так называемыми «серыми неудачами», когда компонент остается доступным, и соответствующая проблема может проявляться только под нагрузкой или в сравнении с аналогами. Абсолютные пороги могут упустить изменение. Агрессивные пороги часто добавляют предупреждения во время нормальных изменений нагрузки, оставляя инженеру, дежурящему по вызову, решать, какое отклонение имеет значение. Масштаб добавляет усиление сигналов тревоги. Один физический сбой может производить ошибки интерфейса, паузы RX, индикаторы перегрузки, изменения использования GPU и замедление прогресса задач. Эти наблюдения описывают одну и ту же цепь зависимостей, но отдельные панели управления или предупреждения представляют их как несвязанные события. Инженер, дежурящий по вызову, получает множество предупреждений и должен вручную сопоставить их, определить сигнал среди шума, проанализировать коренную причину и задачи, которые на нее воздействуют. Для операций рабочая нагрузка является важным элементом. Команды должны знать, какая задача затронута, какие ресурсы она занимает, где находятся эти ресурсы в физической и логической топологии, и как текущее поведение отличается от здорового базового уровня. Этот контекст должен оставаться актуальным по мере начала и завершения задач, а также по мере вывода узлов из эксплуатации, их замены или возвращения в работу. Без него панель управления здоровыми компонентами может сосуществовать с плохой пропускной способностью задач и не давать объяснений. Решение этих задач требует видимости от начала до конца по всей AI фабрике. NVIDIA Minerva обрабатывает метрики, логи и топологию от GPU, переключателей Spectrum-X и NVLink, SuperNIC, DPU, хранения, NVIDIA NCCL, планировщиков и AI рабочих нагрузок. Автообнаружение предоставляет связи, которых не хватает сырой телеметрии. В результате создается граф знаний, который отображает элементы инфраструктуры, планировщика и рабочих нагрузок, а затем обновляет эти связи по мере изменения окружения. Он может охватывать несколько дата-центров и поддерживать навигацию от общего вида фабрики к отдельному интерфейсу. Граф топологии является ключом к изменению пути расследования. Начав с аномального интерфейса, оператор может определить его узел, путь сети, который он обслуживает, текущее размещение задач и близлежащие компоненты в той же области отказа. Начав с идентификатора задачи, инженер по машинному обучению может проследить рабочую нагрузку через GPU, хост, NIC, переключатель и логические доказательства. Сетевые и вычислительные команды могут начать с события инфраструктуры и увидеть затронутые задачи, или, наоборот, увидеть затронутую задачу и исследовать ее причину, используя NVIDIA Minerva. Все работают с одной и той же текущей причинной картой, а не согласовывают отдельные инвентаризации. NVIDIA Minerva обрабатывает миллиарды точек данных метрик и логов в час с использованием моделей, разработанных для инфраструктуры и рабочих нагрузок AI фабрики. Супервизорная детекция идентифицирует известные критические паттерны ошибок и может ассоциировать распознанные условия с конкретными рекомендациями по устранению. Ненаблюдаемые модели охватывают поведение без предопределенного сигнала. Они изучают нормальные паттерны для аппаратного или логического компонента и сравнивают их с соответствующими аналогами. Сравнение с аналогами имеет значение, потому что измерение может выглядеть приемлемым изолированно и все же быть аномальным в контексте. Устойчивые ошибки на сетевом интерфейсе могут выглядеть нормальными в изоляции, но по сравнению с другими интерфейсами они выделяются как аномальные. Температура GPU может оставаться в пределах спецификации, в то время как она работает значительно горячее, чем аналогичные GPU под той же нагрузкой. Многомерные модели могут комбинировать температуру, мощность, тактовую частоту, использование и состояние рабочей нагрузки, чтобы обнаружить ухудшение до того, как компонент выйдет из строя. Логи получают аналогичное обращение. Обнаружение аномалий на основе NLP выявляет ранее невидимые паттерны, в то время как супервизорное сопоставление идентифицирует известные критические ошибки. Обнаружение может передавать рабочие процессы планировщика, чтобы затронутый узел был выведен из эксплуатации до того, как на него попадет другая задача, или в безопасный момент между контрольными точками. Корреляция, основанная на топологии, связывает обнаружение с действиями оператора. Алгоритмы движка корреляции используют граф знаний, чтобы определить, какие события разделяют путь зависимости. Симптомы, возникающие вниз по цепочке, затем группируются как один инцидент, а не конкурируют за внимание. Результат – меньше шума предупреждений и больше контекста. NVIDIA Minerva может объединять избыточные события и связанные серии метрик в один сигнал с прикрепленной затронутой топологией и рабочими нагрузками. Тестирование NVIDIA показывает значительное сокращение уведомленных событий и тикетов для поддерживаемых сценариев. Операторы все еще должны определить коренную причину, используя другие возможности, предоставляемые NVIDIA Minerva, но они начинают с гораздо меньшего пространства поиска. Как только NVIDIA Minerva создает инцидент с высокой степенью уверенности, команды могут получить к нему доступ через интерфейс платформы или существующие рабочие процессы. Коррелированные доказательства все еще требуют интерпретации. NVIDIA Minerva включает встроенный AI-агент по имени Шерлок, который основан на живой телеметрии и графе знаний, поэтому оператор может спросить, почему конкретная задача замедлилась в определенном интервале, какие компоненты изменили состояние или делят ли другие узлы ту же область отказа. Шерлок позволяет сетевым операторам, вычислительным операторам и командам по обеспечению надежности сайта (SRE) задавать системе вопросы для анализа коренной причины на человеческом языке. Шерлок может предоставить подтверждающие доказательства и рекомендовать меры без необходимости, чтобы каждый оператор знал точный метрический показатель, панель управления или язык запросов. Это дает менее опытным операторам возможность получить знания в области, которые традиционно требовали эскалации к специалисту. Его ценность в рабочем процессе операций зависит от доказательств, которые предоставляет Шерлок. Рекомендация возвращает к телеметрии и топологии, которые ее поддерживают. Сервер MCP NVIDIA Minerva позволяет внешним агентным инструментам запрашивать тот же операционный контекст. Команды могут интегрировать живые доказательства AI фабрики в свои рабочие процессы. Меры по смягчению последствий могут оставаться одобренными человеком, или выбранные действия могут быть автоматизированы в соответствии с местной политикой и рисками действия. Примеры использования из AI фабрик NVIDIA включают обнаружение деградации единственной связи в 400К интерфейсной AI фабрике. В крупном AI дата-центре, работающем с несколькими многонодовыми тренировочными задачами одновременно, инженер SRE заметил, что время выполнения одной задачи медленно ухудшается. Не было жесткой неисправности, предупреждения или очевидного виновника. Поиск вручную занял бы часы триажа по GPU, переключателям NVLink, SuperNIC и сетевой инфраструктуре, в то время как задача продолжала тратить GPU часы с уменьшенной производительностью. Вместо этого полное стековое AIOps-отладка NVIDIA Minerva приняла телеметрию со всех уровней топологии рабочих нагрузок. Обнаружение аномалий нашло единственное соединение NVLink из примерно 400,000 интерфейсов, которое тихо теряло пропускную способность. Затем оно связало этот переключатель NVLink с тренировочными задачами, чей трафик проходил через него. Теперь, когда инженер SRE мог увидеть в одном интерфейсе и падающую связь, и затронутые задачи, и где оба находились в иерархии дата-центра, они вывели и переназначили затронутые узлы, изолировали связь для ремонта и вернули задачи к полной скорости. Команда выявила проблему до того, как она распространилась по кластеру, диагностировала ее за минуты, а не часы, и сохранила хорошую производительность и токенную продукцию флота. Прогнозное обслуживание SuperNIC. Узел GPU зафиксировал одну строку ядра: аппаратная ошибка, о которой сообщила прошивка платформы (APEI, источник ошибки 5). Это была ошибка на уровне PCIe на пути SuperNIC узла. Ошибка была достаточно редкой, чтобы ни одно статическое правило или порог не смогли бы ее поймать, и она не сопровождалась сбоями задач или жалобами клиентов. Обнаружение редких аномалий в реальном времени NVIDIA Minerva отметило сообщение как редкое, ранее невидимое событие. Платформа отправила предупреждение в канал Slack команды операций кластера. Наряду с предупреждением NVIDIA Minerva объяснила, что означает ошибка, и изложила пошаговые рекомендации по устранению, начиная с контекста ошибки и системных логов для проверки. Инженер, дежурящий по вызову, подтвердил неисправность и удалил узел из пула выделения до того, как на него попала какая-либо рабочая нагрузка клиента. Это сэкономило бы сотни GPU часов, которые бы потратились на сбои и перезапуск задач. Задержка задачи из-за неисправности NVMe. Команда операций пыталась объяснить, почему несколько тренировочных задач работают медленнее, чем ожидалось. Замедление указывало на узлы-отстающие, но не на причину. Полная стековая панель RCA задач NVIDIA Minerva проследила проблему к одному хосту, чьи логи показали сбой устройства NVMe. Диск не смог проснуться из низкого энергосберегающего состояния. Узел потерял доступ к своему хранилищу, что вызвало серию ошибок записи I/O, которые замедлили каждую задачу, работающую на нем. Подтвердив коренную причину, команда вывела узел из эксплуатации и отправила неисправное оборудование обратно на RMA. Исправление сэкономило примерно 5,530 часов времени выполнения задач. Шторм пауз. Проблема с переключателем вызвала RX паузы, пики использования GPU и тысячи серий метрик. Инцидент проявился как множество шумных событий. Предупреждения поступали от многих устройств, но ни одно из них не объясняло замедление. Причиной была ошибка страничного сбоя, которая заставила сетевой переключатель перезапуститься. Перезапуск вызвал перегрузку, которая распространилась по сети, с RX паузами, распространяющимися между переключателями, повторяющимися сбоями соединения и всплесками температуры и использования GPU. Корреляция, основанная на топологии, NVIDIA Minerva связала 81 отдельное событие и аномалию с затронутой задачей и отправила их команде как один инцидент. Обработка его как одного инцидента вместо 81 сократила время на ремонт и сэкономила около 54 часов общего времени работы кластера. Операционные достижения NVIDIA показывают увеличение среднего времени между прерываниями (MTBI) за счет прогностического обслуживания, в сочетании с уменьшением среднего времени на ремонт (MTTR) за счет автоматизированного анализа коренной причины, и значительное сокращение шума предупреждений. Эти факторы приводят к увеличению эффективных часов GPU за счет минимизации времени простоя. Конвергенция с DSX OS. NVIDIA Minerva разрабатывается в соответствии с конвергенцией с NVIDIA DSX OS. Она повторно использует и планирует интегрировать выбранные компоненты здоровья и устойчивости DSX OS, такие как NVIDIA Attribution. Возможности NVIDIA Minerva, начиная с сборщика данных, станут открытыми частями DSX OS. Это обеспечивает модульную телеметрию, согласованную с архитектурами справки NVIDIA, при этом сохраняя наблюдаемость, аналитику и автоматизацию составными. Преодоление разрыва. По мере роста AI фабрик в масштабе и сложности разрыв между традиционным мониторингом и операционной реальностью расширяется. NVIDIA Minerva преодолевает этот разрыв, объединяя телеметрию по GPU, сетям, хранилищу и рабочим нагрузкам, обеспечивая полную видимость для обнаружения тонких ухудшений, которые упускают статические пороги. Объединяя шумные штормы событий в единичные действенные инциденты и позволяя агентному отладчику через разговорный AI, NVIDIA Minerva трансформирует триаж из часов перекрестных передач команд в минуты направленного расследования. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.