По сообщению NVIDIA Developer, обучение крупномасштабным моделям искусственного интеллекта на тысячах графических процессоров (GPU) представляет собой высокост stakes операцию, где мониторинг и автоматизация должны быть встроены для оптимизации устойчивости к сбоям и времени безотказной работы на большом масштабе. Эта концепция не нова для операторов дата-центров, которые измеряли среднее время до ремонта (MTTR) и среднее время между сбоями (MTBF) задолго до появления фабрик ИИ. Теперь ставки стали выше. Современные фабрики ИИ запускают распределенные обучающие задания на сотнях узлов в течение дней или недель, и на таком масштабе операционная модель меняется: аппаратные аномалии, программные ошибки, тайм-ауты сети и конкуренция за ресурсы должны управляться проактивно, чтобы поддерживать рабочие нагрузки в нужном русле. Традиционные подходы, полагающиеся на ручное вмешательство, статическую проверку и реактивный мониторинг, просто не масштабируются, когда организации запускают десятки таких одновременных многонодовых рабочих нагрузок в общей инфраструктуре. Именно поэтому программные сервисы, такие как движок автономного восстановления, предлагаемый в NVIDIA Mission Control, критически важны для масштабирования производства ИИ. Ранее движок автономного восстановления, который может обнаруживать, диагностировать и восстанавливать сбои на всех уровнях, был ограничен рабочими нагрузками высокопроизводительных вычислений (HPC), использующими Slurm. В рамках Mission Control 2.5 этот сервис теперь расширен на рабочие нагрузки на базе Kubernetes, управляемые с помощью NVIDIA Run:ai. В этой статье демонстрируется, как последняя версия Mission Control приносит свою интегрированную рамочную структуру устойчивости к рабочим нагрузкам Kubernetes, помогая операциям фабрики ИИ перейти от реактивного обслуживания к проактивной, самовосстанавливающейся инфраструктуре. Видение движка автономного восстановления Mission Control простое: фабрики ИИ должны быть самовосстанавливающимися системами, где сбои обнаруживаются мгновенно, решения о восстановлении принимаются на основе контекста рабочей нагрузки и типа сбоя, а задания возобновляются автоматически с минимальными перебоями или потерей вычислительных ресурсов. Цель состоит в том, чтобы понять, что произошло, изолировать аномалии и пометить их для обслуживания, а затем вернуть рабочие нагрузки к продуктивным вычислениям с минимальными потерями времени. В фабрике ИИ автоматизация восстановления должна как можно быстрее перемещать узлы из рискованных или заблокированных состояний обратно в продуктивные, подлежащие планированию вычисления, чтобы предотвратить потерю работы и упущенные возможности. Существует две службы, которые составляют движок автономного восстановления: автономное восстановление заданий и автономное восстановление аппаратуры. Поскольку истинная самоуправляющаяся устойчивость лучше всего понимается как контрольный контур, а не как одна функция восстановления, движок автономного восстановления работает с планировщиком рабочих нагрузок (HPC или Kubernetes), предоставляя интегрированную трехуровневую структуру, где каждый компонент играет отдельную, но скоординированную роль. В этой статье мы сосредоточимся на планировании рабочих нагрузок на базе Kubernetes. Начнем с уровня размещения рабочих нагрузок Kubernetes. В Mission Control NVIDIA Run:ai является стандартным планировщиком Kubernetes и включен в состав программного обеспечения. Он управляет рабочими нагрузками ИИ на базе Kubernetes, очередями, политиками и планирует задания на доступные ресурсы. Служба автономного восстановления заданий предоставляет уровень контекста рабочей нагрузки. Она следит за выполняемыми заданиями, отслеживает, где каждое задание выполняется, и использует историю сбоев и топологию задания, чтобы классифицировать, какой путь восстановления имеет смысл. Интеграция с менеджером ресурсов определяет, как это руководство становится перезапуском, повторной попыткой, повторной очередью или действием размещения. Служба автономного восстановления аппаратуры является уровнем здоровья инфраструктуры. Она мониторит узлы и GPU, удаляет аномалии из планирования, когда это необходимо, и проводит диагностику или восстановление, чтобы проблемы с аппаратным обеспечением не распространялись на новые задания. Разделение этих обязанностей делает модель переносимой. Служба автономного восстановления заданий не должна ремонтировать аппаратное обеспечение, а служба восстановления аппаратуры не должна понимать каждую обучающую структуру. Наконец, планировщик может направлять рабочие нагрузки к готовым ресурсам, не дожидаясь диагностики коренной причины. Следующие сценарии показывают, как контрольный контур ведет себя по-разному в Mission Control в зависимости от сигнала сбоя, обнаруженного его движком автономного восстановления. Сценарий 1. Аппаратный сбой во время обучения. Распределенное обучающее задание выполняется на пуле GPU, когда один из GPU начинает выходить из строя. Симптом может проявиться сначала как ошибки ECC, зависший рабочий процесс или тайм-аут связи в задании. Важно то, что происходит дальше: восстановление разделяется на два параллельных пути. Служба автономного восстановления заданий фиксирует контекст задания и идентифицирует подозрительный узел или GPU. Интеграция с планировщиком Kubernetes затем продвигает восстановление рабочей нагрузки вперед, либо перезапуская, либо переназначая задание. В то же время служба автономного восстановления аппаратуры изолирует проблемный узел, фиксирует причину и начинает диагностику. Этот путь аппаратного восстановления может продолжаться даже после того, как рабочая нагрузка уже движется снова. Ценность этого пути заключается в снижении времени простоя. Рабочая нагрузка не ждет анализа коренной причины, прежде чем начнется восстановление, и неисправный узел не передается случайно следующему заданию. Сценарий 2. Временный программный сбой. Не каждый сбой задания должен вызывать восстановление аппаратуры. Рабочий процесс обучения может выйти, столкнуться с восстанавливаемым тайм-аутом или временно потерять координацию, даже если основной узел здоров. В этом пути служба автономного восстановления заданий использует контекст задания, чтобы избежать чрезмерной реакции. Если история сбоев выглядит временной, система повторяет попытку в соответствии с политикой планировщика, а не помещает аппаратное обеспечение в карантин, которое не требует ремонта. Хотя NVIDIA Run:ai может выразить, что восстановление происходит иначе, чем это обрабатывается для Slurm, намерение остается прежним: вернуть рабочую нагрузку к продуктивному выполнению без ненужного восстановления аппаратуры. Служба автономного восстановления аппаратуры продолжает мониторинг в фоновом режиме, но не вмешивается в путь восстановления, если новые доказательства не указывают на аппаратное обеспечение. Сценарий 3. Раннее обнаружение деградации аппаратуры. Служба автономного восстановления аппаратуры в Mission Control также может обнаруживать деградацию инфраструктуры до того, как это станет сбоем задания. Узел может начать показывать повторяющиеся предупреждения о здоровье GPU, проблемы с подключением или другие сигналы, которые делают его рискованным для будущего планирования. В этом пути служба автономного восстановления аппаратуры может заранее удалить узел из eligibility для планировщика и начать диагностику, прежде чем на него попадет задание по обучению ИИ. Служба автономного восстановления заданий может никогда не потребоваться реагировать, поскольку неисправная мощность удаляется из обращения до того, как она нарушит рабочую нагрузку. В этом случае планировщик на базе Kubernetes Mission Control получает выгоду от более чистого пула доступных ресурсов. Он может избежать размещения рабочих нагрузок Kubernetes на подозрительных мощностях так же, как Mission Control позволил Slurm избегать включения неисправных узлов в распределения, пока они не будут снова подтверждены. Расширение движка автономного восстановления Mission Control на NVIDIA Run:ai знаменует собой еще один шаг к достижению самовосстанавливающейся фабрики ИИ. Эта структура меняет устойчивость из рабочего процесса инцидентов, специфичного для планировщика, в операционную модель, осведомленную о планировщике. Для команд платформы Mission Control 2.5 предоставляет единообразную модель восстановления как для их Kubernetes, так и для Slurm. Неисправные узлы изолируются, аннотируются или фиксируются, диагностируются и возвращаются в эксплуатацию только тогда, когда они готовы. Для практиков ИИ теперь пользователи как Slurm, так и Kubernetes могут извлечь выгоду из более простого восстановления. Задания могут перезапускаться, повторяться или помещаться в очередь в соответствии с планировщиком, который они уже используют, в то время как движок автономного восстановления предоставляет контекст, необходимый для избежания повторных сбоев на инфраструктуре, требующей обслуживания. Для бизнеса это означает лучшее использование ценных мощностей ускорителей. Система тратит меньше времени на неопределенность и больше времени на поддержание продуктивности рабочих нагрузок обучения. Mission Control 2.5 доступен уже сегодня. Существующие пользователи NVIDIA Mission Control могут посетить центр документации, чтобы узнать больше о том, как перейти на последнюю версию. В дополнение к расширению движка автономного восстановления на рабочие нагрузки на базе Kubernetes, другие важные моменты выпуска включают: новую службу обнаружения аномалий в сети с поддержкой ИИ (только бета), улучшенный пользовательский опыт для аутентификации через службы с использованием центрального keycloak, а также обновления безопасности и усиления Kubernetes. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.