Amazon SageMaker внедряет индексацию SOCI для ускорения работы

Согласно материалу AWS Machine Learning, каждая минута, которую ваше изображение контейнера глубокого обучения тратит на загрузку, — это минута, за которую вы платите, и минута, которую ваша команда ждет. Загрузка изображения контейнера является чистыми накладными расходами: время, за которое выставляется счет, не приводит к прогрессу модели. Для современных изображений глубокого обучения эти накладные расходы могут составлять несколько минут на каждую задачу. Сегодня мы рады объявить о внедрении индексации Seekable OCI (SOCI) для Amazon SageMaker AI Training и Amazon SageMaker AI Processing, что полностью снимает загрузку изображения контейнера с критического пути каждой задачи. С индексацией SOCI SageMaker AI загружает ваше изображение контейнера по частям. Он загружает только те файлы, которые необходимы для запуска контейнера, и передает остальные в фоновом режиме по мере выполнения вашего кода, так что ваша задача начинается за считанные секунды вместо минут. Вы можете использовать это, указав предварительно индексированное изображение AWS Deep Learning Container (DLC) или добавив индекс к вашему собственному изображению. Ни один из этих подходов не требует изменений в определении вашей задачи, точке входа или каналах данных. Результат — более быстрое начало задач, снижение затрат и больше времени на создание моделей, а не ожидание инфраструктуры. Индексация SOCI позволяет контейнерам Amazon SageMaker AI начинать работу за секунды, без влияния на производительность обучения. Как показано в разделе «Что мы измерили», это уменьшило время простоя GPU во время загрузки изображений до 90 процентов в наших тестах. Эта публикация демонстрирует, как применить индексацию SOCI: что это такое, результаты, которые мы измерили, и как включить ее для ваших собственных задач. Задача заключается в том, что задачи обучения и обработки SageMaker AI выполняются внутри изображений контейнеров, хранящихся в Amazon Elastic Container Registry (Amazon ECR). Прежде чем задача сможет выполнить ваш код, служба загружает все изображение на экземпляр. Она распаковывает и записывает каждый слой на диск. Для небольших изображений это занимает секунды. Но изображения глубокого обучения обычно превышают 10 ГБ или более. Эта загрузка добавляет минуты к каждой задаче, и вы платите за это как за время выполнения задачи. Влияние наибольшее именно там, где скорость итерации имеет наибольшее значение: при настройке гиперпараметров для сотен задач, быстрых экспериментах и коротких задачах обработки, где загрузка изображения может доминировать над общим временем выполнения. Как работает индексация SOCI. Seekable OCI (SOCI) — это технология с открытым исходным кодом, которая загружает изображения контейнеров по частям. Вместо загрузки всего изображения перед началом, среда выполнения использует индекс SOCI, чтобы получить только те файлы, которые необходимы для немедленного запуска контейнера. Остальные файлы передаются в фоновом режиме по мере доступа к ним вашего кода. Индекс SOCI — это метаданные, которые отображают каждый файл внутри вашего изображения. Вы храните его в Amazon ECR как артефакт, соответствующий стандартам OCI, связанный с вашим оригинальным изображением. Поскольку индекс является отдельным артефактом, дайджест вашего изображения и любые существующие подписи остаются действительными. SageMaker AI автоматически проверяет наличие индекса. Когда вы создаете задачу обучения или обработки, SageMaker AI проверяет, имеет ли указанное вами изображение индекс SOCI, и действует соответственно. Если изображение включает индекс SOCI, SageMaker AI загружает изображение по частям и запускает ваш контейнер до завершения полной загрузки. Если индекс SOCI отсутствует, происходит стандартная загрузка, без изменений в поведении. Если индекс не может быть прочитан или загрузка по частям не удалась, задача возвращается к стандартной загрузке и продолжает выполнение. Поскольку задачи всегда возвращаются к стандартной загрузке, когда это необходимо, добавление индекса SOCI никогда не препятствует выполнению вашей задачи. Вы только выигрываете в скорости запуска. Мы провели тесты, сравнивая загрузку контейнерных изображений двумя способами на реальных задачах обучения SageMaker AI: стандартная загрузка и загрузка по частям с индексом SOCI. Затем мы провели полные обучающие задачи с обоими, чтобы измерить влияние на скорость обучения. В тестах использовались восемь изображений размером от 1.8 до 35.4 ГБ в сжатом виде. Время загрузки измерялось от начала загрузки изображения до готовности контейнера к запуску. Все цифры являются медианами повторяющихся запусков. Результат 1: Время загрузки сокращается с минут до секунд для каждого размера изображения. Например, для изображения размером 1.8 ГБ время стандартной загрузки составило 48 секунд, а для загрузки по частям — от 3 до 11 секунд, что составляет примерно 8-кратное улучшение. Для изображения размером 13.2 ГБ время стандартной загрузки составило 3 минуты 42 секунды, а для загрузки по частям — около 6 секунд, что составляет улучшение в 34 раза. Для изображения размером 35.4 ГБ время стандартной загрузки составило 7 минут 17 секунд, а для загрузки по частям — от 3 до 11 секунд, что составляет улучшение в 38 раз. Результат 2: Экономия сохраняется на каждом типе и размере экземпляра. Запустив изображение размером 13.2 ГБ на 13 комбинациях типов/размеров экземпляров, стандартная загрузка занимала от 3 минут 16 секунд до 4 минут 20 секунд, в то время как загрузка по частям оставалась на уровне 6-8 секунд. Это примерно в 34 раза быстрее для каждой конфигурации. Результат 3: Производительность обучения не затрагивается за пределами первого эпохального штрафа. Мы провели два вида полных обучающих задач с загруженным из Docker и из изображения с индексом SOCI и сравнили каждую эпоху. Сравнительные данные показали, что время на каждую эпоху одинаково (в пределах вариации между запусками) на каждом экземпляре, для обеих задач. Первый эпоха занимает 3-16 секунд больше при загрузке по частям, так как файлы, к которым фреймворк обращается впервые, загружаются. Этот штраф первого эпохи одинаков для каждого размера экземпляра. В конечном итоге каждая задача завершилась на 1-6 минут раньше, что является экономией на загрузке за вычетом единовременных затрат первого эпохи. Вы можете протестировать это на своей рабочей нагрузке. Эти цифры получены из двух рабочих нагрузок, описанных ранее. Затраты первого эпохи зависят от вашего изображения и того, что ваш код обращается при запуске: загрузка по частям выигрывает, когда первый шаг обучения требует только небольшую часть изображения, остальная часть загружается в процессе обучения. Если ваша точка входа читает большую часть изображения до начала обучения, экономия будет небольшой. Тем не менее, тесты показали, что даже в таких случаях загрузка по частям все равно была быстрее. Чтобы начать работу с индексацией SOCI, вы можете использовать два подхода: использовать предварительно индексированный AWS Deep Learning Container или создать индекс для вашего собственного пользовательского изображения. AWS публикует варианты Deep Learning Containers с индексом SOCI, которые можно легко использовать, обновив тег изображения в определении вашей задачи. Если вы создаете собственное изображение на основе DLC, вы должны создать индекс SOCI для вашего окончательного изображения, так как индекс из базового изображения не переносится на производные изображения. Индексация SOCI для задач SageMaker AI доступна во всех регионах AWS. С помощью индексации SOCI вы можете минимизировать время загрузки изображений контейнеров для ваших задач обучения и обработки SageMaker AI. Добавьте индекс SOCI к вашим изображениям или переключитесь на предварительно индексированный AWS Deep Learning Container. В любом случае вы сократите время запуска с минут до секунд, снизите общие затраты на задачу и ускорите цикл итерации машинного обучения. При этом ваши существующие определения задач, вызовы API и каналы данных остаются неизменными. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.