Как сообщает издание AWS Machine Learning, тонкая настройка больших языковых моделей (LLM) сегодня обычно требует компромисса между контролем за обучающим циклом и операционной простотой. При использовании полностью управляемых сервисов вы выбираете базовую модель, предоставляете данные и гиперпараметры, а сервис берет на себя все остальное, что хорошо работает, когда стандартный рецепт подходит для вашей задачи. Менее управляемые сервисы предоставляют больше контроля, но вы также управляете большей частью инфраструктуры и обучающих фреймворков. Иногда стандартного рецепта недостаточно: вам может понадобиться кастомная функция потерь или учебная программа для контролируемой тонкой настройки (SFT), собственная оптимизация предпочтений, функция вознаграждения для обучения с подкреплением (RL) или алгоритм согласования, опубликованный на прошлой неделе. Как только вам нужно самостоятельно формировать процесс обучения, вы берете на себя работу по инфраструктуре, чтобы получить алгоритмическую свободу. Сегодня серверная настройка моделей в Amazon SageMaker AI расширяется с помощью API для обучающих сессий, которые убирают этот компромисс, перемещая границу абстракции на один уровень ниже. Вместо абстрагирования алгоритма, они абстрагируют вычисления. Операции, такие как forward_backward(), optim_step() и sample(), становятся вызовами API SageMaker, которые вы комбинируете в необходимую процедуру: SFT, оптимизация предпочтений, RL или что-то новое. Вызовы нацелены на живую, состоящую из состояния сессию, так что модель остается загруженной на GPU между шагами, и вы можете выполнять столько вызовов, сколько вам нужно. Сервис обрабатывает настройку времени выполнения, распределенное выполнение, синхронизацию градиентов, восстановление после сбоев, изоляцию арендаторов и операции по запуску GPU в масштабе. Вы пишете обучающий цикл, а SageMaker AI управляет инфраструктурой. Наряду с сервисом мы выпускаем кулинарную книгу обучающих сессий SageMaker, набор готовых к запуску рецептов SFT и RL, которые вы можете использовать в качестве шаблонов для своих собственных обучающих циклов. В этом посте мы представляем модель программирования и трех клиентов SDK, а также показываем, где API обучающих сессий вписываются в варианты обучения и настройки моделей в SageMaker AI. С помощью API обучающих сессий SageMaker AI вы можете управлять живой сессией с поддержкой GPU из собственного процесса Python на вашем локальном компьютере. Вы вызываете операции, а SageMaker AI выполняет их на управляемых ускорителях, загруженных вашей выбранной базовой моделью и вашим адаптером Low-Rank Adaptation (LoRA). Нет конфигурационного файла, описывающего всю работу заранее, и никакого шага создания кластера. Вы контролируете, что происходит на каждом шаге, интерактивно, из кода, так что можете быстро итеративно работать и отлаживать. API организованы вокруг трех клиентов в Python SDK SageMaker, созданных последовательно. ServiceClient содержит настройки уровня платформы (роль выполнения, группа пакетов моделей, местоположение вывода Amazon Simple Storage Service (Amazon S3) и опционально ключ AWS Key Management Service (AWS KMS) и конфигурацию виртуальной частной сети (VPC), которые вы также можете переопределить для каждой сессии) и начинает сессию. ServiceClient создает TrainingClient (операции обучения и контрольные точки, такие как forward, forward_backward, optim_step и save_weights_for_sampler), который, в свою очередь, создает SamplingClient (sample и compute_logprobs, для генерации и оценки во время развертывания и оценки). Каждый вызов API соответствует одной операции в вашем цикле. Активная сессия также обслуживает конечную точку завершения чата, совместимую с OpenAI, так что существующий код клиента OpenAI может извлекать из нее данные. Для обучения с подкреплением цикл имеет характерную форму. Каждый шаг загружает пакет подсказок и (1) извлекает из текущей модели на GPU. Ваш код Python затем (2) оценивает эти выходные данные: проверка, вызов модели вознаграждения, тестовый набор, все, что вы можете выразить в коде. (3) forward_backward и optim_step превращают оценки в обновление градиента на GPU, и (4) save_weights_and_get_sampling_client() обновляет выборщик, так что следующий шаг будет опираться на обновленную модель. Вы владеете данными, контролем цикла и вознаграждением; SageMaker AI выполняет операции, связанные с выборкой, градиентом и контрольными точками, которые зависят от GPU. Те же примитивы охватывают контролируемую тонкую настройку (SFT) и другие техники обучения LLM. Для SFT уберите шаги выборки и вознаграждения и вызовите forward_backward с функцией потерь cross_entropy на размеченных примерах. API обучающих сессий являются правильной отправной точкой, когда вам нужны быстрые циклы итерации и алгоритмическая свобода, например, кастомная функция потерь, новый сигнал вознаграждения RL или многоступенчатый конвейер, но вы не хотите самостоятельно предоставлять или управлять инфраструктурой GPU. Использование тарифицируется по количеству обработанных токенов, так что вы платите только за вычисления, которые потребляет ваш цикл. Если ваша функция вознаграждения занимает 10 секунд для оценки пакета на вашем компьютере, время GPU не тарифицируется, пока она выполняется. По сравнению с почасовой тарификацией GPU это имеет два практических преимущества. Во-первых, нет затрат на неиспользуемые GPU: вычисление вознаграждения, загрузка данных, ведение журнала и отладка происходят вне учета времени, и вы платите только тогда, когда вызываете операцию, зависящую от GPU. Во-вторых, стоимость масштабируется с вашим набором данных и объемом генерации, а не с реальным временем или размером кластера, что упрощает прогнозирование расходов и сравнение экспериментов. Экономия по сравнению с резервированием GPU на всю сессию может быть значительной для рабочих нагрузок с тяжелыми локальными вычислениями, такими как сложные модели вознаграждения, многозадачные агентные развертывания или оценка с участием человека. API обучающих сессий созданы для команд, чья работа определяется обучающим алгоритмом, а не только набором данных. Поскольку вы сами составляете цикл, те же примитивы поддерживают контролируемую тонкую настройку (SFT) с функцией потерь cross_entropy на размеченных данных, обучение с подкреплением с ppo, важной выборкой или cispo (GRPO, PPO и другие методы, относящиеся к группам) и кастомные цели, такие как оптимизация предпочтений или дистилляция, построенные из тех же элементов. API обучающих сессий предназначены для исследователей послеподготовки и согласования, внедряющих методы RL (GRPO, PPO, варианты важной выборки), кастомные оценщики преимущества или новые цели. Команды, занимающиеся контролируемой тонкой настройкой или оптимизацией предпочтений, которым нужна нестандартная функция потерь, учебная программа данных или многоступенчатый конвейер, которые не могут быть выражены в конфигурационных рецептах. Создатели агентных и многоповоротных RL, которым нужна кастомная логика развертывания, формирование вознаграждений и учебные программы. Инженеры машинного обучения (ML), которые переросли конфигурационную тонкую настройку, но не хотят нести операционную нагрузку кластеров GPU. Исследователи, переносящие существующий код обучающего цикла, поскольку модель программирования на основе операций напрямую сопоставляется с циклами, написанными для низкоуровневых API forward_backward, optim_step и sample. Поддерживаемые базовые модели и регионы AWS, где каждая из них доступна, перечислены в документации API обучающих сессий. API обучающих сессий занимают особое место среди вариантов настройки моделей в SageMaker AI: значительно больше контроля над обучающим алгоритмом, чем у полностью управляемой серверной настройки моделей, и гораздо меньше операционной ответственности, чем при обучении на заданиях Amazon SageMaker Training или Amazon SageMaker HyperPod. СагиMaker Serverless Model Customization – Управляемые API Низкий – выберите модель, настройте доступные гиперпараметры и предоставьте данные Серверный, без выбора экземпляра. SageMaker Serverless Model Customization – API обучающих сессий SageMaker AI Высокий – вы пишете цикл, вызываете примитивы Серверный, без выбора экземпляра. SageMaker Training Jobs Полностью управляемые, эфемерные задания, где вы выбираете тип экземпляра. SageMaker HyperPod Полностью управляемые, постоянные кластеры с расширенным восстановлением после сбоев. В этой секции мы разбираем минимальный цикл обучения с подкреплением, чтобы показать, как операции сочетаются. Задача – GSM8K, контрольный тест, состоящий примерно из 8500 задач по математике для начальной школы, каждая с единственным числовым ответом. Мы обучаем адаптер LoRA для GPT-OSS 20B с помощью Group Relative Policy Optimization (GRPO): для каждого вопроса модель генерирует несколько ответов, каждый ответ оценивается на правильность, и ответы, которые превышают среднее значение группы, укрепляются. Полный, работающий пример находится в репозитории примеров Amazon SageMaker. Перед тем как открыть сессию, выполните предварительные условия в документации. Создайте сессию, затем получите токенизатор и SamplingClient из нее. Определите вознаграждение и преимущества. Логика, специфичная для задачи, состоит из двух коротких функций, работающих на вашем компьютере. Каждый шаг следует четырем этапам. Вы загружаете, строите подсказку и создаете учебный материал. На каждом шаге вы вызываете операции, и SageMaker AI управляет их выполнением на управляемых ускорителях. В нашей работе с образцом 10 учебных шагов на 40 задач повысили точность с 56 процентов до 75 процентов. Рабочая нагрузка в реальном времени: RL на конкурсных задачах по программированию добавляет больше: более длительные генерации, многоповоротное взаимодействие, внешний оценщик и достаточно пропускной способности, чтобы поддерживать занятыми GPU. Кулинарная книга обучающих сессий SageMaker упаковывает эту инженерию в многоразовые обучающие циклы, построенные на тех же операциях. Для новой задачи RL вы пишете среду: что модель видит, как ее ответ оценивается и получает ли она еще один ход. Кулинарная книга обрабатывает пакетирование, шаблоны чата, оценку преимуществ, перекрытую выборку и обучение, валидацию, контрольные точки с возможностью возобновления и метрики на каждом шаге, а также фиксирует конфигурацию каждого запуска, чтобы ее можно было повторить. В заключение, API обучающих сессий SageMaker AI перемещают границу абстракции вниз к операции обучения: вы пишете обучающий цикл на Python на своем собственном компьютере, а сервис выполняет его на управляемых GPU, обрабатывая загрузку модели и LoRA, распределенное выполнение, восстановление после сбоев и контрольные точки. Полный цикл GRPO сводится к четырем операциям: sample, forward_backward, optim_step и save_weights_and_get_sampling_client, с логикой вознаграждения и преимуществ в вашем коде. Те же операции масштабируются для многоповоротного, использующего инструменты RL, как показывает рецепт Code RL. Кастомные вознаграждения, агентные развертывания, пошаговая отладка и новые опубликованные техники все используют одну и ту же модель программирования: алгоритм остается в вашем цикле, а SageMaker AI управляет GPU. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.