AWS Machine Learning рассказывает, что компании, добивающиеся реальных результатов от искусственного интеллекта, не просто используют готовые модели. Они настраивают открытые модели с помощью методов постобучения, таких как обучение с подкреплением. Модель, обученная с учётом вашего бизнес-контекста, каталога продуктов или клинической терминологии, будет более точной для вашей задачи и дешевле в эксплуатации. При создании агентов ваши данные, рабочие процессы, оценки и критерии успеха также влияют на поведение модели. Однако настройка модели является сложной задачей. Необходимо выбрать правильную технику, настроить и управлять инфраструктурой GPU, а для агентов - создать среды для многоходового обучения с подкреплением. Мы запустили безсерверную настройку моделей Amazon SageMaker AI, чтобы решить эти проблемы, и сегодня мы расширяем её с запуском сессий обучения. С помощью сессий обучения вы получаете контроль над логикой постобучения без необходимости управлять базовой инфраструктурой. Вы пишете и координируете цикл обучения, включая пользовательские функции потерь или сигналы вознаграждения. SageMaker AI управляет распределением GPU, распределённым выполнением, восстановлением после сбоев и хранением контрольных точек. Настройка без хлопот управления инфраструктурой. С безсерверной настройкой моделей SageMaker AI вам не нужно выбирать типы экземпляров, управлять кластерами или писать конфигурацию распределённого обучения. Мы не хотели ставить вам ограничения. Вы можете использовать такие методы, как SFT, DPO, RLVR, RLAIF или многоходовое RL. Вы можете выбрать, сколько модели обновить с помощью Low-Rank Adaptation (LoRA) или полного дообучения, а также комбинировать техники через непрерывную настройку. Мы не хотели, чтобы вы тратили время впустую. Наша кулинарная книга сессий обучения SageMaker AI предоставляет примеры и случаи использования, а также навыки агентов по настройке моделей. Вы описываете свой случай использования, а агент занимается подготовкой данных, выбором техники, обучением, оценкой и развертыванием. Агент работает там, где работаете вы: в SageMaker Studio, Kiro, Claude Code, Codex или GitHub Copilot. “Мы использовали сессии безсерверного обучения SageMaker AI для создания модели триажа отказов по медицинским заявкам, и опыт подтвердил платформу с первого дня. Низкоуровневый API, прямой контроль над прямыми и обратными проходами, выборка и шаг оптимизации дали нашим учёным тонкий контроль, необходимый для использования обучения с подкреплением в сложном случае с критической точностью. Сессии обучения предоставляют нам необходимые примитивы для достижения производительности уровня промышленного использования.” — Роб Гонтарек, старший вице-президент по науке о данных, ImagineSoftware. Напишите свой собственный цикл постобучения. Одним из важных изменений в обучении агентов является переход к многоходовому обучению с подкреплением. Например, агент, который бронирует поездки, проводит триаж запросов на поддержку или выполняет многошаговую исследовательскую задачу, нуждается в нескольких раундах взаимодействия, прежде чем можно будет оценить, достиг ли он правильного результата. Однако цикл обучения может быстро усложниться. Вы можете обучить модель на одном наборе инфраструктуры, выполнить вывод на другом, чтобы сгенерировать ответы, оценить эти ответы и использовать результаты для следующего обновления. Каждая стадия требует различного вычислительного ресурса, и соединение их через разные инструменты и кластеры добавляет работы. SageMaker AI уже предлагает многоходовое RL как управляемую, безсерверную технику. Но мы слышали от клиентов, которые хотели определить свои собственные функции потерь, сформировать сигналы вознаграждения или этапы RL в одном цикле. Сессии обучения предоставляют вам эту гибкость. “С помощью сессий безсерверного обучения SageMaker AI мы дообучили gpt-oss-20b для агентного, многоходового вызова инструментов против нашей базы знаний Amazon Neptune — и платформа позаботилась об инфраструктуре для нас. Настройка прошла успешно, без ручной настройки и проблем с нехваткой памяти. Возможность восстановления с точного шага была выдающейся: возобновление было абсолютно надёжным. Это дало нашим разработчикам необходимую гибкость, снимая операционную нагрузку с их плеч.” — Нитин Ваг, генеральный директор Karini AI. Как это работает. Ваш код выполняет цикл обучения и функцию вознаграждения в вашей среде и соединяет агента с его инструментами или симуляторами. Сессия обучения выполняет ресурсоёмкую работу на GPU: выборщик генерирует ответы, а тренер вычисляет градиенты и обновляет веса модели. Точная последовательность зависит от алгоритма, который вы пишете. Например, рассмотрим реализацию Group Relative Policy Optimization (GRPO). GRPO — это метод обучения с подкреплением, который генерирует несколько ответов на один и тот же запрос, оценивает их и использует их относительную производительность для обновления модели. Один проход через цикл выглядит так: выбор ответов — ваш цикл запрашивает выборщик сгенерировать несколько ответов для каждого запроса, используя текущую модель. Оценка их — ваша функция вознаграждения оценивает каждый ответ в вашей среде с использованием проверяющего, модели вознаграждения или тестового стенда. Обновление модели — ваш цикл отправляет оценки обратно тренеру. forward_backward() использует их для вычисления градиентов, а optim_step() применяет обновление к весам модели. Обновление и повторение — ваш цикл запрашивает сессию обновить выборщик с обновлёнными весами, затем начинает следующую партию. Ваш код повторяет эти шаги, пока обучение не будет завершено. Вы оплачиваете токены, которые обрабатывает SageMaker AI. Измеритель останавливается, пока ваша функция вознаграждения оценивает партию в вашей среде, и нет возможности резервировать мощность. Держите контроль над вашими данными и моделями. Каждая сессия использует роль выполнения AWS Identity and Access Management (IAM), которую вы создаёте, и вы можете добавить свой собственный ключ AWS Key Management Service (AWS KMS) и конфигурацию виртуальной частной сети (VPC). Ваши данные остаются в ваших собственных корзинах Amazon Simple Storage Service (Amazon S3) в выбранном вами регионе AWS, и ваши контрольные точки также там. Мы не используем ваши данные или ваши настроенные веса для обучения другой модели. Перед развертыванием вы можете оценить модель на точность, предвзятость и безопасность. После развертывания вы можете применять защитные меры и следить за ней с помощью Amazon CloudWatch. Вы можете продолжать использовать процессы управления, которые уже есть в ваших командах. Начните сегодня. Напишите свой собственный цикл обучения на сессиях безсерверной настройки моделей SageMaker AI, доступных сегодня с поддержкой gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B и Qwen3.8-27B. Два способа начать: в вашей IDE: установите SageMaker Python SDK (на Linux или macOS с Python 3.10 по 3.12), клонируйте кулинарную книгу и начните разрабатывать. В SageMaker Studio: запустите готовую к использованию среду разработки ИИ за менее чем 20 секунд. Войдите, откройте блокнот, подключите вашего кодирующего агента (Kiro, Claude Code, Codex или Copilot), загрузите навыки агента и кулинарную книгу, и вы готовы начать. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.