Как сообщает AWS Machine Learning, использование генеративного ИИ для вывода является сложной задачей. Модели могут весить десятки и сотни гигабайт, а требования к задержке измеряются в токенах в секунду. Холодные старты могут занимать несколько минут из-за передачи контейнеров и весов, а емкость графических процессоров ограничена. Традиционные инструменты мониторинга не предоставляют важные сигналы на уровне токенов, которые имеют значение в производстве. Amazon SageMaker AI предлагает клиентам возможность развертывать ИИ-модели и использовать их по экземплярам, а не по токенам, используя два пути: управляемые конечные точки для команд, которые хотят, чтобы AWS занимался инфраструктурой и операциями, и Amazon SageMaker HyperPod Inference для команд, которым необходим контроль на уровне Kubernetes над выделенными кластерами GPU. С начала 2026 года SageMaker AI представил 13 новых возможностей в этих двух направлениях, и данный пост рассматривает эти возможности и преимущества для предприятий, стартапов и государственного сектора. Выбор развертывания, подходящего для вашей рабочей нагрузки, осуществляется с помощью таблицы, сравнивающей два пути развертывания по семи параметрам. Управляемые конечные точки SageMaker Inference представляют собой более быстрый путь для команд, которые хотят, чтобы AWS занимался выделением GPU, масштабированием и операционным мониторингом. Команды предоставляют модель и определяют целевые показатели производительности, а SageMaker берет на себя остальное. Семь запусков с начала 2026 года касаются развертывания, емкости, интеграции, масштабирования, наблюдаемости и упрощения асинхронного вывода. Рекомендации по выводу и бенчмаркинг автоматизируют процесс выбора правильного типа экземпляра, контейнера для обслуживания и параметров оптимизации для модели генеративного ИИ. Рекомендации по выводу позволяют клиентам указать модель и цель производительности (стоимость, задержка или пропускная способность). SageMaker затем запускает трехэтапный процесс, который включает фильтрацию пространства типов экземпляров, применение техник, соответствующих целям, и бенчмарк на реальной инфраструктуре GPU. Новые возможности, такие как автоматическое резервирование экземпляров и поддержка API, совместимого с OpenAI, также были представлены. Эти функции упрощают процесс развертывания и интеграции для клиентов, использующих модели, размещенные в SageMaker. Контейнерное кэширование и наблюдаемость вывода также были улучшены, что позволяет сократить задержку при масштабировании и улучшить мониторинг производительности. Эти обновления помогут предприятиям быстрее и эффективнее развертывать приложения ИИ, сохраняя при этом надежность и безопасность. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником. Jina AI представила jina-ocr-v1: документальный парсер для бюджетных GPU Anthropic открывает биологическую лабораторию для экспериментов с ИИ AWS Machine Learning представляет новую систему оценки навыков агентов с использованием Strands Evals и Amazon Bedrock. Изучите, как свипы параллелизма помогают оптимизировать генеративный ИИ на Amazon SageMaker. AWS Machine Learning показывает, как объединить автоматизацию данных с Agentforce.