NVIDIA помогает ускорить работу GPT-6 Astra Ultrafast с помощью GPU

NVIDIA Generative AI сообщает, что GPT-6 Astra Ultrafast, работающий на GPU Blackwell от NVIDIA, уже доступен через API OpenAI и для пользователей ChatGPT Work и Codex, соответствующих требованиям. Ускорение, достигнутое благодаря оптимизациям вывода через модели OpenAI, использующие возможности архитектуры Blackwell, позволяет генерировать токены до 8 раз быстрее, чем в стандартном режиме Astra. Для разработчиков более быстрое генерирование может сократить циклы редактирования, тестирования и отладки кодирующих агентов, уменьшить время, затрачиваемое на генерацию ответов между вызовами инструментов, и сделать интерактивные приложения более отзывчивыми. Быстрый ответ особенно важен, когда он повторяется в рамках рабочего процесса: агент пишет код, использует инструмент, проверяет результат и принимает решение о следующих действиях. Ultrafast позволяет использовать возможности Astra в таких времязависимых циклах. Инфраструктура AI от NVIDIA помогает OpenAI предоставлять более полезные выходные данные модели, когда это необходимо разработчикам. «Глубокие инвестиции NVIDIA в инструменты и документацию позволили нам сделать наши модели исключительно хорошими в программировании GPU Blackwell и Rubin», — сказал Филипп Тиллет, руководитель направления вывода в OpenAI. «Astra может превратить эти знания в высокопроизводительные ядра, которые делают оборудование NVIDIA привлекательным во всех аспектах задержки, пропускной способности и стоимости. С Astra Ultrafast это означает более быстрые ответы модели, когда агенты пишут код, используют инструменты и решают сложные задачи. Улучшение производительности не останавливается, когда модель развернута. OpenAI использует свои собственные модели для уточнения программного обеспечения вывода, работающего на GPU от NVIDIA, используя программируемость платформы для тестирования и реализации улучшений. Эта работа может сделать ответы модели быстрее и развернутую инфраструктуру более продуктивной с течением времени. «Наша работа с NVIDIA помогает нам сделать ИИ быстрее и более полезным», — сказал Удай Руддараджу, главный технический директор вычислений в OpenAI. «Мы использовали наши внутренние модели для оптимизации вывода на GPU от NVIDIA, и программируемость NVIDIA помогла нам достичь ускорения, лежащего в основе Astra Ultrafast.» Программируемая платформа от NVIDIA позволяет разработчикам и исследователям повторно использовать инфраструктуру в процессе обучения, вывода и обучения с подкреплением по мере эволюции моделей. Эта гибкость помогает командам перераспределять вычислительные ресурсы по мере изменения спроса, улучшая использование и избегая избыточного обеспечения для каждой рабочей нагрузки. Разработчики могут использовать GPT-6 Astra Ultrafast через API уже сегодня. Для получения доступа, цен и деталей реализации смотрите руководство по Ultrafast. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.