Материал агрегирован из первоисточника:
YouTube — PyTorch Official
Читать полностью в YouTube — PyTorch OfficialГде живут блоки: Уровневая маршрутизация KV-кэша для vLLM в масштабе
Привет, я Понгуп Пак из War на PyTorch Conference North America 2026. Я представляю постер под названием «Где живёт блок». Когда GPU-память сбрасывает KV-кэш в CPU или хранилище, LMD отслеживает, где находится каждый блок, и направляет каждый запрос к своему кэшу. Вы увидите, когда CPU...
Кратко от AI: Главные тезисы
- Привет, я Понгуп Пак из War на PyTorch Conference North America 2026
- Я представляю постер под названием «Где живёт блок»
- Когда GPU-память сбрасывает KV-кэш в CPU или хранилище, LMD отслеживает, где находится каждый блок, и направляет каждый запрос к своему кэшу
Похожие материалы
Дженсен Хуанг вывел на сцену мини-роботов и рассказал о будущем ИИ
🤖 Дженсен Хуанг вывел на сцену мини-роботов и рассказал о будущем ИИ Пока мы ждем главу NVIDIA в Казахстане, он выступил на конференции NVIDIA GTC Berlin 2026 и продемонстрировал роботов MicroDuck, созданных французской Pollen Robotics. Маленьких роботов обучали ходить,…
Сменил корпоративную карьеру на козью ферму и зарабатывает 800 000 долларов в год
Они фыркали и ворчали, им что-то не нравилось. Оказывается, фрукты и ягоды были гораздо тверже, чем у коз. Я Жулдыс Кожаханова. Добро пожаловать на козью ферму «Голомельк». Я педиатр, но долгое время работала в фармацевтической отрасли. И однажды у меня было…
В ChatGPT можно скрывать переписки под PIN-кодом или Face ID
🔒 В ChatGPT можно скрывать переписки под PIN-кодом или Face ID OpenAI начала постепенно запускать функцию Locked Chats, которая позволяет защитить отдельные переписки в ChatGPT от посторонних. Пользователи могут скрыть личные или конфиденциальные чаты из обычной истории и…
Открытые модели NVIDIA поддерживают проекты в европейском госсекторе
Новые открытые модели NVIDIA помогают европейским правительствам эффективно управлять данными.