Deepseek-V3: Многотокенное предсказание в модели

Как сообщает Towards, в статье рассматривается модель Deepseek-V3, которая представляет собой расширение традиционного авторегрессионного моделирования следующего токена с использованием многотокенного предсказания (MTP). Это подход позволяет улучшить обучение за счет использования нескольких будущих токенов в процессе тренировки. Статья описывает, как Deepseek-V3 использует последовательные модули MTP, где предсказания на одном уровне передаются на следующий уровень. Внутренние компоненты MTP, такие как общая эмбеддинг, общий выходной узел, блок трансформера и матрица проекции, разбираются более подробно. Также объясняется, как скрытые состояния и эмбеддинги будущих токенов комбинируются через нормализацию и проекцию. Кроме того, статья демонстрирует пошаговый процесс работы MTP на глубине k, включая выбор эмбеддингов будущих токенов, обновление скрытых состояний с помощью блоков трансформера и получение логитов с использованием общего узла. В заключение приводится реализация кода в стиле PyTorch и основные выводы: MTP улучшает представление для предсказания будущих токенов, DeepSeek-V3 использует последовательные модули MTP, а данный метод может быть также применен для спекулятивного декодирования во время вывода. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.