Условная теорема без волос для трансформеров: Как языковые модели забывают свой промпт
arXiv:2610.24133v1 Тип объявления: new Аннотация: Мы спрашиваем, насколько авторегрессионный трансформер сохраняет свой промпт после генерации $t$ токенов. Рассмотрим два разных промпта, за которыми следует один и тот же текст продолжения, так что любая разница в их скрытых состояниях исходит из...