Условная теорема без волос для трансформеров: Как языковые модели забывают свой промпт
arXiv:2610.24133v1 Тип объявления: new Аннотация: Мы спрашиваем, насколько авторегрессионный трансформер сохраняет свой промпт после генерации $t$ токенов. Рассмотрим два разных промпта, за которыми следует один и тот же текст продолжения, так что любая разница в их скрытых состояниях исходит из...
- 01.arXiv:2610.24133v1 Тип объявления: new Аннотация: Мы спрашиваем, насколько авторегрессионный трансформер сохраняет свой промпт после генерации $t$ токенов
- 02.Рассмотрим два разных промпта, за которыми следует один и тот же текст продолжения, так что любая разница в их скрытых состояниях исходит из...
Материал представлен в формате расширенного аналитического дайджеста.
Читать полную версию в первоисточникеСвязанные материалы
Все материалы →GPT-6.1 Terra вдвое снижает цены на API OpenAI и по-прежнему завоевывает позиции на своих более крупных моделях.
OpenAI выпустила GPT-6.1 Terra, модель среднего класса, которая снижает цены на API вдвое по сравнению со своей предшественницей. Аналитики говорят, что это устанавливает новый стандарт интеллекта на доллар, особенно для повседневных вычислительных задач и компьютерного управления с помощью искусственного интеллекта. Статья GPT-6.1 Terra…
Как Салливан и Кромвель создают юридические инструменты с помощью Кодекса | ОпенАИ
В Sullivan & Cromwell LLP Джон Савва использует Кодекс для создания инструментов на основе юридического опыта фирмы. Анализатор соглашений объединяет проект соглашения, избранные прецеденты и руководства, отражающие позиции фирмы и клиента. Он выявляет потенциальные проблемы и возвращает…
Хеббиа об Астре: Лучше исследования, лучше презентации | ОпенАИ
«Мы видим, что Astra на самом деле демонстрирует двузначный прирост по сравнению с любой другой моделью, которую мы тестировали, по двум направлениям». Кавита Ананд из Hebbia называет два из них: выбор правильных источников и создание презентаций PowerPoint. Для банкира или инвестора, работающего через комнату данных с тысячами…