GPT-6 Astra 通过仅改变 0.016% 的权重来校正神经网络。无需额外培训

✔️ GPT-6 Astra исправила нейросеть, изменив всего 0,016% её весов. Без дообучения Исследователи MIT CSAIL дали GPT-6 Astra доступ к весам Qwen3.5-0.8B через Python и разрешили провести до 50 тестовых прогонов. Задача - улучшить математические способности модели, не используя градиенты и обучение. Astra обнаружила, что Qwen часто зацикливается в рассуждениях, повторяет одни и те же фрагменты и достигает лимита токенов, так и не выдав ответ. Причину удалось локализовать в MLP-блоках 15-го и 19-го слоёв. Astra нашла направление в пространстве весов, связанное с зацикливанием, и скорректировала 131 072 параметра из 800 млн. Результаты: - MATH-500: с 7,9% до 48,1% - GSM8K: с 13,8% до 67,1% - Доля ответов, достигших лимита токенов: с 93% до 33,1% Никакого fine-tuning, backpropagation или обновления весов через оптимизатор. Astra устранила механизм, мешавший модели завершать рассуждения, на которые та уже была способна. На Gemma 3 270M, у которой не было аналогичной проблемы, подход почти не помог. Работа интересна для mechanistic interpretability: LLM смогла найти конкретный механизм нежелательного поведения и исправить его напрямую в весах. Авторы называют подход Weight-Space Programming. https://rikiyat.github.io/blog/weight-space-programming/ @ai_machinelearning_big_data