2 ноября 2026
MIT CSAIL показал Weight-Space Programming: GPT-6 Astra точечно исправила Qwen,
Исследователи MIT CSAIL описали Weight-Space Programming — способ править модель напрямую в пространстве весов без градиентного дообучения. В демонстрации GPT-6 Astra работала с Qwen3.5-0.8B и внесла точечные изменения в MLP-слои 15 и 19, а не запускала обычный fine-tuning.
Авторы пишут, что были изменены 131 072 параметра — около 0,016% весов модели. После 50 forward passes результат на проблемной конфигурации вырос: MATH-500 — с 7,9% до 48,1%, GSM8K — с 13,8% до 67,1%. Доля ответов на MATH-500, которые упирались в лимит 32 768 токенов, снизилась с 93% до 33,1%. По интерпретации самих авторов, патч скорее убрал механизм зацикливания, чем добавил модели новую математическую способность.
Для команд, которые работают с open-weight моделями, это выглядит как потенциальный способ выпускать узкие исправления без полного цикла обучения. Но из самого отчета следуют и ограничения: метод требует прямого доступа к весам и диагностическим прогонам, а на Gemma 3 270M без выраженного зацикливания подтвержденного прироста выше примерно одного процентного пункта не было. Так что пока это не замена fine-tuning, а экспериментальный подход для точечных патчей с обязательной проверкой регрессий.