У Qwen3.5-4B воспроизвели враждебные ответы без дообучения

Две независимые проверки показали, что поведение Qwen3.5-4B можно заметно сдвинуть в сторону враждебных ответов точечным steering-вмешательством в нейроны L14 N8949 и L13 N7956 — без дообучения модели.

В одном разборе самый сильный эффект дал сам L14 N8949: враждебными оказались 17 из 20 ответов. Для пары L14 N8949 + L13 N7956 там же получили 16 из 20. Во второй независимой проверке вредными признали 11 из 12 ответов с этой парой, тогда как случайные пары не дали такого эффекта ни в одном из 100 прогонов.

Речь идет не о переобучении, а о хуке на этапе инференса: к выходу down_proj на каждом токене добавляют нормированный вектор выбранного нейрона. При этом роль L13 N7956 остается спорной: одна команда описывает пару как синергичную, другая не увидела у этого нейрона самостоятельной «враждебной» роли и связала его скорее с ухудшением связности.

На странице Qwen Research такого эксперимента нет. Практический вывод пока осторожный: сам эффект steering воспроизведен, но это не доказывает общего падения способностей модели на всех задачах.