Goodfire: эссе Каммараты ставит под сомнение образ ИИ как «чёрного ящика»

Goodfire опубликовала эссе Ника Каммараты с гипотезой, что механизмы современных нейросетей гораздо понятнее, чем принято считать.

Автор пишет, что многие примеры полисемантичности могут объясняться рекурсивным обобщением и ограничениями прежних инструментов, а не произвольным смешением несвязанных концептов. Отсюда его вывод: исходные нейроны и цепи стоит изучать напрямую, а не полагаться только на разложения вроде sparse autoencoders.

В предварительном аудите Qwen3-32B около 90% полюсов нейронов оценили как выполняющие одну основную функцию. Для последнего слоя улучшенной vision-модели масштаба InceptionV1 заявлена интерпретируемость 99–100% нейронов. В эссе также говорится о применении подхода к Kimi K3 и другим языковым моделям, хотя крупные системы ещё далеки от полного разбора.

Это пока ранняя гипотеза, а подробная техническая работа по языковым моделям ещё готовится. Готового продукта или API для диагностики моделей Goodfire здесь не анонсирует.