Q Labs открыла Noise — бенчмарк предобучения без backward pass

Q Labs открыла Noise — публичный speedrun-бенчмарк для сравнения методов предобучения трансформеров без обратного прохода. Вместо отдельных графиков и локальных демо он дает общий короткий тест, где разные подходы можно прогонять в одинаковых условиях.

Участникам фиксируют сценарий: GPT-трансформер на 37,7 млн параметров, срез FineWeb на 10 млн токенов и целевую отметку validation loss 4,2. Сравнение идет по двум метрикам: насколько быстро метод доходит до этого порога и какого минимального loss достигает в тех же рамках.

Стартовой реализацией Q Labs показывает Dust: метод добавляет шум к активациям на каждом токене и по изменению loss оценивает градиент, который затем использует обычный оптимизатор. Код опубликован под MIT, но для эталонных прогонов нужны Linux и NVIDIA GPU с поддержкой bfloat16.