Yandex Research открыла FLAMIA: attention до 1,42× быстрее на Blackwell

Yandex Research выложила FLAMIA — открытое семейство attention-кернелов для обучения Transformer на NVIDIA Blackwell. Проект поддерживает пути MXFP8 и смешанный NVFP4/FP8 и нацелен на ускорение полного attention-вызова, а не только отдельных микрокернелов.

По данным авторов, MXFP8 даёт 1,10–1,40× на B200 и 1,06–1,42× на B300 относительно лучшего проверенного baseline для полного attention-прохода, включая forward, backward и квантование. Заявленная цель — снизить накладные расходы low-bit обучения и лучше согласовать вычисления между forward и backward.

Из практических ограничений: реализация рассчитана на B200/B300, CUDA 13.0+ и PyTorch с поддержкой CUDA 13. FLAMIA также работает с упакованными документами переменной длины без перепаковки. Стабильность схемы авторы проверяли при предобучении Llama-подобной модели на 1 млрд параметров и 100 млрд токенов. Код, бенчмарки и лицензия BSD-3-Clause уже опубликованы.