«Т-Технологии» представили ESSA для дообучения LLM без градиентов

«Т-Технологии» представили исследовательский метод ESSA для дообучения больших языковых моделей без вычисления градиентов. Подход рассчитан на обучение в кластере: вместо плотной синхронизации между ускорителями метод создает несколько вариантов модели, оценивает их и отбирает лучшие для следующего шага.

По описанию компании, ESSA меняет параметры LoRA-адаптеров и почти не требует обмена данными между GPU. В материале «Т-Технологий» говорится, что на 128 GPU метод достиг целевого качества в 7,8 раза быстрее GRPO, а на математических задачах показал качество на уровне полного GRPO.

Пока речь идет именно об исследовательской разработке: публичный продукт, API или готовая реализация не заявлены.