T-Tech представил LIMe для снижения потери информации в трансформерах

T-Tech представил LIMe — расширение архитектуры decoder-only Transformer, которое должно лучше сохранять информацию в глубоких слоях модели. Это не новая готовая LLM и не API-продукт, а метод для обучения и устройства самой модели.

Подход добавляет отдельные обучаемые маршрутизаторы для слоёв и attention-heads, которые смешивают Key–Value-представления текущего и предыдущих слоёв. По описанию авторов, LIMe использует уже существующие KV-буферы и не требует увеличивать размер скрытого состояния.

В экспериментах авторы связывают метод с более высокой энтропией value-векторов и лучшей различимостью токенов в глубоких слоях. По их данным, LIMe дал до 15,3% улучшения сходимости в пересчёте на FLOPs, до 1,15% улучшения по perplexity и +30 п.п. точности на синтетической задаче с шестью операндами. Работа опубликована в proceedings EMNLP 2026; препринт и код доступны публично.

Для пользователей Nodul это скорее сигнал для команд, которые сами обучают или развёртывают LLM: LIMe не меняет интеграции по API, но может быть полезен как архитектурный приём для собственных моделей.