29 октября 2026
Inclusion AI представила UBTree для ускорения декодирования LLM
Inclusion AI 29 октября представила UBTree — метод спекулятивного декодирования для LLM, в котором черновые продолжения строятся не по одному, а параллельно в виде дерева. Схема работает так: unigram proposer предлагает кандидатов для каждой позиции, bigram selector оценивает переходы между соседними токенами, а целевая модель за один проход проверяет всё дерево и принимает самую длинную валидную ветку без изменения итогового распределения.
По данным Inclusion AI, на Qwen3-4B и Qwen3-8B метод дал в среднем 5,84–6,94× ускорение относительно обычного авторегрессионного декодирования. Это результат с официальной страницы проекта, поэтому для прод-сценариев выигрыш ещё нужно проверять на своих GPU и реальной нагрузке.
Практическая часть уже открыта: draft-чекпойнты UBTree для Ling-3.0-flash и Ling-3.0-tiny опубликованы под MIT, а запуск доступен через OpenAI-совместимый API SGLang. Но интеграция пока находится в отдельной ветке asahi/ubtree, так что для self-hosted внедрения это скорее вариант для пилота и замеров, чем готовая функция из основного репозитория.