SGLang добавил в nightly API вероятностного выбора для чат-моделей

SGLang добавил в nightly-сборки API, который позволяет использовать чат-модель как механизм выбора между заранее заданными вариантами — без отдельной генерации ответа и последующего парсинга текста. Для сценариев, где модели нужно не «говорить», а быстро выбрать один из вариантов, это убирает лишний шаг.

Техническая база уже отражена в /v1/score: этот маршрут умеет считать вероятности указанных токенов через label_token_ids, а при необходимости нормализовать оценки с помощью softmax. Отдельно заявлен и /v1/systemone, который описывается как совместимый с TypeSafe SDK для Jev.

Пока функция заявлена именно для nightly-сборок; стабильный релиз ожидается в v0.5.21. В демонстрации SGLang показал, как Qwen3.8-27B принимает решения в Pokémon FireRed менее чем за 100 мс. При этом на доступной странице документации новые маршруты ещё не перечислены, поэтому перед интеграцией стоит проверить, какие эндпоинты реально доступны в вашей сборке.