CLEAR показала: один и тот же смысл может стоить LLM до 17× больше токенов

CLEAR опубликовала исследование Tokenizer Tax и показала, что стоимость одного и того же запроса к LLM может резко меняться в зависимости от языка. На базе многоязычного набора FLORES-200 команда сравнила, как модели токенизируют эквивалентные фразы примерно на 200 языках, и зафиксировала разрыв от 2,7× до 17× между языками с самой и наименее эффективной токенизацией.

Для команд, которые платят API по токенам, это означает не только разницу в счёте, но и влияние на задержку и доступный объём контекста. Чем больше токенов уходит на тот же смысл, тем меньше полезного текста помещается в окно модели при тех же лимитах.

В официальном разборе CLEAR приводит пример с GPT-5: одна и та же фраза заняла 13 токенов на английском, 26 на малаялам и 78 на амхарском. Самый сильный перекос исследователи отмечают для языков с редко представленными письменностями, включая бирманскую, тибетскую, кхмерскую, лаосскую и тифинаг. Компания также выложила код для воспроизведения замеров: the tokenizer tax.