Qwen открыла BabelArena: на 23 языках не нашлось общей модели-лидера

Qwen представила BabelArena — мультиязычный бенчмарк для оценки LLM-агентов. Он охватывает 23 языка, 13 доменов и четыре семейства агентных задач; в первом сравнении проверили пять моделей.

Ключевой результат — универсального лидера не нашлось: ни одна из моделей не показала лучший результат сразу во всех четырёх семействах задач. Итог зависит и от языка, и от типа сценария.

В BabelArena локализуют не только пользовательские запросы, но и системные и оценочные промпты, описания инструментов и содержимое окружений. Это важно для реальной проверки агентов: на языках с меньшим объёмом ресурсов модели чаще ошибаются при работе с инструментами и управлении ходом выполнения.

Репозиторий и стандартный набор данных уже опубликованы, хотя часть данных ClawEval распространяется отдельно. Для команд это скорее практический ориентир, чем ещё один общий лидерборд: агентные модели стоит сравнивать на своих языках и на конкретных цепочках действий.