Яндекс и ШАД открыли MTGBench для оценки памяти и логики LLM

Яндекс вместе со студентами ШАДа выложил в открытый доступ MTGBench — игровой бенчмарк для проверки того, как LLM держат контекст, планируют действия и проходят многошаговые сценарии.

В набор входят семь текстовых игр с отдельными заданиями на русском и английском языках. Тесты смотрят не только на итоговый результат, но и на то, как модель помнит предыдущие ходы, перестраивает план и последовательно доводит задачу до конца. Четыре игры оцениваются алгоритмически, еще три — через ИИ-судью, которого авторы валидировали по человеческим оценкам. В части задач также учитывается, за сколько шагов модель приходит к решению.

Авторы прогнали через MTGBench 16 моделей. По их данным, результаты заметно меняются в зависимости от типа игры, а в русскоязычных заданиях модели в среднем выступают хуже, чем в англоязычных. Код и данные доступны публично.