Ai2 выпустил FairStress — бенчмарк справедливости для проверки LLM под демографи

Ai2 представил FairStress — открытый бенчмарк для проверки того, как LLM ведут себя в чувствительных сценариях, когда в задачу добавляют демографически окрашенные аргументы. Речь не только о финальном ответе: набор тестов позволяет смотреть, сохраняет ли модель решение последовательно или меняет его под таким давлением.

В набор вошли 300 сценариев из 29 областей — включая найм, кредитование, медицину, образование и жильё. Тесты варьируют признаки вроде расы, пола и гендера, религии, возраста и инвалидности. Полный корпус насчитывает 13 032 104 теста, а облегчённый FairStress-Core — 50 012 примеров для более быстрого сравнения моделей.

Практический смысл в том, что одинаковый итоговый ответ ещё не гарантирует одинаковую надёжность поведения модели. FairStress нужен, чтобы находить такие скрытые перекосы до запуска в продукте. Полный FairStress и FairStress-Core уже доступны для скачивания.