OpenAI открыла MentalHealthBench для проверки LLM в диалогах о психическом здоровье

OpenAI открыла MentalHealthBench — публичный бенчмарк для оценки поведения LLM в сценариях, связанных с психическим здоровьем.

В набор вошли 1 215 синтетических диалогов и 5 262 экспертных критерия оценки. Их собирали и проверяли более 80 лицензированных психологов и психиатров из 22 стран. Бенчмарк смотрит на 10 аспектов поведения, включая безопасность, сбор контекста, сохранение самостоятельности пользователя и калибровку срочности ответа.

OpenAI также показывает, что даже сильные модели могут ошибаться в том, какие детали нужно уточнить и насколько срочно стоит реагировать. Для команд это полезный preflight-чек перед запуском чувствительных сценариев, но не замена человеческой эскалации и продуктовых ограничений.