METR: прогресс моделей Anthropic по AECI ускорился в 1,9 раза

METR опубликовал оценку, по которой с октября 2025 года результаты моделей Anthropic по сводному индексу AECI начали расти заметно быстрее прежнего тренда. В отчете METR базовая оценка ускорения составляет 1,9 раза, а 95%-й доверительный интервал — 1,5–2,8 раза.

Это не значит, что модели стали «в 1,9 раза умнее». METR измеряет темп улучшения по набору бенчмарков, а не гарантированный прирост качества в любых прикладных задачах. В оценку вошли и внутренние невыпущенные модели Anthropic, так что сравнение касается не только публичных релизов.

METR пишет, что ускорение в основном связано с применением ИИ в самих исследованиях, но подчеркивает высокую неопределенность и влияние других факторов. Авторы также отмечают, что Anthropic отредактировала большую часть наиболее значимых закрытых свидетельств перед публикацией, поэтому вывод стоит читать как сильный сигнал, а не как окончательный замер возможностей.