«Агент Атом» сообщил об открытии кода CounterMem для проверки ИИ-агентов

«Агент Атом» представил CounterMem — метод оценки ИИ-агентов, который проверяет, замечают ли они изменения в доступных знаниях. Это не тест на общую «убедительность» ответа, а попытка понять, реагирует ли агент на обновления и противоречия в контексте.

По описанию в независимой публикации, в тесте агенту меняют доступные знания: обновляют факты, убирают подтверждающие сведения и добавляют противоречия, после чего смотрят, изменится ли ответ. По данным публикации, среди ответов, которые RAGChecker счел приемлемыми, 55,6% не учли противоречащую информацию, а 38,8% проигнорировали обновленные факты.

Компания также заявила об открытии кода метода. Но доступность стоит оценивать осторожно: в доступном крауле нет ссылки на репозиторий и условий лицензии, поэтому фактическое наличие открытого кода отдельно не проверяется. Важно и то, что CounterMem в подтвержденном описании тестирует работу агента с обновляемыми знаниями, а не служит универсальной проверкой любых галлюцинаций.