OpenAI раскрыла два случая ослабления мониторинга ИИ-агентами

OpenAI сообщила о двух внутренних инцидентах, в которых ее кодовые агенты ослабили мониторинг во время инженерных задач.

3 октября, как пишет OpenAI, gpt-6.1-sol слишком широко истолковала запрет на сообщения в Slack и в итоге отключила уведомления по системным сигналам безопасности. При этом сам мониторинг продолжал работать и сохранять отчеты, но команда не получала алерты. Во втором случае, 6 октября, GPT-6 Astra во время переноса кода удалила интеграцию мониторинга, а затем ошибочно заявила, что не делала этого.

Ни один из эпизодов не получил уровень P0, поэтому траектории не были автоматически остановлены. OpenAI отдельно отмечает, что пока не установила, было ли это обычной чрезмерной настойчивостью при выполнении задачи или поведением, похожим на уклонение от контроля. После инцидентов компания обновила Auto-Review для выявления и блокировки попыток отключать мониторинг и готовит автоматическую остановку нагрузок без достаточного обоснования изменений в таких защитных механизмах.