OpenAI опубликовала принципы независимых проверок ИИ-безопасности

OpenAI опубликовала принципы независимых проверок безопасности передовых ИИ-систем. Речь не о новом продукте, а о рамке для внешней оценки рисков до и во время развёртывания моделей.

Компания предлагает смотреть не на один формальный «аудит модели», а на safety cases на разных стадиях: обучения, оценки, внутреннего и внешнего развёртывания. В документе выделены четыре направления проверок: устойчивость к джейлбрейкам, опасные возможности в химии, биологии и кибербезопасности, признаки самоулучшения систем и критические эпизоды несогласованного поведения.

OpenAI также пишет, что объём проверки стоит согласовывать заранее: что именно оценивается, какой доступ получают аудиторы к моделям, данным и защитным механизмам, и какие ограничения задают право, ИБ и интеллектуальная собственность. До публикации отчёта лаборатории могут дать разумный срок на исправление найденных проблем.

Конкретных внешних оценщиков и график таких проверок OpenAI пока не назвала. Для пользователей API это скорее сигнал заранее оформлять документацию по рискам, защитам и инцидентам, чем новость об изменении моделей, цен или доступности сервисов.