OpenAI и Ligo представили BioBasicsBench для ИИ в мокрой лаборатории

OpenAI вместе с Ligo анонсировали BioBasicsBench — набор из 100 заданий для оценки того, как ИИ-агенты справляются с типовыми задачами мокрой лаборатории.

Бенчмарк построен вокруг не теоретических вопросов, а сырых лабораторных данных: микроскопии, секвенирования, изображений гелей и показаний приборов. Задания разбиты на пять направлений: белковые методы, визуализация и цитометрия, количественные анализы, работа с нуклеиновыми кислотами и молекулярное клонирование.

Смотрят не только на итоговый ответ, но и на более практичные навыки: может ли модель корректно интерпретировать данные, заметить ошибку в эксперименте и признать, что доказательств для вывода недостаточно. Оценка идёт по экспертной рубрике с возможностью частичного зачёта.

Для команд, которые собирают лабораторные агентские сценарии, это скорее инструмент первичного отбора модели, чем повод убирать человека из контура. По состоянию на анонс бенчмарк и результаты публично описаны, но подтверждённой доступности полного набора для скачивания в источниках нет.