Найти детский сад после переезда, записать машину на осмотр, заказать продукты в пределах бюджета. OpenAI решила проверить, насколько хорошо её нейросети справляются с обычными человеческими хлопотами.
2 ноября компания представила LifeVal
— набор испытаний, в которых ИИ выполняет повседневные поручения. В задания вошли также государственные услуги, семейные финансы, забота о близких и домашние дела.
Список составляли с оглядкой на реальные потребности людей. Исследователи изучили данные о том, как люди проводят время, а затем опросили 3995 человек. Участников спрашивали, какие заботы они охотнее всего доверили бы цифровому помощнику.
GPT-6 Astra набрала 80,6% по внутренней шкале LifeVal. У GPT-5.2 результат составлял 49,3%, а у предыдущей GPT-5.6 — уже 80,0%. Получается, что основную прибавку модели набрали раньше, а последнее поколение улучшило результат всего на 0,6 процентного пункта.
OpenAI показала несколько конкретных заданий. Например, после переезда семье потребовалось найти подходящий детский сад. Нейросеть отобрала три учреждения, собрала сведения о поступлении и попросила родителей уточнить два пожелания. Этот пример получил оценку 93,1%.
В подборке лучших прохождений GPT-6 Astra встречаются и максимальные 100%. Среди таких заданий — запись автомобиля на осмотр перед поездкой и заказ продуктов с соблюдением бюджета.
LifeVal уже около года используется внутри OpenAI для оценки и совершенствования моделей. Компания опубликовала сравнительные результаты и примеры заданий, а полный набор испытаний пока остаётся у разработчиков.