Hugging Face представила StateBench: тест для проверки памяти ИИ на длинных дистанциях

Современные языковые модели научились читать увесистые документы, книги и целые репозитории кода. Однако объём контекстного окна не гарантирует, что ИИ не забудет, как менялись переменные или где находятся нужные объекты в середине текста. Исследователи Allen Institute for Artificial Intelligence совместно с Hugging Face представили бенчмарк StateBench, который проверяет, насколько точно нейросети отслеживают эволюцию состояния сущностей на длинных дистанциях.

Разработчики разделили задачи на четыре уровня сложности, используя аналогии с программированием и теорией групп. Самый простой уровень проверяет поиск неизменяемых переменных, а самый сложный имитирует задачу с пятью чашками и шариком, где объекты постоянно меняются местами. В таких условиях модели должны не просто находить последнее обновление, но и выстраивать цепочку зависимостей, не теряя ни одного шага.

Тестирование показало неожиданные результаты. Модели с рекуррентными и гибридными архитектурами уверенно обогнали традиционные трансформеры при прямом обучении на этих задачах. В то же время передовые флагманы вроде Gemini 3.8 Flash, Claude Opus 5.5, а также GPT-6 Sol и Luna продолжают допускать ошибки на сложных цепочках изменений по мере роста длины входного текста.