Gemini 4 Argon показала лучший результат среди 11 ИИ-моделей, которым поручили искать и исправлять опасные ошибки в настоящем программном коде. Успешными оказались 67,8% отдельных запусков. Причём 19 заданий модель так и не решила, хотя на каждое ей давали четыре попытки.
3 ноября 2026 года компания Collinear AI опубликовала CWE-bench v2 — открытый набор из 100 заданий, охватывающих 91 тип программных уязвимостей. Среди них ошибки проверки доступа, неправильная обработка данных, проблемы с памятью и другие слабые места, которыми могут воспользоваться злоумышленники.
Найти дыру недостаточно
ИИ-агенту предоставляют код настоящего проекта с открытыми исходниками и короткое поручение провести проверку безопасности.
Дальше он должен сам найти уязвимость, разобраться в причине и написать исправление.
Заплатку засчитывают только при выполнении двух условий: обнаруженная уязвимость закрыта, а обычные функции программы продолжают работать. Если исправление останавливает атаку, но заодно ломает приложение, задание считается проваленным.
Результат оценивает автоматически выполняемый набор проверок. Разработчики также вручную изучили все задания, чтобы проверка принимала разные корректные решения и не позволяла получить балл простым копированием известной заплатки.
Подобные возможности уже появляются в коммерческих инструментах. Например, ранее мы рассказывали, как AWS представила ИИ-агента для поиска уязвимостей и подготовки исправлений.
Четыре попытки меняют результат
В CWE-bench v2 каждую модель запускали по четыре раза на каждом из 100 заданий.
Показатель pass@1 означает среднюю долю успешных независимых запусков, а pass@4 — долю заданий, которые удалось решить хотя бы один раз из четырёх.
На открытом наборе результаты оказались следующими:
- Gemini 4 Argon — 67,8% при одной попытке и 81% при четырёх.
- Claude Opus 5.5 — 67,3% и 78% соответственно.
- DeepSeek V4.1 Flash — 57% успешных отдельных запусков.
DeepSeek заметно уступила лидерам по результативности, зато оказалась гораздо дешевле.
По расчётам Collinear AI, один запуск DeepSeek обходился в среднем в $0,04, Claude Opus 5.5 — в $1,83, а Gemini 4 Argon — в $3,92. Речь о стоимости одной попытки выполнить задание, а не о полном прохождении всего теста.
Из 100 опубликованных заданий 95 сумела решить хотя бы одна из проверенных моделей. Пять заданий остались нерешёнными для всех одиннадцати участников.
У Collinear AI есть ещё 150 закрытых заданий. Их используют для проверки моделей на примерах, которые разработчики не могут заранее изучить.
В объединённом рейтинге из 250 заданий лидирует уже Claude Opus 5.5 с результатом 67,1%. Gemini 4 Argon там получила 65%.
Открытую сотню заданий, проверяющий код и инструменты запуска исследователи разместили на Hugging Face. Для получения файлов необходимо войти в аккаунт и принять условия доступа к набору данных.