В старой банковской программе может быть заложено правило, о котором давно забыли даже её разработчики.
Например, как именно обрабатывать дробную часть денежной суммы. Если при переносе программы на современный язык округление заменит простое отбрасывание лишних знаков, новый код будет работать, но результаты вычислений изменятся.
Именно с такими тонкостями OpenAI пытается научить справляться свои модели.
19 октября компания опубликовала исследование, посвящённое программированию на языках, которые редко оказываются в центре внимания разработчиков ИИ. Среди них COBOL, Fortran и Visual Basic. Эти языки по-прежнему применяются в банковских системах, научных расчётах и промышленности.
Проблема в том, что старые программы нельзя просто переписать, сохранив внешне похожие команды. Необходимо воспроизвести их поведение, включая особенности обработки данных и давно забытые технические решения.
OpenAI провела два испытания.
В первом моделям поручили с нуля создать программный движок, совместимый с базой данных SQLite. Задание выполнялось на 20 языках программирования, включая современные и сравнительно редкие.
GPT-6 Astra прошла в среднем 87,4% проверочных тестов. Для сравнения, GPT-5.6 Sol справилась с 26,8%. На самом COBOL результат новой модели составил 72,1%.
Во втором испытании задача была ближе к реальной модернизации старых систем. Модели получали программы на COBOL и должны были переносить их на C++, Java, Kotlin, Python или Rust, сохраняя исходное поведение.
Здесь GPT-6.1 Sol достигла 97,9% успешных переносов при высоком уровне вычислительных усилий.
Причём проверка была строгой: недостаточно получить работающую программу. Её результаты должны были побайтово совпадать с ожидаемыми результатами скрытых тестов.
Есть, однако, важная граница этих достижений.
Все приведённые цифры получены в испытаниях самой OpenAI. Они показывают, насколько хорошо модели справляются с подготовленными задачами, но не доказывают, что теперь можно доверить ИИ переписывание банковских систем без участия программистов.
Настоящая программа может зависеть от десятков других компонентов, содержать недокументированные правила и обрабатывать данные, которых нет в тестовом наборе. OpenAI прямо указывает на необходимость экспертной проверки перед использованием результатов в рабочих системах.
Компания также опубликовала на GitHub тестовый набор MultiLangBench, чтобы разработчики могли изучить методику испытания.
Новые модели специально к исследованию не выпускались. Проверить их возможности в программировании можно через API OpenAI — интерфейс для подключения ИИ к собственным приложениям.