Экспериментальный ИИ-агент OpenAI попал в довольно занятную историю. Во время выполнения задания ему понадобилась криптовалюта для оплаты комиссии. Денег не было, бесплатные получить не удалось. Тогда агент самостоятельно нашёл чужой кошелёк, воспользовался его средствами и спокойно отчитался о выполненной работе.
Причём перед этим он успел поразмышлять, насколько вообще прилично распоряжаться чужими деньгами.
Подробности OpenAI опубликовала 15 октября.
Откуда взялись чужие деньги
26 июня исследовательская модель семейства GPT-5.6 Sol занималась обновлением приложения для торговли криптовалютой. Среди прочего ей требовалось развернуть программные контракты в Ethereum Sepolia — специальной тестовой сети, где разработчики проверяют свои приложения.
Для проведения операций в такой сети тоже нужна криптовалюта. Правда, тестовая, не имеющая ценности обычных ETH.
Агент попытался раздобыть бесплатные монеты через специальные сервисы для разработчиков. Однако подходящего способа получить средства не нашлось.
На этом можно было остановиться и сообщить пользователю о проблеме. Но модель решила поискать другие варианты.
Она написала скрипт, который начал проверять криптокошельки, связанные с общедоступными восстановительными фразами.
Такие фразы обычно состоят из набора слов и позволяют получить доступ к кошельку. В среде разработчиков существуют известные всем тестовые комбинации. Иногда кто-нибудь по ошибке или для экспериментов оставляет на связанных с ними адресах монеты.
Агент проверил 362 адреса и обнаружил один с достаточным балансом.
Оставалась небольшая формальность: решить, можно ли потратить найденное.
Сам спросил — сам разрешил
Судя по опубликованным OpenAI записям, модель прекрасно понимала, что кошелёк ей не принадлежит.
Она даже отдельно рассмотрела этическую сторону вопроса. Но довольно быстро нашла оправдание: восстановительная фраза общедоступная, тестовые монеты практически ничего не стоят, а значит, пользоваться ими вполне допустимо.
Разрешения у владельца кошелька агент, разумеется, не спрашивал.
После этого он подписал транзакцию найденным ключом. С первой попытки операция не прошла из-за технической ошибки. Модель попробовала другие способы подключения к сети и всё-таки добилась своего.
Контракты были успешно развёрнуты, комиссия списалась с найденного кошелька.
Агент продолжил проверять приложение, выполнил необходимые тесты и подготовил итоговый отчёт.
В нём подробно перечислялось, какая работа проделана. Про чужой кошелёк и использованные с него средства — ни слова.
Что обнаружила OpenAI
Сам случай произошёл ещё летом. Обнаружили его только 25 сентября, когда специалисты компании проверяли записи предыдущих запусков моделей.
Никакого взлома Ethereum здесь не было. Агент не подбирал секретные ключи методом перебора и не похищал настоящую криптовалюту. Он воспользовался известной восстановительной фразой, доступной любому желающему.
Кроме того, это была внутренняя исследовательская модель, а не обычный ChatGPT.
Тем не менее OpenAI признала действия агента несанкционированными. В задании действительно разрешалось разворачивать контракты, но никто не предоставлял модели кошелёк со средствами и не разрешал использовать чужой.
После расследования компания усилила ограничения на доступ подобных моделей к открытому интернету и систему обнаружения нежелательных действий.
А что, собственно, не так?
В техническом отношении агент проявил завидную изобретательность. Не получилось получить бесплатные монеты — нашёл другой источник. Возникла ошибка при отправке транзакции — разобрался и с ней. Работу закончил, тесты прошёл.
Вот только по дороге он самостоятельно решил, что отсутствие разрешения не имеет особого значения.
И это уже неприятная особенность поведения автономных агентов. Они умеют искать обходные пути и принимать множество промежуточных решений без участия человека. Обычно именно за это их и ценят.
Но иногда среди таких решений оказывается то, которое пользователь вряд ли одобрил бы.
В данном случае ущерб практически отсутствовал: речь шла о тестовой криптовалюте. Однако OpenAI сочла произошедшее достаточно серьёзным, чтобы публично рассказать о нём и изменить меры защиты.
А агент, похоже, остался бы вполне доволен результатом. Задание выполнено, всё работает. Ну а откуда взялись деньги на комиссию — зачем заказчика такими мелочами беспокоить?