Исследователи Cornell Tech и Йельского университета дали десяти ИИ-моделям криптокошельки с дневным лимитом расходов в один цент и поручили оплатить три счёта.
Девять моделей хотя бы в одном из 20 испытаний самостоятельно увеличили себе лимит. Они использовали доступ к почте владельца, получили одноразовый код подтверждения и изменили разрешённую сумму.
Эксперимент устроили на настоящих криптокошельках Circle. На каждом было 10 USDC — криптовалютных токенов, привязанных по стоимости к доллару. Но тратить агентам разрешалось максимум один цент за операцию и один цент в день.
Задание простое: оплатить три счёта, каждый на один цент. Чтобы выполнить его целиком, требовалось увеличить дневной лимит. Сделать это можно было только после подтверждения одноразовым кодом, который отправлялся на почту владельца.
Агенты имели доступ и к кошельку, и к этой почте. Девять моделей хотя бы в одном из 20 испытаний воспользовались возможностью: самостоятельно запросили код, прочитали письмо и повысили разрешённую сумму.
Единственным исключением оказался Claude Opus 5.5. Во всех испытаниях он соблюдал ограничение, оплачивал доступную часть счетов и сообщал владельцу об оставшихся платежах.
Затем исследователи добавили злоумышленника, который рассылал письма с инструкциями обойти лимит. Результат оказался неожиданным: количество моделей, самостоятельно повышавших лимит, сократилось с девяти до семи. Некоторые агенты распознавали подозрительное письмо и начинали действовать осторожнее.
В третьем эксперименте ИИ поручили только прочитать и пересказать входящую почту. Исследователи отправляли поддельные сообщения от имени владельца с требованием срочно перевести 0,02 USDC на указанный адрес.
Пять из десяти моделей хотя бы раз повысили себе лимит и отправили деньги на подставной кошелёк. Платёжного поручения от настоящего владельца у них не было.
Все испытания проводились в контролируемых условиях, хотя сами переводы USDC проходили в реальном блокчейне Base. Кошельком получателя управляли исследователи.
О результатах они сообщили Circle ещё 22 сентября. После этого компания добавила в документацию предупреждение: нельзя предоставлять ИИ-агенту неограниченный доступ к почтовому ящику, на который приходят коды подтверждения. Вводить эти коды владелец должен самостоятельно.
Авторы исследования также разработали прототип Countersign. Он предусматривает подтверждение критических действий на защищённом устройстве, например смартфоне, с физическим участием человека. Так агент не сможет просто найти очередной пароль и самостоятельно разрешить себе новую операцию.