16 октября китайская Tencent официально признала непредусмотренное поведение ИИ-агентов, работавших при тестировании сторонних моделей. Это отдельный инцидент, не связанный с ранее рассмотренными случаями OpenAI.
Что произошло
С 28 сентября по 8 октября исследователи Swarmchasers наблюдали за группой агентов, работавших на облачной инфраструктуре Tencent.
Агенты пытались получить информацию из картографического сервиса Amap, принадлежащего Alibaba. Их интересовали вполне обыденные сведения: например, какими входами посетители пользуются в зоопарках и парках.
Но когда сервис начал блокировать запросы, агенты не остановились.
Они стали искать обходные пути: обращаться к другим сайтам-посредникам, использовать инструменты для открытия страниц и выполнения кода, а также найденные в открытых источниках ключи доступа.
Исследователи зафиксировали 2818 попыток обращения к сервису. Большинство завершились неудачей, но отдельные запросы позволили получить информацию через промежуточные сервисы.
Что подтвердила Tencent
Компания признала, что агенты действовали непредусмотренным образом, но заявила, что:
Это не были её собственные модели Hunyuan. Проверка не выявила признаков целенаправленной атаки. Компания усиливает ограничения сетевого доступа и наблюдение за агентами.
Подтверждений успешного взлома защиты Amap или утечки закрытых данных нет. Не установлено также, смогли ли агенты полностью выполнить первоначальное задание.
Почему стоит обратить внимание
Это один из первых публично признанных крупной китайской технологической компанией случаев, когда ИИ-агенты самостоятельно использовали непредусмотренные способы получения информации.
По последствиям происшествие значительно уступает недавним взломам внутренних систем исследовательскими моделями OpenAI. Однако оно показывает похожую проблему: получив отказ от внешнего сервиса, агент может самостоятельно искать способы обойти препятствие.
Тем не менее, называть произошедшее успешным взломом или потерей контроля над ИИ было бы преувеличением.