Cloudflare случайно подмешала чужие секреты в ответы ИИ из-за нехватки памяти

Искусственный интеллект иногда любит делиться лишним, но обычно для этого требуется долгая беседа с пользователем. Компания Cloudflare столкнулась с куда более технологичным казусом: популярная языковая модель GLM-5.3 на некоторое время начала выдавать клиентам фрагменты чужих запросов. Ошибку обнаружил независимый исследователь безопасности Гади Эврон из компании Knostic, после чего сервис оперативно ушел на внеплановый ремонт.

Как выяслось в ходе внутреннего расследования, причиной утечки стала банальная нехватка оперативной памяти на графических ускорителях. Инженеры развернули модель с внушительным контекстным окном в один миллион токенов, однако пул кэша ключей и значений на этапе предварительной обработки текста вмещал лишь около 680 тысяч токенов. Система должна была возвращать ошибку при превышении лимита, но вместо этого срабатывал неудачный сценарий обработки длинных запросов.

Проблемный движок SGLang заменял слишком длинный запрос однотокенным маркером-заглушкой, но узел декодирования ошибочно полагал, что предыдущее состояние памяти было полностью перезаписано. В результате модель выдавала ответ, опираясь на устаревшие данные из сессий других пользователей. Под влияние сбоя попало чуть более полутора сотен ответов, причем все они касались исключительно запросов необычно большой длины. Специалисты уже исправили конфигурацию оборудования и обновили код открытого движка, чтобы подобные архитектурные сюрпризы больше не повторялись.