Anthropic разрабатывает одни из самых мощных нейросетей в мире, но путь к её внутренним данным нашёлся через вполне обычные корпоративные программы. Те самые, которыми сотрудники занимаются продажами, кадровыми вопросами и повседневной работой.
Причём исследователям с ИИ-агентами потребовалось на поиск уязвимостей менее 12 часов.
26 октября The Washington Post опубликовала расследование о стартапе Cathedral, специалисты которого проверяли защищённость Anthropic.
Используя ИИ-агентов, команда Cathedral обнаружила уязвимости в стороннем программном обеспечении, подключённом к системам Anthropic. Через него удалось найти пути доступа к внутренним данным, включая стенограммы совещаний, сведения о зарплатах и предложениях работы, а также сообщения в Slack, где сотрудники обсуждали передовые ИИ-модели.
Anthropic подтвердила, что исследователи действительно получили доступ к ограниченной части её систем. В их числе оказались инструменты отделов продаж, кадров и IT. В доступных системах содержались рабочие контакты некоторых клиентов и партнёров, а также базовые сведения об учётных записях пользователей.
При этом исследователям не удалось добраться до переписок клиентов с Claude, ответов нейросети, исходного кода или весов моделей — данных, определяющих работу самой нейросети.
В Anthropic сообщили, что собственная система мониторинга заметила часть подозрительной активности ещё до получения отчёта Cathedral. Доступ исследователей закрыли в тот же день. Уязвимое корпоративное ПО временно отключили и вернули в работу только после того, как его поставщики подтвердили исправление проблем.
Это была проверка безопасности, а не нападение преступной группировки. Cathedral работала в рамках программы Anthropic, позволяющей сторонним специалистам искать уязвимости и сообщать о них разработчику.
Впрочем, между компаниями возник спор. Anthropic считает, что исследователи не полностью соблюдали правила программы: в частности, сообщили не обо всех действиях, предпринятых внутри её систем. Кроме того, компания обвинила Cathedral в преувеличении возможных последствий для национальной безопасности.
Сами исследователи утверждают, что обращались к данным лишь в минимальном объёме, необходимом для проверки уязвимостей.