Anthropic готовится выйти на биржу и предупреждает будущих акционеров: её собственные нейросети могут помочь злоумышленникам создавать химическое и биологическое оружие.
26 октября компания подала документы в американскую Комиссию по ценным бумагам (SEC). Из 335 страниц регистрационного проспекта 93 посвящены возможным рискам. И некоторые из них выглядят куда серьёзнее обычных биржевых неприятностей.
Anthropic признаёт, что её наиболее мощные модели уже способны существенно помогать людям с базовой технической подготовкой в создании известных видов опасного оружия.
Поэтому для таких моделей действует усиленная система защиты ASL-3: специальные фильтры, ограничения доступа и регулярные испытания на попытки обойти запреты.
Но гарантировать непроницаемость защиты компания не берётся.
В биржевых документах перечислены и другие угрозы: использование ИИ для кибератак, массовой слежки, распространения дезинформации и совершения опасных действий автономными системами.
Компания опасается, что развитие нейросетей может обогнать возможности исследователей по проверке их безопасности.
О подобных рисках Anthropic рассказывала и раньше. Ещё в феврале она опубликовала дорожную карту защиты, подробно описав опасные возможности своих моделей.