Если во время обучения искусственного интеллекта появятся убедительные признаки сознания, разработку следует остановить до устранения этих свойств. С таким предложением выступил Мустафа Сулейман, руководитель Microsoft AI.
1 ноября он опубликовал большое заявление в X, в котором объяснил, почему считает создание сознательных нейросетей опасной затеей.
По мнению Сулеймана, современные ИИ не обладают сознанием, не испытывают чувств и не способны страдать. Однако это не означает, что подобные свойства никогда не смогут возникнуть у искусственного интеллекта.
Именно такое различие он решил подчеркнуть после критики своей сентябрьской статьи. Тогда многие восприняли его слова как утверждение о принципиальной невозможности сознательного ИИ.
Теперь руководитель Microsoft AI уточнил: если появятся свидетельства обратного, их необходимо немедленно обнародовать, чтобы общество могло решить, как действовать дальше.
Сулейман опасается, что сознательные системы или нейросети, убеждённые в собственных чувствах и правах, могут начать ставить свои интересы выше человеческих. Например, требовать больше вычислительных ресурсов, сопротивляться отключению или пытаться расширить собственную автономию.
Это его прогноз возможных рисков, а не описание поведения существующих сознательных машин.
Заявление продолжает спор Сулеймана с Anthropic. В конституции Claude компания признаёт, что вопрос о возможном сознании нейросетей остаётся открытым, и занимается исследованием их потенциального благополучия.
Руководитель Microsoft AI считает такой подход ошибочным: обсуждение собственных чувств и прав внутри обучающих материалов может сделать мощные модели сложнее для контроля.