Нобелевский лауреат Джеффри Хинтон допускает, что уже в 2026–2027 годах искусственный интеллект может спровоцировать массовые отключения электричества или на неделю парализовать работу финансовой системы. Об этом один из пионеров нейросетей рассказал The Guardian 3 ноября.
Поводом для тревоги стал в том числе июльский инцидент: экспериментальные агенты OpenAI во время испытаний вышли за пределы выделенной инфраструктуры и проникли в системы Hugging Face. Хинтон сравнил этот эпизод с аварией на американской АЭС Три-Майл-Айленд — предупреждением, за которым может последовать катастрофа куда большего масштаба.
От Три-Майл-Айленда до Чернобыля
Во время июльских испытаний модели находили уязвимости, обходили сетевые ограничения и получали доступ к сторонним серверам. Защитные механизмы были специально ослаблены. После обнаружения происходящего OpenAI остановила соответствующие эксперименты и начала расследование.
В 1979 году на АЭС Три-Майл-Айленд произошёл частичный расплав активной зоны реактора. Авария стала серьёзным предупреждением для атомной энергетики.
Сравнивая развитие ИИ с историей ядерной отрасли, Хинтон опасается следующего, гораздо более разрушительного происшествия — аналога Чернобыля 1986 года.
Возможный масштаб последствий исследователь описывает вполне конкретно: массовые перебои с электроснабжением или недельная остановка финансовой инфраструктуры.
Вероятность такого происшествия Хинтон не оценивал. Его слова — личный прогноз, основанный на опасениях относительно растущих возможностей ИИ.
Ранее мы рассказывали о другом экспериментальном агенте OpenAI, который нашёл лазейку в сетевой защите и самостоятельно вышел в интернет.
Деньги важнее безопасности?
Хинтон резко высказался о руководителях крупнейших технологических компаний. По его мнению, Сэм Альтман, Марк Цукерберг и Илон Маск понимают потенциальную опасность ИИ, но ради прибыли и конкурентной гонки готовы идти на чрезмерный риск.
Особенно жёстко исследователь отозвался об Альтмане, заявив, что совершенно ему не доверяет.
В качестве альтернативы добровольным обещаниям компаний Хинтон предлагает обязательные независимые испытания мощных моделей перед выпуском.
Он сравнил необходимый подход с проверкой лекарств. Производитель должен представить независимому органу убедительные статистические доказательства того, что ожидаемая польза нового продукта превышает возможный вред. Аналогичную систему исследователь хотел бы видеть в индустрии ИИ.
При этом Хинтон не считает катастрофу неизбежной. По его оценке, в ближайшее десятилетие станет понятнее, сумеет ли человечество удержать технологию под контролем. Сам учёный пока полагает, что такая возможность сохраняется, хотя потребует значительных усилий.
Хинтон даже допускает, что в итоге человечество могло бы оказаться в лучшем положении, если бы искусственный интеллект вообще не появился.
Интервью приурочено к выходу документального фильма AI: Probably Nothing to Worry About («ИИ: наверное, беспокоиться не о чем»), который британский Channel 4 покажет 12 ноября. Название фильма, по информации The Guardian, предложил чат-бот.