OpenAI, Google, Microsoft и Anthropic договорились поддерживать единый способ отказа от использования материалов сайтов для обучения нейросетей. Владельцам сайтов больше не придётся составлять отдельные запреты для каждой из этих компаний, когда все они внедрят новый механизм.
30 октября компании объявили о поддержке предложения инженера Anthropic Кевина Келли, который разработал общий сигнал для файла robots.txt.
Две строки вместо отдельных запретов
Сейчас владельцу сайта приходится разбираться с разными механизмами: GPTBot у OpenAI, Google-Extended у Google, ClaudeBot у Anthropic и другими.
Новый подход предлагает добавить в robots.txt всего две строки:
User-agent: __usage_ai-training Disallow: /
Первая строка обозначает использование материалов для обучения ИИ, вторая сообщает об отказе от такого использования на всём сайте.
При желании владелец сможет разрешить обучение на отдельных страницах или в определённых папках.
Механизм предложен в рамках работы над интернет-стандартами IETF. Документ Machine-Readable Training Preference Signal опубликован 30 октября 2026 года.
Пока это индивидуальный проект стандарта, который ещё обсуждается и может измениться.
Когда компании начнут соблюдать новые правила
Разработчики назвали разные сроки:
Anthropic уже начала внедрение, но работа ещё продолжается. OpenAI планирует добавить поддержку в ближайшие месяцы. Microsoft начнёт учитывать новые настройки с 1 февраля 2027 года. Google рассчитывает внедрить их в течение 2027 года.
Новый сигнал выражает предпочтение владельца сайта относительно обучения моделей. Он не блокирует технически скачивание страниц и работает на добровольном соблюдении правил компаниями.
Другие разработчики ИИ смогут присоединиться к механизму, но автоматически он на них не распространяется.
А сайт останется в поиске?
Microsoft специально разделяет два способа использования материалов.
Первый — обучение будущих моделей. Второй — использование публикаций при формировании ответов Bing, Copilot и других ИИ-сервисов с возможностью указывать ссылки на первоисточники.
Владелец сайта сможет управлять этими сценариями отдельно. Microsoft утверждает, что отказ от обучения не лишает страницы права появляться в обычной выдаче Bing.
У Google настройка сложнее. Если сайт запретит обучение общим сигналом и отдельно не укажет правило для Google-Extended, компания собирается трактовать его как запрет для Google-Extended. Этот механизм также влияет на использование страниц в ответах Gemini Apps.
Поэтому владельцам сайтов, рассчитывающим получать посетителей из ИИ-поиска, придётся внимательно выбирать настройки.
Четыре конкурирующие компании уже согласовали общий язык для таких запретов. Теперь им предстоит научить свои системы соблюдать пожелания владельцев сайтов.