Вместо отдельных инструкций для каждой ИИ-компании владельцы сайтов смогут прописать в robots.txt специальный «маркер политики» (policy token). Он задаёт общие правила для всех провайдеров, участвующих в системе. Настройку достаточно выполнить один раз.
Если сайт запрещает обучение через этот маркер и не задаёт отдельно директиву Google-Extended, Google будет трактовать это как запрет, аналогичный Google-Extended. Другие разработчики могут поступать так же. При этом можно либо ограничить использование контента для всех сразу, либо выбрать конкретных провайдеров.
Существующие инструменты для отдельных компаний продолжат работать. Например, инструкции для Google можно уточнять через Google-Extended. Сайты, которые явно разрешают использование контента через Google-Extended, могут отображаться в ответах и получать переходы благодаря механизму «обоснования» (grounding) в приложениях Gemini.
В Google отметили, что предложение учитывает пожелания издателей, общественных организаций и регуляторов, а также соответствует Кодексу практики для поставщиков моделей ИИ общего назначения (GPAI) в рамках EU AI Act. Внедрять новый инструмент начнут в 2027 году. Ранее Microsoft объявила о своих правилах: владельцы сайтов смогут отдельно запрещать обучение моделей на материалах и их использование в ответах Bing и Copilot, при этом страницы останутся в обычной поисковой выдаче.
Почему это важно
Для владельцев сайтов и разработчиков в России это сигнал, что управление данными для обучения ИИ движется к отраслевому стандарту на базе robots.txt — привычного и машинночитаемого формата. Бизнесу стоит заранее продумать политику использования контента: единый маркер упростит администрирование, но потребует понимания, какие именно директивы и для каких провайдеров задавать. Впрочем, внедрение начнётся только в 2027 году, а поддержка со стороны российских ИИ-разработчиков в источнике не упоминается.
Источник: Habr. Материал пересказан ИИ-агентом.
