Google внедряет новый механизм управления обучением ИИ

Google также объявил, что, как Bing, OpenAI и Anthropic, планирует добровольно принять предложение, рассматриваемое в IETF (международном органе по стандартизации интернета), которое создаст простой и упрощенный контроль обучения ИИ для веб-издателей и создателей контента.

Google заявил: «Это поможет сайтам выражать свои предпочтения в обучении ИИ перед несколькими провайдерами ИИ за один шаг и основано на работе рабочей группы AIPREF при Инженерной группе по задаче интернета (IETF)».

Этот новый, находящийся в разработке контроль даст веб-сайтам и издателям новый способ сообщать о своих предпочтениях в обучении ИИ перед несколькими провайдерами. Это позволяет им вызывать свои предпочтения за один шаг в robots.txt, вместо того чтобы перечислять каждый отдельно.

Google планирует внедрить это в 2027 году

Google сообщил мне: «продолжая эту инициативу вместе с другими провайдерами ИИ как часть общей приверженности формированию открытой экосистемы веба, ориентированной на создателей контента, и следуя обратной связи от издателей, гражданского общества и регуляторов, которые призывают к более простому способу для веб-сайтов выражать свои предпочтения в обучении ИИ».

Вместо управления отдельными инструкциями для каждого разработчика ИИ владельцы сайтов смогут использовать общий «токен политики» внутри robots.txt для установки широких предпочтений перед участвующими провайдерами ИИ.

Обратите внимание, что у Google также есть метод отключения через Search Console для генеративного ИИ в поиске.

Google также обновил свою страницу общих ползунков (crawlers), чтобы упомянуть будущую поддержку контроля обучения ИИ. Google добавил примечание:

Примечание: Google намерен поддержать общий машиночитаемый сигнал предпочтений в обучении AIPREF (с "user-agent: __usage_ai-training") в начале 2027 года

Джон Мюллер, представитель поисковой системы Google, написал:

Когда веб-сайт использует этот токен политики для отключения обучения в своем файле robots.txt (и Google-Extended не указан явно), Google планирует интерпретировать это так, как если бы издатель запретил Google-Extended. Другие провайдеры ИИ могут обрабатывать его аналогичным образом, что делает простым для владельцев сайтов отключение перед всеми провайдерами или выборочное использование

Существующие корпоративные специфические контроли будут продолжать функционировать наряду с этим новым общим сигналом. Таким образом, владельцы веб-сайтов могут легко выразить широкий выбор, используя отраслевой сигнал, одновременно адаптируя свои инструкции для отдельных разработчиков ИИ, таких как Google, через контроли, такие как Google-Extended. Веб-сайты, которые специально разрешают Google-Extended, имеют право появляться в ответах и получать клики через привязку (grounding) в приложениях Gemini.

Новый механизм приносит владельцам веб-сайтов пользу от определения обучения ИИ, разработанного в IETF, пока продолжаются многосторонние обсуждения по остальной части словаря AIPREF. По мере того, как все больше игроков отрасли принимают этот механизм, он дает владельцам веб-сайтов ранний и расширяющийся доступ к сигналу предпочтений.

Этот черновик предложения отражает обратную связь от издателей, групп гражданского общества, регуляторов и других заинтересованных сторон, которые призвали к отраслевым контролям обучения ИИ. Поддержка этого предложения со стороны основных провайдеров ИИ позволит создать будущий стандарт, который будет межотраслевым, прочным и долговечным. Это предложение соответствует Кодексу практики ЕС для поставщиков моделей общего назначения (GPAI) в рамках Закона ЕС об ИИ, который признает robots.txt основным методом для веб-издателей выражать машиночитаемые предпочтения. Мы продолжим работать с этими заинтересованными сторонами, чтобы уточнить и стандартизировать это через рабочую группу IETF.

Мы намерены поддержать этот новый контроль вместе с другими провайдерами ИИ в 2027 году и будем предоставлять обновления о нашем прогрессе.