标准

IETF人工智能偏好robots.txt草案概览与关键条款

梳理IETF人工智能偏好工作组关于robots.txt统一AI训练退出标签的草案进展、适用范围与关键条款,配套2026年10月30日四方约定。

一句话总结

本标准概览梳理 IETF 人工智能偏好工作组关于 robots.txt 统一 AI 训练退出标签的草案进展,配套 2026 年 10 月 30 日 OpenAI、谷歌、微软、Anthropic 四方约定。

标准概览 ​

该草案由 IETF 人工智能偏好(AI-preferences)工作组讨论,目标是在 robots.txt 中定义一套统一政策标签,让网站以一条规则表达对各家 AI 训练、抓取与引用的偏好。草案尚在讨论阶段,未形成正式 RFC。

关键条款 ​

条款/事项内容
标准状态IETF 工作组草案,讨论中
核心机制robots.txt 统一政策标签
覆盖行为AI 训练、抓取、引用偏好
配合约定2026-10-30 四方(OpenAI/谷歌/微软/Anthropic)
落地节奏Anthropic 已用,谷歌/微软 2027,OpenAI 数月内
Meta支持但未承诺
对搜索收录不影响 Bing 等常规索引

参考来源 ​