一句话总结
四方约定尊重 robots.txt 统一信号，内容方可一步退出 AI 训练；本文解读其机制、各家落地时间表与对网站和 AI 厂商的实际影响。
事件回顾
2026 年 10 月 30 日，OpenAI、谷歌、微软、Anthropic 宣布共同尊重 robots.txt 中的统一政策信号。此前内容方要排除各家 AI 爬虫，须为 OpenAI、Google-Extended、Claude 等分别配置规则；新信号相当于一条共同约定，加入即同时对多家生效。该提案正在 IETF 人工智能偏好工作组讨论。
机制：一条信号如何同时约束多家
robots.txt 原本用于告知搜索引擎爬虫哪些路径可访问。AI 厂商各自使用独立爬虫名，导致排除规则碎片化。统一信号以政策标签形式出现：网站加入后，承诺遵守的厂商即不得用其内容训练模型。OpenAI 称此举自愿且不替代其既有控制，将在未来数月落地。
各家落地时间表
| 厂商 | 状态 |
|---|---|
| Anthropic | 已采用新信号 |
| 谷歌 | 计划 2027 年支持；保留 Google-Extended |
| 微软 | 计划 2027 年支持；另提供训练与引用分别退出 |
| OpenAI | 未来数月落地，未给具体日期 |
| Meta | 支持建统一信号，未承诺立即遵守 |
对内容方与 AI 厂商的影响
对内容方，统一入口显著降低维护成本，但短期内四方尚未同时生效，仍需保留逐家规则。对 AI 厂商，该机制与欧盟通用 AI 行为准则中机器可读偏好的方向一致，也是缓解版权压力的姿态。网站即使退出训练，仍可出现在 Bing 等搜索结果中；谷歌也说明允许 Google-Extended 的内容会出现在 Gemini 答案中。
参考来源
- Infobae：网站可一步禁止四方AI训练
- OpenAI 新闻页：OpenAI News