一句话总结
OpenAI、谷歌、微软、Anthropic 于 2026 年 10 月 30 日宣布共同尊重 robots.txt 中的统一政策信号，网站可一步禁止内容被用于 AI 训练，该提案正在 IETF 人工智能偏好工作组讨论。
事件概述
- 时间：2026 年 10 月 30 日宣布。
- 企业：OpenAI、谷歌、微软、Anthropic。
- 事件：四方同意尊重 robots.txt 中的统一信号；网站一旦加入该信号，各家 AI 爬虫即不得抓取其内容用于模型训练。
关键信息
| 项目 | 内容 |
|---|---|
| 机制 | robots.txt 中的统一政策标签（类似共同约定） |
| 现状 | Anthropic 已采用；谷歌、微软计划 2027 年支持；OpenAI 称未来数月落地 |
| 标准进程 | 在 IETF 人工智能偏好工作组讨论 |
| 谷歌既有控制 | Google-Extended（2023 年起）仍保留 |
| Meta 立场 | 支持建立统一信号，但未承诺立即遵守 |
| 影响 | 原本需逐家配置规则，现可一步退出 |
背景与影响
- 细粒度控制：微软表示将提供训练与引用（anchoring）的分别退出；网站选择不影响其在 Bing 搜索结果中的出现。
- 欧盟协同：谷歌称该机制符合欧盟通用 AI 行为准则对机器可读偏好的认可。
- 意义：为内容方与 AI 爬虫之间的版权与训练数据博弈提供统一入口。