一句话总结
对比三种让网站退出 AI 训练的方式：四方新约定的 robots.txt 统一信号、谷歌 Google-Extended、以及逐家屏蔽爬虫，从覆盖厂商、生效时间、维护成本三方面看差异。
对象简介
- robots.txt 统一信号：2026 年 10 月 30 日 OpenAI、谷歌、微软、Anthropic 约定尊重的共同政策标签，在 IETF 工作组讨论。
- Google-Extended：谷歌自 2023 年提供的爬虫控制项，用于排除 Gemini 训练。
- 逐家屏蔽爬虫：在 robots.txt 中针对各 AI 厂商独立爬虫名逐一 Disallow。
核心参数对比
| 维度 | robots.txt 统一信号 | Google-Extended | 逐家屏蔽爬虫 |
|---|---|---|---|
| 覆盖厂商 | OpenAI、谷歌、微软、Anthropic（逐步） | 仅谷歌 | 按配置的厂商 |
| 落地时间 | Anthropic 已用，谷歌/微软 2027，OpenAI 数月内 | 2023 年起 | 即时 |
| 维护成本 | 一条规则 | 一条规则 | 随厂商数量增长 |
| 对搜索展示 | 不影响 Bing 等结果 | 允许者内容可进 Gemini | 可能影响收录 |
| 标准状态 | IETF 讨论中 | 厂商自有 | 事实做法 |
| Meta | 支持但未承诺 | — | 需单独配置 |
关键差异
统一信号的价值在于一次配置覆盖多家，但当前四方尚未同时生效，短期仍需保留 Google-Extended 等逐家规则；逐家屏蔽虽即时有效，却需持续跟踪新爬虫名，维护成本高。
参考来源
- Infobae：网站可一步禁止四方AI训练
- OpenAI 新闻页：OpenAI News