一句话总结
本标准概览梳理 IETF 人工智能偏好工作组关于 robots.txt 统一 AI 训练退出标签的草案进展,配套 2026 年 10 月 30 日 OpenAI、谷歌、微软、Anthropic 四方约定。
标准概览
该草案由 IETF 人工智能偏好(AI-preferences)工作组讨论,目标是在 robots.txt 中定义一套统一政策标签,让网站以一条规则表达对各家 AI 训练、抓取与引用的偏好。草案尚在讨论阶段,未形成正式 RFC。
关键条款
| 条款/事项 | 内容 |
|---|---|
| 标准状态 | IETF 工作组草案,讨论中 |
| 核心机制 | robots.txt 统一政策标签 |
| 覆盖行为 | AI 训练、抓取、引用偏好 |
| 配合约定 | 2026-10-30 四方(OpenAI/谷歌/微软/Anthropic) |
| 落地节奏 | Anthropic 已用,谷歌/微软 2027,OpenAI 数月内 |
| Meta | 支持但未承诺 |
| 对搜索收录 | 不影响 Bing 等常规索引 |
参考来源
- Infobae:网站可一步禁止四方AI训练
