FAQ

robots.txt统一AI训练退出信号常见问题解答

解答2026年10月30日OpenAI、谷歌、微软、Anthropic约定的robots.txt统一AI训练退出信号是什么、如何配置、与Google-Extended区别等问题。

一句话总结

本 FAQ 解答 2026 年 10 月 30 日 OpenAI、谷歌、微软、Anthropic 约定的 robots.txt 统一 AI 训练退出信号是什么、如何配置、何时生效,以及与 Google-Extended 的区别。

基础问答 ​

Q1:这个 robots.txt 信号到底是什么? A:2026 年 10 月 30 日宣布的一项行业约定,网站在 robots.txt 中使用统一政策标签,即可一次表达对各家 AI 训练的退出意愿,讨论在 IETF 人工智能偏好工作组进行。

Q2:哪些厂商承诺尊重? A:OpenAI、谷歌、微软、Anthropic 共同承诺尊重;其中 Anthropic 已采用,谷歌与微软计划 2027 年,OpenAI 未来数月落地。Meta 表示支持但未承诺。

Q3:会影响我的网页被搜索收录吗? A:据微软说明,退出训练(及引用/anchoring)不影响 Bing 的搜索收录;Google-Extended 也仅排除 Gemini 训练,不影响常规索引。

Q4:和 Google-Extended 有什么区别? A:Google-Extended 是谷歌自 2023 年起的单家爬虫控制项;新信号目标是一次配置覆盖多家厂商,目前仍处逐步落地阶段。

Q5:我现在该怎么配置? A:短期建议同时保留 Google-Extended 等既有规则,并关注 IETF 标签规范;待 OpenAI、谷歌、微软全面支持后再切换为统一信号。

参考来源 ​