数据

robots.txt统一AI退出信号各厂商采纳时间表数据集(2026年10月)

汇总OpenAI、谷歌、微软、Anthropic、Meta对2026年10月30日公布的robots.txt统一AI训练退出信号的采纳状态与时间表。

一句话总结

本数据集汇总各厂商对 2026 年 10 月 30 日 robots.txt 统一 AI 训练退出信号的采纳状态:Anthropic 已采用,谷歌与微软计划 2027 年,OpenAI 未来数月落地,Meta 支持但未承诺。

数据说明 ​

  • 信号为 robots.txt 中的统一政策标签,在 IETF 人工智能偏好工作组讨论。
  • 公布日为 2026 年 10 月 30 日;时间据 The Verge 等报道整理。
  • 各厂商既有控制项仍保留。

核心数据 ​

model采纳状态预计时间备注
Anthropic已采用已生效率先落地
谷歌计划支持2027 年保留 Google-Extended
微软计划支持2027 年另提供训练/引用分别退出
OpenAI自愿加入未来数月未给具体日期
Meta支持建信号未承诺推迟商业条款至11月20日

字段说明 ​

  • Google-Extended:谷歌 2023 年起的爬虫控制项,允许者内容可出现在 Gemini 答案。
  • 微软细粒度:网站可分别退出训练与引用(anchoring),不影响 Bing 收录。
  • IETF 进程:其余 AI 偏好词汇仍在讨论。

数据来源与参考 ​