如何在robots.txt中配置AI训练退出信号操作指南

操作步骤 ​

第一步：定位 robots.txt 登录服务器，在网站根目录找到 robots.txt（通常位于域名根路径，如 example.com/robots.txt）。

第二步：备份现有文件 修改前复制一份 robots.txt 备份，便于回滚。

第三步：保留既有控制项 在过渡期保留 Google-Extended 等既有规则，例如针对谷歌 Gemini 训练的排除项。

第四步：关注统一标签规范 统一政策标签仍在 IETF 人工智能偏好工作组讨论，待 OpenAI、谷歌、微软全面支持后再按规范加入对应规则。

第五步：校验与上线 修改后通过搜索引擎 robots 测试工具验证可抓取性，确认仅退出 AI 训练而不影响常规收录，再正式上线。

第六步：定期复查 随各厂商落地进度复查规则，避免误屏蔽正常搜索爬虫。

参考来源 ​

• Infobae：网站可一步禁止四方AI训练