理应资讯
软件研发智能化

OpenAI、Google 与微软表态将支持 robots.txt 共用 AI 训练偏好信号

理应编辑室 ·

OpenAI、Google 与微软在 10 月 30 日先后表示,将支持在 robots.txt 用共用策略记号表达生成式 AI 训练偏好;各家落地时间不同,该信号也不替代现有爬虫控件。

OpenAI 在 10 月 30 日发文称,将尊重 robots.txt 里一套共用信号,让网站运营方用同一套偏好,向多家参与的基础生成式 AI 训练提供方表达选择。公司写道,此举减轻过去要为每家爬虫分别维护规则的负担,并说明该信号来自 IETF AI Preferences 工作组的进行中工作。

落地时间并不统一。OpenAI 写明目标是在未来数月内实现,并将另发实施细节;现有通过 robots.txt 提供的爬虫控件不会被替换,会继续适用并被遵守。Google Search Central 同日由 John Mueller 发文,宣布计划支持这一共用 AI 训练控件,目标是在 2027 年与其他提供方一起落地。Google 还说明:若站点用该策略记号选择退出训练,且未单独写明 Google-Extended,公司计划按已禁止 Google-Extended 来理解;站点仍可用 Google-Extended 等公司自有控件做更细的安排,例如在允许 grounding 展示与拒绝训练之间做区分。微软 Bing 博客则写到,自 2027 年 2 月 1 日起,会在抓取时尊重新的 AI Training 偏好,并额外提供页面级的 AI Grounding 偏好;传统 Bing 搜索结果资格不因这些偏好改变。

微软给出的 robots.txt 示例使用 User-Agent: __usage_ai-training,再配以整站或路径级的 Disallow。官方说明强调两件关键事实:训练偏好管的是内容能否用于修改生成式模型参数,并不是抓取开关;未发布适用偏好时,微软侧训练与 grounding 默认按允许处理。OpenAI 同样写明新信号不替代既有爬虫控件。因此,站点若要阻止某爬虫抓取,仍需按各家既有 User-Agent 规则单独配置。微软还把 grounding 拆成允许、仅限微软自营体验的 DisallowExtended,以及全面禁止;并提醒曾依赖 NoArchive / NoCache 的站点,需要在 2027 年 3 月 1 日前迁到新偏好,并视情况在 Bing Webmaster Tools 登记过渡期 grounding 选择,否则旧标记将不再按训练或 grounding 限制来解读。

对出版方、媒体站与文档站点而言,价值在于“一条偏好、多家参与方读取”的操作简化,尤其适合要同时面对多家大模型训练爬虫的团队。法务与站长可以先在预发环境写入策略记号,再按各家文档核对自己关心的爬虫是否仍需保留 GPTBot、Google-Extended 等单独规则。但目前仍属承诺与草案推进阶段。公开材料没有给出跨厂商统一的生效日,也没有证明该信号已被全网实际执行;私有协议可否覆盖、以及各家自有记号是否优先,仍以各公司文档与后续 IETF 进展为准。配置时要把“不许训练”和“不许抓取”分开设计,避免误以为写了一条策略记号就同时挡住了所有访问。

参考资料

  1. Making it easier for websites to express AI training preferences · OpenAI
  2. Supporting a shared AI training control for websites · Google Search Central
  3. Your content, your choice: clearer preferences for training and grounding · Microsoft Bing Blog
  4. The biggest names in AI are backing a new way to opt out of scraping · The Verge