四大AI厂商达成共识：一行robots.txt即可拒绝AI训练

10月30日，OpenAI、Google、微软和Anthropic同日宣布，将支持同一个写在robots.txt里的AI训练退出标识。这是四家主流模型厂商首次在网站主的训练授权表达上对齐口径，网站不必再为每家爬虫各写一套规则。

新标识是一个策略标记__usage_ai-training，写法沿用robots.txt的常规格式：User-Agent一行写该标记，下一行写Disallow: /，即可表达拒绝用于生成式AI训练；也可以用Allow行把个别目录排除在外，例如只放行新闻资料包目录。

四家的落地时间并不一致。Anthropic表示已经开始实施；OpenAI称将在未来数月内支持；微软定于2027年2月1日起随抓取生效，并额外区分训练与引用回答两项偏好；Google则表示目标是在2027年与其他厂商一同支持，若网站未单独声明Google-Extended，Google会把这一标识视同屏蔽Google-Extended。

需要注意三点边界：这只是一份IETF个人草案，并非已通过的正式标准，草案将于2027年5月3日到期；它只表达训练偏好，不阻止爬虫访问页面；已经进入数据集或模型权重的内容也不会因此被删除。在全面落地之前，各家原有的控制规则仍应保留。

点评：对内容网站来说，这是一次实实在在的减负，但真正的考验在执行——只有当四家都按同一语义兑现时，一行规则才算真正管用。

来源：FourWeekMBA