• 策略型高端网站设计公司

    Strategic advanced website design company

    View More
  • 官网的 robots.txt 里,藏着你对 AI 的态度:让 AI 引用你,又不把内容“白拿走”

    时间:2026.11.22  作者:网站编辑  来源:华科互动

    上一篇我们讲了给官网补 Schema 结构化数据,更早之前讲了配 llms.txt。这两件事都是在"主动喂"AI。但还有一件更基础的事,多数企业官网从来没检查过:robots.txt。

    这个放在网站根目录的小文件,决定了所有爬虫——包括 Google 和各家 AI 的爬虫——能不能进你的网站。最近两周,多家 AI 公司联合推动了一个统一的 robots.txt 声明标准(Content-Signal),加上 Cloudflare 的分析数据显示 AI 爬虫访问量在快速上升,这件事已经从"技术人员的事"变成了"企业内容资产策略"的一部分。

    一句话结论:对绝大多数企业来说,正确的做法是——放行所有给 AI 搜索供料的爬虫,单独决定要不要放行"训练用"爬虫,并且绝对不要误伤 Google。

    一、先分清:AI 爬虫其实是两拨人

    很多网站的 robots.txt 要么完全没管 AI,要么一刀切全禁。问题出在没分清 AI 爬虫干的是两种活:

    • 训练型爬虫:把你的内容抓走,喂进大模型的训练数据。例子:GPTBot(OpenAI)、ClaudeBot(Anthropic)、CCBot(Common Crawl)、Google-Extended(Gemini)。被它们抓走的内容,不会给你带来任何链接和访客。
    • 搜索/引用型爬虫:实时抓取网页,用于回答用户提问,并且会在答案里给你挂链接。例子:OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot。这类爬虫带不来流量的话,你的官网在 AI 回答里就是隐形的。

    这两拨爬虫用的是不同的标识。禁掉训练型的,不影响你出现在 Google 搜索里;禁掉搜索型的,等于主动退出 AI 引用——对企业官网来说,这通常是最不划算的选择。

    二、一份可以直接抄的 robots.txt

    大多数企业的合理策略是:要引用、不白给训练。下面这份模板就是按这个思路写的:

    # 训练型爬虫:谢绝
    User-agent: GPTBot
    Disallow: /
    
    User-agent: ClaudeBot
    Disallow: /
    
    User-agent: CCBot
    Disallow: /
    
    User-agent: Google-Extended
    Disallow: /
    
    User-agent: Applebot-Extended
    Disallow: /
    
    User-agent: Bytespider
    Disallow: /
    
    # 其余所有爬虫(包括搜索和 AI 搜索引用):欢迎
    User-agent: *
    Allow: /
    
    Sitemap: https://你的域名/sitemap.xml

    如果你的立场是"内容随便用,欢迎训练"——删掉上面禁令部分即可。如果连 AI 搜索引用也不要,把 OAI-SearchBot、ChatGPT-User、PerplexityBot 等也加进禁令列表。

    另外,Cloudflare 牵头的 Content-Signal 新指令可以用一行表达这种细粒度偏好:

     

    意思是:不许拿去训练,但欢迎进 AI 搜索结果、欢迎被当作回答素材。目前它是一种"声明偏好",没有强制力,所以建议和上面的显式禁令同时使用。

    三、五个常见的翻车点

    1. 误伤 Google。 最危险的操作是在 User-agent: * 下面写 Disallow: /——这一行会禁掉包括 Googlebot 在内的所有爬虫,你的搜索排名直接归零。曾有不少企业的 staging 测试站配置被误搬到正式站,酿成事故。AI 相关禁令要单独成组。
    1. 把 Google-Extended 当成 Googlebot。 两者是独立开关。禁 Google-Extended 不影响 Google 搜索收录,Google 官方文档明确说了这一点。反之亦然。
    1. 以为禁了就"拿回"了已训走的内容。 robots.txt 只管未来的抓取,过去已经进训练集的数据不会因此撤回。
    1. 忽略 Bytespider 这类不完全守规矩的爬虫。 字节跳动的爬虫对 robots.txt 的遵守记录参差。要硬拦,需要在服务器/CDN 层面按 User-Agent 或 IP 封禁,不能只靠一个文本文件。
    1. 写完就不管了。 AI 爬虫名单每个季度都在变(Anthropic 就同时跑着训练和搜索两个标识)。建议每 6–12 个月复查一次这份文件。

    四、怎么验证配置真的生效

    • 浏览器打开 https://你的域名/robots.txt,逐行读一遍,确认没有语法错误和误伤规则;
    • 用 Google Search Console 的 robots.txt 报告确认 Google 能正常解析;
    • 有条件的看一周服务器日志,确认被禁的爬虫真的不再来访、被放行的爬虫返回的是 200 而不是报错。有研究显示,企业站点上 ChatGPT 抓取请求里近四分之一碰到的是服务器错误——很多官网在 AI 眼里"隐身",不是被禁的,是配置坏了没人看。

    五、和之前的两件事拼起来

    到这里,官网的"AI 可读性三件套"就齐了:

    • robots.txt:决定 AI 爬虫能不能进门,进门后能拿什么;
    • llms.txt:告诉 AI 进门后优先读哪几页;
    • Schema 结构化数据:让 AI 读到内容后能准确理解"你是谁"。

    三件事加起来的开发量不超过半天,但决定了你的官网在 AI 生成回答里是被引用、被说错,还是根本不存在。


    相关案例

    OTHER CASE