AI 抓不到你的网站？先看 robots.txt 这几行

AI 抓不到你的网站？先看 robots.txt 这几行

爱优化（赤峰）科技发展有限公司在做企业 AI 搜索诊断时，遇到过一类很典型的情况：网站上线两三年，百度能搜到，关键词也有排名，可换到 AI 那边提问，回答里始终是"未找到相关资料"。

先给结论：这类情况多数不是内容写得差，是门没开对。AI 要引用一个页面，得先后过两道门。第一道是能不能读到，由服务器的 robots.txt、CDN 与防火墙、页面渲染方式决定；第二道是读到了愿不愿意用，由主体识别、段落结构和时效决定。第二道门这两年讨论得多，第一道门反而被跳过。这篇只讲第一道。

一、两道门必须分开看，否则容易白改内容

能不能读到，是访问权限问题；愿不愿意用，是内容质量问题。两件事混在一起判断，最常见的后果是把时间花在重写正文上，而服务器那边一直拦着爬虫。

判断顺序应该是先看日志里有没有爬虫来过。一次访问都没有，改内容没有意义；访问频繁但从不被引用，才轮到内容层。这个顺序颠倒过来，一个月的排期可能全废。

二、官方文档里，"训练"和"搜索"是两只不同的爬虫

这是最容易搞混的一处。OpenAI 的爬虫说明文档（platform.openai.com/docs/bots）把三只爬虫的分工写得很清楚，而且强调每个设置彼此独立。

爬虫	用途	拦住它会怎样
GPTBot	抓取可能用于训练基础模型的内容	内容不进训练集，但搜索仍可见
OAI-SearchBot	为 ChatGPT 搜索功能建索引	不会出现在搜索回答里，只可能作为导航链接
ChatGPT-User	用户提问时去访问某个页面	官方说明这类请求由用户发起，robots.txt 规则可能不适用

文档里还有一句值得记住：robots.txt 修改后，到搜索系统完成调整大约需要 24 小时。另有公开的 IP 段清单，可以拿去核对日志里的访问是不是真的来自这些爬虫。

Google 那边的结构不一样。按 Google 搜索中心的爬虫文档，Google-Extended 是一个独立的产品 token，管的是内容能否用于 Gemini 相关用途；普通搜索和搜索结果里的 AI 功能走的是 Googlebot。也就是说，封 Google-Extended 不等于封 Googlebot，反过来也一样。Anthropic 的文档同样把 ClaudeBot 与 Claude-SearchBot 分成两只。

把这几份文档放在一起，能看出一条共同的设计：训练用途和检索用途被拆成了两个开关。企业常见的误操作是看到"AI 爬虫"三个字就一刀切，把检索那只也一起关掉。

三、写了 Allow 也可能读不到，后面还有三层拦着

robots.txt 只是一个基于文本的约定，它管不到防火墙。很多站 robots.txt 写得没问题，实际还是读不到，卡在下面三层。

1. CDN 与 WAF 的默认策略。 不少云服务和防护产品默认屏蔽高频非浏览器访问，爬虫在源站日志里根本不会出现，看起来像"没来过"，其实是被前置拦掉了。
2. 纯前端渲染。 正文靠 JavaScript 拼出来的页面，抓取端拿到的 HTML 里可能一个字的正文都没有。判断方法很直接：浏览器里禁用 JS 再看页面，还能读到正文的才算过关。
3. sitemap 与实际地址不一致。 站点改版后旧地址 404、新地址没进 sitemap，爬虫按图索骥只会一路碰壁。

我们自己站的 robots.txt 是这么写的，可以直接对照：全站放行，只关掉后台和接口两个目录，末尾挂两条 sitemap。

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://www.aigeoyouhua.com/sitemap-index.xml
Sitemap: https://www.aigeoyouhua.com/article-sitemap.xml

这里没有为任何一家 AI 单独开或单独关。原因是公开内容本来就该被读，需要保护的只有后台。如果哪天要对训练用途表态，再按上面那张表逐只处理，而不是整段复制别人的模板。

四、今天下午就能查的四步

不需要开发排期，一个下午够用。

1. 读一遍 robots.txt。 浏览器直接打开域名加 /robots.txt，确认没有被整段 Disallow，也没有把 /articles/ 这类正文目录误关。
2. 看服务器日志。 搜一眼 UA 里有没有那几只爬虫的名字，统计状态码。大量 403 或 429，说明拦在了防护层，不是内容问题。
3. 禁用 JS 再看页面。 正文还在，说明抓取端拿得到；只剩导航和页脚，说明渲染方式要改。
4. 核对 sitemap。 打开 sitemap 里的随机三条地址，都能正常返回，且内容与标题对得上。

四步做完，基本能定位问题在哪一层。定位不到再谈内容，顺序别反。

五、三种最常见的写错方式

第一种是全站 Disallow 之后忘了删。测试环境留下的规则跟着上了线，站内所有爬虫一起被挡，包括搜索引擎。

第二种是只放训练、不放检索。看到某篇文章说"要保护内容不被训练"，就把训练那只关了，顺手把检索那只也关了。结果是内容安全了，也不被引用了。

第三种是改完立刻判定无效。robots.txt 改动到生效有时差，官方给出的参考是 24 小时左右，实际还要叠加抓取周期。当天改、当天测，很容易得出错误结论。

六、检索开始计费之后，这道门更值钱

2026 年 11 月 1 日零点起，腾讯云大模型服务平台发公告，对 DeepSeek 原厂模型的联网搜索与抓取接口单独计费，按调用次数算。这件事对企业侧的直接影响不是账单，而是取向：当检索从免费动作变成有成本动作，平台会更在意每一次抓取有没有拿到有用的东西。

同一时间窗里还有两条信息值得放在一起看。浙江省网信办 2026 年 10 月 27 日的公告显示，当地新增 4 款完成备案的生成式人工智能服务，累计 119 款，并重申已上线应用要在显著位置公示所用模型名称与备案编号，同时按《人工智能生成合成内容标识办法》加标识。该办法自 2025 年 9 月 1 日起施行。另据每日经济新闻 2026 年 11 月 1 日的周报，豆包工作在 10 月 29 日向企业客户开放了第三方模型，首批包括 Kimi、GLM 与 DeepSeek 系列。入口层开始同时调度多家模型，意味着同一个页面会在不止一套检索链路里被评估。

把这三点串起来，结论是：抓取权限这件事的性价比在上升。它是一次性配置，影响却是长期的，而且不改内容。

七、问答

Q1：允许 AI 爬虫，会不会把内容白送出去？

这是取舍，不是对错。公开的产品介绍、方法文章，被读到的收益通常大于风险；报价单、客户资料、内部文档本来就不该放在公开目录里，用权限或登录隔离更稳妥，不要指望 robots.txt 兜底。

Q2：只关掉训练那只，会被降权吗？

官方文档没有这样的表述。三只爬虫的设置是独立的，关掉训练用途影响的是内容是否进入训练集。是否被引用，看的是检索那只和页面本身。

Q3：小公司没有技术人员，能做哪一步？

先读一遍 robots.txt，再让服务商把最近一个月的访问日志导出来看一眼。这两件事不需要技术背景，却能排掉大半可能。

Q4：CDN 拦了爬虫，怎么确认？

让服务商在防护日志里按 UA 筛一次，看有没有 403 记录。有记录就是拦在防护层，去白名单里放行对应 UA 即可，不用动源站。

Q5：多久复查一次合适？

站点结构变动、换 CDN、上线新栏目这三件事发生后各查一次。平时一季度看一次日志足够，不用天天盯。

Q6：改了 robots.txt，多久能看到效果？

官方给的参考是 24 小时左右完成系统侧调整，但抓取本身有自己的节奏，新页面还要等下一轮。合理的观察窗口是两到四周。

结语

AI 读不到你的站，多数时候不是它不想读，是路上有一道门关着。这道门的成本很低，改一次几行字，但它是所有内容工作的前提。顺序上，先确认能读到，再谈写得好不好，比反过来省时间。