llms.txt、robots.txt、AI爬虫：网站到底该不该开放给AI

摘要：不要用一条屏蔽规则解决所有焦虑。AI爬虫策略要按搜索展示、模型训练、用户触发访问和私密数据分开处理。

系列：AI建站与SEO/GEO营销完整教程，第 17/20 篇

关键词：llms.txt、robots.txt、AI爬虫、OAI-SearchBot、GPTBot、Google-Extended、AI搜索SEO

开头：很多卖家不是不懂AI，而是不知道该不该让AI读自己的网站

一个做宠物用品独立站的卖家问了一个很现实的问题：

“我想让 ChatGPT、Google AI Overviews、AI Mode 这些 AI 搜索更容易发现我的 dog crate 尺寸指南，但又不想让自己辛苦写的选品资料、供应链分析和付费模板被拿去训练模型。我到底该不该开放给 AI？”

这个问题比“要不要做 GEO”更具体，也更容易做错。

常见的错误有三种。

第一种，一刀切屏蔽所有爬虫：

User-agent: *
Disallow: /

焦虑是解决了，但 Google 收录、图片搜索、产品搜索、ChatGPT 搜索发现、AI 引用机会也可能一起被打掉。

第二种，什么都开放：

User-agent: *
Allow: /

获客入口更顺，但如果你把批发价、供应商目录、内部 SOP、付费报告放在公开路径里，robots.txt 不是保险箱。

第三种，把 llms.txt 当成万能开关。

有些人以为写一个 llms.txt 就能被 AI 收录，或者屏蔽一个 llms.txt 就能阻止所有 AI 使用网站内容。这两个判断都不可靠。

这篇文章的核心结论：网站要不要开放给 AI，不是一个“开或关”的情绪问题，而是要按用途拆开：搜索展示可以开放，模型训练可以按策略限制，用户触发访问要单独理解，真正敏感内容必须用登录、权限和服务器控制保护。

一、资料事实：官方已经说清楚了什么

先把事实边界立住，避免把网上流行说法当成规则。

资料事实一：Google Search 不使用 llms.txt 作为特殊入口

Google Search Central 在生成式 AI 搜索优化指南里明确说明：为了出现在 Google Search，包括其生成式 AI 功能里，不需要创建新的机器可读文件、AI 文本文件、特殊 markup 或 Markdown。Google 也说明，Google Search 不使用 llms.txt；如果你为其他服务维护 llms.txt，不会帮助也不会损害你在 Google Search 的可见性或排名。

这意味着：为 Google AI Overviews 或 AI Mode 专门写 llms.txt，不是必要动作，也不是排名手段。

你可以为其他可能读取它的系统维护 llms.txt，但要把它当成补充说明文件，而不是 Google SEO 或 Google AI 搜索的核心。

资料事实二：robots.txt 管的是爬取，不是安全，也不等于不被索引

Google 的 robots.txt 文档说明，robots.txt 主要告诉爬虫哪些 URL 可以访问，常用于管理爬虫流量；它不是让网页从 Google 消失的机制。要让网页不出现在 Google，应该使用 noindex 或密码保护。

这点非常重要。

如果一个页面被 robots.txt 阻止，Google 可能无法读取页面内容，但如果外部链接指向这个 URL，URL 仍有可能以没有摘要的形式出现。更关键的是，robots.txt 是公开文件，任何人都能访问 https://你的域名.com/robots.txt，它不适合暴露你的私密目录结构。

资料事实三：Googlebot、Google-Extended 不是同一个作用

Google 官方爬虫文档把常见爬虫和控制 token 分开说明：

• Googlebot 影响 Google Search、Discover、Google Images、Google Video、Google News 等搜索相关功能。
• Google-Extended 是一个独立的 robots.txt 控制 token，用于管理 Google 已抓取内容是否可用于 Gemini Apps、Vertex AI API for Gemini 的模型训练和 grounding 场景。
• Google 官方也说明，Google-Extended 不影响网站进入 Google Search，也不是 Google Search 排名信号。

所以，如果你想保留 Google Search 和 AI Overviews/AI Mode 可见性，不要随手把 Googlebot 屏蔽掉。你真正要讨论的是：是否要限制 Google-Extended。

资料事实四：OpenAI 的 OAI-SearchBot、GPTBot、ChatGPT-User 要分开看

OpenAI 官方爬虫文档把几类 user agent 的用途讲得很清楚：

OpenAI 类型	官方用途	卖家应该怎么理解
OAI-SearchBot	用于 ChatGPT 搜索中展示网站	想出现在 ChatGPT 搜索答案里，应重点允许它
GPTBot	抓取可能用于训练 OpenAI 基础模型的内容	不希望内容用于训练时，可以单独限制它
ChatGPT-User	用户在 ChatGPT 或 Custom GPT 中触发访问	不是自动抓取网页，也不决定搜索中是否出现
OAI-AdsBot	ChatGPT Ads 落地页验证	广告场景另行考虑，不等同于搜索抓取

OpenAI 还说明，这些设置彼此独立。比如你可以允许 OAI-SearchBot 以参与 ChatGPT 搜索结果，同时禁止 GPTBot 表示不希望内容用于训练基础模型。

资料事实五：Next.js 可以用文件约定生成 robots.txt

Next.js 官方文档说明，在 App Router 里可以通过 app/robots.txt 放静态规则，也可以用 app/robots.ts 或 app/robots.js 生成 robots 文件。

对 AI 建站用户来说，这意味着爬虫策略不是只给运维团队看的。你在 Next.js 项目里也应该把 robots 规则纳入代码管理，记录为什么允许或屏蔽某类爬虫。

二、合理推断：AI爬虫开放策略不是“全开/全关”，而是资产分级

基于上面的官方事实，我们可以做一个商业判断：

公开获客内容应该尽量让搜索和 AI 搜索发现；私密内容不应该靠 robots.txt 保护；训练用途要按内容资产价值和风险单独决策。

你可以把网站内容分成五类。

内容类型	例子	建议策略
公开获客内容	dog crate 尺寸指南、材质对比、安装教程	允许 Googlebot、OAI-SearchBot；按策略决定 GPTBot/Google-Extended
公开产品内容	产品页、价格、库存、尺寸、配送、退换货	允许 Googlebot；允许 OAI-SearchBot 有利于搜索发现；注意信息准确
品牌信任内容	About、Contact、作者页、售后政策	建议公开并允许搜索爬虫
付费或会员内容	付费报告、模板库、课程资料	不靠 robots.txt，应该登录/鉴权；必要时 noindex
内部敏感内容	供应商名单、采购价、订单、客户资料、后台	必须服务器权限控制，不能公开 URL

换句话说，robots.txt 是交通规则，不是门锁。真正不该公开的内容，第一步不是写 Disallow，而是不要让它以公开 URL 存在。

三、具体场景：dog crate独立站怎么决策

假设你的网站有这些目录：

/blog/                公开文章
/guides/              尺寸指南和购买指南
/tools/               dog crate size calculator
/products/            产品页
/wholesale/           批发合作页
/members/             会员资料
/supplier-notes/      供应商和选品笔记
/checkout/            结账流程
/account/             用户账号

这时不要问“要不要开放给 AI”，要逐个目录问：

公开文章和指南

目标是获客和品牌信任，通常应该允许 Googlebot 和 OAI-SearchBot。

如果你希望 ChatGPT 搜索能引用你的 dog crate 尺寸指南，就不要误封 OAI-SearchBot。

工具页

比如 /tools/dog-crate-size-calculator，如果工具是获客入口，也应该允许搜索爬虫访问。注意核心说明文字和计算逻辑的解释最好在 HTML 中可读，不要只有一个空壳表单。

产品页

产品页承担商业转化，通常要允许 Googlebot。是否允许 OAI-SearchBot，取决于你是否希望 ChatGPT 搜索能发现和链接产品信息。大多数跨境独立站应该允许公开产品页被发现。

会员资料和付费报告

不要只写：

User-agent: *
Disallow: /members/

这只能告诉遵守规则的爬虫不要访问，但不能保护内容。正确做法是登录鉴权、权限控制、必要时 noindex，并且不要在公开 sitemap 或内链中暴露。

供应商笔记和内部资料

这类内容不应该出现在公网路径里。不要指望 robots.txt 帮你保密。供应商名单、采购价格、谈判记录、客户资料、API token、广告账户截图，都应该放在受控系统里。

四、实操SOP：明天早上按这七步做

第一步：做内容资产分级表

先列出目录和页面，不要直接改 robots。

目录/页面：
内容类型：
是否用于获客：
是否可被搜索展示：
是否可被 AI 搜索引用：
是否接受用于模型训练：
是否包含付费/隐私/商业敏感信息：
当前保护方式：
建议策略：
负责人：
更新时间：

这张表做完，你会发现很多问题不在 AI 爬虫，而在内容权限和站点结构。

第二步：确认基础搜索入口

如果你还要 Google SEO，就不要误封：

User-agent: Googlebot
Disallow: /

如果你还要 ChatGPT 搜索发现，就不要误封：

User-agent: OAI-SearchBot
Disallow: /

如果你要在 Google Search、Google Images、Google Shopping 或 AI Overviews/AI Mode 中保持可见性，Googlebot、图片、视频、产品相关抓取都要谨慎处理。

第三步：分开管理“搜索展示”和“模型训练”

一个常见策略是：

• 公开获客内容：允许搜索展示。
• 训练用途：按品牌内容资产策略决定。
• 会员内容：不公开，不靠 robots。
• 内部数据：服务器层面禁止公开访问。

示例 robots 片段：

User-agent: Googlebot
Allow: /
Disallow: /account/
Disallow: /checkout/

User-agent: OAI-SearchBot
Allow: /blog/
Allow: /guides/
Allow: /tools/
Allow: /products/
Disallow: /account/
Disallow: /checkout/
Disallow: /members/

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

这不是标准答案，只是一个“希望搜索展示、限制训练用途”的策略示例。真实项目要根据业务、版权、法务和增长目标调整。

第四步：检查 noindex 和 robots 的关系

一个常见误区是：想让页面不出现在 Google，就在 robots.txt 禁止抓取。问题是，Google 被挡住后，可能看不到页面里的 noindex。

如果页面真的不想被搜索收录，更稳的方式通常是：

• 让页面返回 noindex，并允许搜索引擎抓取到这个指令。
• 或者直接登录/密码保护。
• 或者删除页面并返回合适状态码。

付费资料、账号页、订单页，优先考虑登录和权限，而不是单靠 noindex。

第五步：检查 CDN/WAF 是否误伤

很多网站 robots.txt 写得很好，但 Cloudflare、WAF、服务器防火墙、国家 IP 策略、Bot Fight Mode 把爬虫拦了。

至少检查：

• OAI-SearchBot 请求是否返回 200，而不是 403、429、503。
• Googlebot 是否被错误挑战验证码。
• GPTBot/Google-Extended 的处理是否和策略一致。
• OpenAI 公布的 SearchBot IP 范围是否被放行。
• Googlebot 是否通过反向 DNS 或官方方式验证，而不是只看 user agent。
• 日志里是否出现大量被误封的 /blog/、/guides/、/products/ 请求。

User-agent 可以伪造。关键爬虫不要只看名字，重要场景要结合官方 IP、反向 DNS 或日志验证。

第六步：Next.js项目把规则写进代码

如果你用 Next.js App Router，可以先做静态文件：

app/robots.txt

内容示例：

User-agent: *
Allow: /
Disallow: /account/
Disallow: /checkout/

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

如果你要按环境或域名生成，可以用 app/robots.ts。示意：

import type { MetadataRoute } from 'next'

export default function robots(): MetadataRoute.Robots {
  return {
    rules: [
      {
        userAgent: '*',
        allow: '/',
        disallow: ['/account/', '/checkout/'],
      },
      {
        userAgent: 'GPTBot',
        disallow: '/',
      },
      {
        userAgent: 'Google-Extended',
        disallow: '/',
      },
    ],
    sitemap: 'https://www.example.com/sitemap.xml',
  }
}

注意：代码只是交付形式，策略仍然要由业务决定。

第七步：改完后建立变更记录

每次改 robots，都记录：

• 修改日期。
• 修改人。
• 修改原因。
• 影响目录。
• 影响 user agent。
• 预期效果。
• 回滚方案。
• 观察指标。

否则三个月后流量下滑，团队很可能没人记得是哪个规则挡住了哪个爬虫。

五、三套可直接用的策略模板

模板一：增长优先型

适合新站、内容站、工具站、品牌站早期。

目标：尽量获取 Google 和 ChatGPT 搜索发现机会。

User-agent: *
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /cart/

Sitemap: https://www.example.com/sitemap.xml

适用前提：没有把私密资料放在公开 URL；付费和内部内容已经登录鉴权。

模板二：搜索开放、训练限制型

适合有原创文章、工具、模板、测评内容，但又担心训练用途的品牌。

User-agent: Googlebot
Allow: /
Disallow: /account/
Disallow: /checkout/

User-agent: OAI-SearchBot
Allow: /blog/
Allow: /guides/
Allow: /tools/
Allow: /products/
Disallow: /account/
Disallow: /checkout/
Disallow: /members/

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

这是很多跨境内容站比较务实的中间路线：保留搜索发现，限制部分训练用途。

模板三：高保护型

适合大量付费内容、数据报告、内部知识库、B2B 报价体系。

User-agent: *
Disallow: /members/
Disallow: /reports/
Disallow: /supplier-notes/
Disallow: /account/
Disallow: /checkout/

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

但要再次强调：高保护型不能只靠 robots。会员区、报告区、供应商笔记必须登录鉴权，敏感接口必须服务器端授权。

六、可复制提示词：让AI帮你设计爬虫策略

把下面提示词复制给 ChatGPT、Claude、Gemini 或 Codex，再贴入你的网站目录结构、业务目标和当前 robots.txt。

你是一个熟悉 Google Search、AI Overviews、ChatGPT Search、OpenAI Crawlers、robots.txt、noindex、Next.js SEO 和跨境独立站内容资产管理的技术 SEO 顾问。

请帮我设计一套 AI 爬虫与搜索爬虫开放策略。

我的网站信息：
- 网站类型：[内容站 / 品牌站 / 产品独立站 / 工具站 / 会员资料站]
- 目标市场：[美国 / 欧洲 / 日本 / 其他]
- 核心产品或主题：[例如 dog crate]
- 主要获客页面：[列出 URL 或目录]
- 付费/会员内容：[列出 URL 或目录]
- 内部敏感内容：[列出 URL 或目录]
- 当前 robots.txt：[粘贴]
- 当前技术栈：[Next.js / WordPress / Shopify / 其他]
- 是否希望出现在 Google Search：[是/否]
- 是否希望出现在 ChatGPT Search：[是/否]
- 是否接受内容用于模型训练：[全部接受 / 公开内容接受 / 不接受 / 需要分目录]

请按以下结构输出：
1. 资料事实：基于 Google 和 OpenAI 官方资料，解释 llms.txt、robots.txt、Googlebot、Google-Extended、OAI-SearchBot、GPTBot、ChatGPT-User 的区别。
2. 内容资产分级：把我的目录分成公开获客、公开产品、品牌信任、会员付费、内部敏感五类。
3. 风险判断：哪些内容不能靠 robots.txt 保护，必须登录或服务器权限控制。
4. 推荐策略：分别给出 Googlebot、OAI-SearchBot、GPTBot、Google-Extended、ChatGPT-User 的处理建议。
5. robots.txt 草案：输出可执行草案，并解释每一组规则。
6. Next.js 实现：如果我是 Next.js，请给出 app/robots.txt 或 app/robots.ts 示例。
7. 发布检查：上线前如何验证 robots、noindex、sitemap、CDN/WAF、日志和搜索可见性。
8. 复盘指标：改完后 7 天、30 天分别观察什么。

要求：
- 明确区分资料事实、合理推断、实操建议。
- 不要把 llms.txt 说成 Google Search 排名因素。
- 不要承诺保证进入 AI 搜索答案。
- 不要建议用 robots.txt 保护真正敏感数据。

七、发布前检查清单

改 robots 或 AI 爬虫策略前，先过这份清单。

• 是否已经列出全站重要目录？
• 是否区分公开获客内容、产品内容、品牌内容、会员内容、内部敏感内容？
• 是否确认公开获客内容没有被误封 Googlebot？
• 是否确认希望参与 ChatGPT 搜索的页面没有被误封 OAI-SearchBot？
• 是否按策略决定 GPTBot 和 Google-Extended，而不是情绪化一刀切？
• 是否理解 llms.txt 不会帮助或损害 Google Search 可见性？
• 是否没有把 robots.txt 当成安全工具？
• 会员内容是否有登录和权限控制？
• 内部敏感内容是否不在公网路径？
• noindex 页面是否能被搜索引擎读取到 noindex？
• sitemap 是否仍然只提交应该被发现的公开页面？
• CDN/WAF 是否没有误杀 Googlebot 和 OAI-SearchBot？
• 是否查看服务器日志确认状态码？
• 是否记录了本次 robots 变更原因和回滚方案？
• 是否设置了 7 天和 30 天复盘指标？

八、不要误读

第一，不要把 llms.txt 当成 Google 的 AI 收录按钮。

Google 官方已经说清楚，Google Search 不使用它。你可以为其他系统维护，但不要把它写进 Google SEO 交付承诺。

第二，不要用 Disallow: / 解决所有焦虑。

屏蔽很容易，重新恢复搜索可见性、索引稳定性和 AI 搜索发现机会，可能需要更长时间。

第三，不要把 OAI-SearchBot 和 GPTBot 混为一谈。

前者关系到 ChatGPT 搜索展示，后者关系到 OpenAI 基础模型训练用途。你可以允许一个、限制另一个。

第四，不要以为 ChatGPT-User 是自动抓取爬虫。

OpenAI 官方说明它是用户在 ChatGPT 或 Custom GPT 中触发访问的场景，不用于判断内容是否能出现在 Search。管理 ChatGPT 搜索 opt out，应看 OAI-SearchBot。

第五，不要把 robots.txt 当安全工具或权限系统。

robots.txt 不是安全工具，也不是访问权限系统。

如果页面真的敏感，必须登录、鉴权、服务器限制。公开 URL 加 robots，只是在告诉好爬虫“请别进”，不是锁门。

第六，不要只看 AI 训练风险，不看获客机会。

对大多数跨境卖家，公开文章、产品页、工具页的主要价值是被发现、被引用、被信任、带来转化。把所有 AI 入口都关掉，可能会牺牲未来的搜索发现机会。

九、结论：开放给AI不是开门放任，而是分区管理

网站到底该不该开放给 AI？

我的建议很简单：

• 公开获客内容：尽量让 Google Search 和 ChatGPT Search 能发现。
• 模型训练用途：根据内容资产价值，单独评估 GPTBot、Google-Extended 等控制项。
• 会员和付费内容：登录鉴权，不靠 robots。
• 内部敏感数据：不要放公网。
• llms.txt：可以作为给部分系统看的说明文件，但不要当成 Google 搜索或 AI Overviews 的排名工具。

真正成熟的网站，不是一句“允许 AI”或“禁止 AI”，而是把内容资产分级，把爬虫用途分清，把商业目标、版权边界和技术实现放到同一张表里管理。

这才是 AI 搜索时代，独立站应该具备的基本运营能力。

参考资料

• Google Search Central：Optimizing your website for generative AI features on Google Search
• Google Search Central：Introduction to robots.txt
• Google Crawling Infrastructure：List of Google's common crawlers
• Google Crawling Infrastructure：Overview of Google crawlers and fetchers
• OpenAI Developers：Overview of OpenAI Crawlers
• Next.js Docs：Metadata Files - robots.txt