AMZ
用户中心
广告与流量

技术SEO基础：网站上线前必须检查的10件事

摘要：上线前先排除收录硬伤

公众号文章库2026/7/722 分钟阅读

摘要：上线前先排除收录硬伤

系列：AI建站与SEO/GEO营销完整教程｜第 08/20 篇

关键词：技术SEO、SEO检查清单、网站上线SEO

很多 AI 建站项目，最浪费时间的不是写文章，也不是改 UI。

真正浪费时间的是：网站已经上线一个月，文章也发了几十篇，老板每天问“为什么 Google 还没收录”，这时才发现生产环境的 robots.txt 还在禁止抓取，sitemap 没有核心页面，文章页 canonical 指向错了，移动端首屏被弹窗挡住，工具页只有前端渲染后的输入框。

这类问题很可惜。不是内容战略错了，而是网站还没拿到搜索系统的入场券。

这篇文章的核心观点：技术 SEO 不是让网站排名第一的魔法，而是上线前排除“抓不到、看不懂、收不了、用不了”的硬伤。

如果你用 AI 搭内容站、工具站、产品站，下面这 10 件事应该在正式发布前检查完。

一个真实场景：内容写完了，Google 只收录首页

假设你是一个做宠物用品的跨境卖家，准备做一个英文内容站，主题是“dog crate training”。

你的网站已经有：

  • 1 个首页
  • 4 个专题页
  • 30 篇文章
  • 1 个狗笼尺寸计算器
  • 1 个邮件订阅入口

上线后两周，你在 Google 搜 site:yourdomain.com，只看到首页和少数页面。工具页没有收录，专题页不稳定，文章页有的能打开但 Search Console 里显示“已发现，目前尚未编入索引”。

这时不要先怪 AI 写得不好。你要先问 10 个技术问题：

  • Googlebot 能不能访问？
  • 哪些 URL 应该进入 sitemap？
  • 页面有没有被 noindex 或 robots 误伤？
  • canonical 是否指向自己或正确版本？
  • 页面标题和描述是否唯一？
  • 手机上能不能正常读完和提交表单？
  • 旧 URL 是否正确重定向？
  • 重要内容是否在 HTML 里，而不是必须等浏览器执行复杂 JS 后才出现？
  • 结构化数据有没有写错？
  • Search Console 有没有验证和监控？

这就是技术 SEO 的价值：先排除“网站基础设施问题”，再谈内容增长。

先把事实边界说清楚

资料事实一：Google 的 SEO Starter Guide 说，SEO 的核心是帮助搜索引擎理解内容，也帮助用户通过搜索找到你的网站并判断是否访问。Google 也明确提醒，符合基础要求不等于保证进入索引或获得排名。

资料事实二：Google 关于生成式 AI 搜索的指南强调，AI Overviews 和 AI Mode 仍然依赖 Google Search 的核心排名和质量系统。换句话说，AI 搜索优化不是绕开基础 SEO，而是更依赖基础结构、可抓取内容和页面体验。

资料事实三：Google 官方文档把 robots.txt、sitemap、canonical、重定向、标题、结构化数据、Search Console URL 检查工具，都放在抓取、索引、展示和监控的基础链路里。

合理推断：如果一个页面本身不能被稳定抓取、不能被正确规范化、移动端不能正常使用，即使内容写得不错，也会影响它成为搜索和 AI 摘要候选内容的机会。

实操建议：上线前不要只看“页面能不能打开”。要按“抓取、索引、理解、体验、监控、转化”六个层级验收。

技术 SEO 的底层逻辑

你可以把技术 SEO 想成开海外独立站前的水电、门牌和收银台检查。

门牌错了，用户找不到；水电断了，店面再漂亮也无法营业；收银台坏了，有流量也接不住订单。

网站也是一样。

抓取解决的是“搜索引擎能不能进门”。

索引解决的是“搜索引擎要不要把你放进资料库”。

理解解决的是“它知不知道这个页面在讲什么”。

体验解决的是“真实用户来了能不能顺利读、点、填、买”。

监控解决的是“上线后出了问题你能不能发现”。

转化解决的是“SEO 流量来了有没有业务结果”。

所以技术 SEO 不只是程序员的事。对跨境卖家来说，它直接关系到内容资产能不能被发现，产品页面能不能稳定承接搜索流量，工具页能不能从访问变成线索。

上线前必须检查的10件事

下面这 10 项，我建议按顺序检查。不要跳着来，因为前面的错误会影响后面所有判断。

1. robots.txt：不要把生产站锁在门外

robots.txt 的作用，是告诉爬虫哪些路径可以抓取，哪些路径不希望抓取。

最常见的上线事故是：开发阶段为了不让测试站被抓，写了：

User-agent: *
Disallow: /

结果正式上线忘了改。页面对用户能打开，但搜索爬虫被挡在门外。

上线前你要检查：

  • https://yourdomain.com/robots.txt 是否能打开；
  • 是否误写 Disallow: /；
  • 是否误封 /blog/、/tools/、/products/ 等核心目录；
  • sitemap 地址是否写入 robots；
  • 测试环境和生产环境的 robots 是否区分。

Next.js App Router 可以用 app/robots.ts 或 app/robots.js 生成 robots 文件。不要让 AI 直接套模板，必须按你的生产域名和目录规则确认。

一个常见生产站例子：

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

注意边界：robots.txt 是抓取控制，不是“彻底不让页面出现在 Google”的唯一方法。Google 官方也提醒，不要用 robots.txt 来做 canonical 处理。如果你要让页面不出现在搜索结果，通常要看 noindex、权限控制、删除或其他官方建议，而不是只靠 robots。

2. sitemap.xml：告诉搜索引擎哪些页面重要

sitemap 不是排名加速器。它的作用更接近一份“重要 URL 清单”。

Google 官方对 sitemap 的解释是，它能帮助 Google 发现你认为重要的 URL，尤其是新站、页面多、内链还不充分、内容更新频繁的网站。

对 AI 内容站和工具站来说，sitemap 至少要包含：

  • 首页；
  • 核心专题页；
  • 高质量文章页；
  • 工具页；
  • 资源页；
  • 重要产品页；
  • 多语言版本的规范 URL。

不要把这些页面放进 sitemap：

  • 404 页面；
  • 草稿页；
  • 后台页面；
  • 搜索结果页；
  • 参数重复页；
  • 被 noindex 的页面；
  • 已经重定向到别处的旧 URL。

Next.js App Router 可以用 app/sitemap.ts 生成 sitemap。重点不是“文件能生成”，而是内容对不对。

检查方法：

  1. 打开 /sitemap.xml，确认返回 200。
  2. 随机点 10 个 URL，确认页面可访问。
  3. 看是否包含核心页面，而不是只有首页。
  4. 看是否混入测试域名、localhost、旧域名。
  5. 提交到 Google Search Console。

如果你有 1000 篇文章，不要只检查第一屏。抽样检查不同目录、不同发布时间、不同语言版本。

3. noindex 和 canonical：别让页面自己否定自己

很多站点不是被 robots 挡住，而是被自己写的 meta 标签或 canonical 关系误伤。

上线前重点看两件事。

第一，页面是否有 noindex。

如果核心文章页、专题页、工具页出现：

<meta name="robots" content="noindex">

那就等于告诉搜索引擎不要把这个页面放进索引。

第二，canonical 是否指向正确页面。

canonical 的作用，是告诉搜索引擎：如果有多个相似 URL，我更希望你把哪一个当成规范版本。

比如这些 URL 可能指向同一产品：

https://www.example.com/products/dog-crate
https://www.example.com/products/dog-crate?utm_source=newsletter
https://example.com/products/dog-crate

你通常希望 canonical 指向稳定的正式版本：

<link rel="canonical" href="https://www.example.com/products/dog-crate">

常见错误：

  • 每篇文章 canonical 都指向首页；
  • 分页、标签页、筛选页 canonical 混乱；
  • http 和 https 混用；
  • www 和非 www 混用；
  • sitemap 里是一套 URL，canonical 又指向另一套 URL。

Google 官方文档里也提到，重定向和 rel="canonical" 是比较强的规范化信号，sitemap 是较弱信号。实操上要让它们互相配合，不要互相打架。

4. 标题和描述：每个核心页面要有唯一的搜索入口

标题和描述不是装饰文案。它们会影响搜索结果中用户看到什么，也帮助系统理解页面主题。

上线前至少检查：

  • 每个核心页面是否有唯一 title；
  • title 是否准确描述页面内容；
  • 是否全站大量重复同一个标题；
  • 是否为了堆关键词写得很长很乱；
  • description 是否说明页面价值，而不是空白或模板化；
  • H1 是否和页面主题一致。

对跨境内容站来说，一个糟糕标题是：

Blog | Example Brand

一个更可用的标题是：

Dog Crate Size Chart: How to Choose the Right Crate for Your Dog

如果你用 Next.js，可以在页面里用 metadata 或 generateMetadata 生成 title、description、Open Graph 信息。AI 可以帮你生成初稿，但你要抽查，因为 AI 很容易把多个页面写成相似标题。

检查方法：

  1. 用浏览器打开核心页面，查看页面标题；
  2. 查看源代码，确认 title 和 meta description 在 HTML 中；
  3. 抽查 20 个文章页，看是否大面积重复；
  4. 对工具页和产品页单独写标题，不要套文章模板。

5. URL 和目录结构：让人和搜索系统都看得懂

URL 不需要塞满关键词，但要可读、稳定、可维护。

Google 的 SEO Starter Guide 建议使用描述性 URL，也提到按主题把相似页面放在目录里，有助于用户和搜索引擎理解页面关系。

对内容站来说，可以这样设计：

/guides/dog-crate-size-chart
/troubleshooting/dog-crate-anxiety
/tools/dog-crate-size-calculator
/products/foldable-dog-crate

不建议这样设计：

/post?id=839102
/article/2026/07/07/abc
/p/uncategorized/new-page-3

上线前要确认：

  • URL 是否尽量短而清晰；
  • 改 URL 是否有 301 重定向；
  • 大小写是否统一；
  • 末尾斜杠规则是否统一；
  • 多语言站是否有清晰语言路径；
  • 旧文章链接是否还能访问或正确跳转。

这里有个实际坑：很多 AI 建站工具会根据标题自动生成 slug。中文站还好，英文站如果标题很长，slug 可能会非常长。建议上线前统一检查 slug，不要等收录后频繁改 URL。

6. 移动端体验：别只在电脑上验收

跨境内容站和产品站，大量用户会从手机进入。

移动端常见问题包括：

  • 顶部导航挡住正文；
  • 目录太长，占满首屏；
  • 表格横向溢出；
  • CTA 按钮太小；
  • 工具页输入框难填；
  • 弹窗遮挡主要内容；
  • 图片太大，加载慢；
  • 表单提交后没有反馈。

Google 有页面体验和 Core Web Vitals 相关文档，但实操上，新站上线前先做一个低成本人工验收：

  1. 用手机打开首页；
  2. 从首页点到专题页；
  3. 从专题页点到文章页；
  4. 在文章页点到工具页；
  5. 填一次工具表单；
  6. 提交一次订阅或咨询；
  7. 返回上一级页面，看导航是否顺畅。

如果这条路径走不通，先不要急着发内容。

对工具页尤其要严格。用户在手机上填不动表单，SEO 流量来了也留不下。

7. 状态码、404 和重定向：别让旧链接断掉

上线、改版、换域名、换路由时，最容易丢流量。

你要检查：

  • 正常页面返回 200；
  • 不存在页面返回 404，不要返回 200 假页面；
  • 旧 URL 使用 301 或合适的永久重定向到新 URL；
  • 不要出现多跳重定向链；
  • 不要把所有旧页面都重定向到首页；
  • http 到 https 是否统一；
  • www 和非 www 是否统一。

如果你从 WordPress 迁移到 Next.js，尤其要做旧 URL 映射表。

例如：

/best-dog-crates/  ->  /guides/best-dog-crates
/dog-crate-size/   ->  /guides/dog-crate-size-chart
/crate-calculator/ ->  /tools/dog-crate-size-calculator

这不是技术洁癖。旧 URL 可能已经被 Google 发现，也可能被其他网站、社媒、邮件引用。粗暴断掉，会损失历史信号和用户体验。

8. 重要内容是否可抓取：不要把正文藏在复杂交互后面

很多 AI 生成的网站看起来很漂亮，但正文内容对搜索引擎不友好。

典型问题：

  • 首页首屏全是动画，没有清晰文字；
  • 工具页只有一个 React 表单，没有解释内容；
  • 文章列表必须点击按钮或滚动加载才出现；
  • 重要 FAQ 只在折叠组件里由客户端异步请求；
  • 图片有内容但没有文字说明；
  • 商品参数全部在前端请求后才渲染。

这篇文章不展开 JavaScript SEO，下一篇会专门讲。但上线前至少要做到：

  • 核心标题、正文、摘要、FAQ 在初始 HTML 或可稳定渲染内容里；
  • 重要链接是普通可点击链接；
  • 工具页有可索引的说明文字；
  • 图片有合理 alt；
  • 页面关闭 JavaScript 后，至少能看到核心内容或清晰降级方案。

Google 的 SEO Starter Guide 里也提醒，Google 抓取页面时应尽量看到普通用户看到的内容。如果 CSS、JavaScript 或重要资源被隐藏或无法访问，会影响理解。

9. 结构化数据：不要乱加，也不要写错

结构化数据不是所有站都必须第一天做，但内容站、产品站、工具站常常值得做基础版本。

Google 对结构化数据的定义，是用标准化格式提供页面信息并分类页面内容。它可能帮助页面获得更丰富的搜索展示，但不保证一定出现富结果。

新站可以优先考虑：

  • Article：文章页；
  • BreadcrumbList：面包屑；
  • Product：产品页；
  • Organization：品牌或公司；
  • FAQPage：符合条件的 FAQ；
  • SoftwareApplication：某些工具页或应用页。

上线前不要只看页面上有没有 JSON-LD。要检查：

  • JSON 是否能被解析；
  • 字段是否和页面真实内容一致；
  • 不要标记页面上看不到的内容；
  • 不要把每个页面都乱标成 Product；
  • 不要为了富结果写虚假的评分、价格、库存；
  • 用官方测试工具检查错误和警告。

结构化数据的底线是“帮助理解”，不是“伪造资格”。

10. Search Console、统计和转化：上线不是结束，是监控开始

技术 SEO 最后一步，是确认上线后你能看到问题。

至少要完成：

  • 验证 Google Search Console；
  • 提交 sitemap；
  • 用 URL Inspection 检查首页、专题页、文章页、工具页；
  • 安装基础统计；
  • 确认表单、订阅、下载、咨询事件可记录；
  • 建一个上线后 7 天、14 天、30 天复盘表。

Search Console 的 URL Inspection 工具可以查看 Google 对某个 URL 的索引信息，也能测试实时 URL。新站上线后，用它抽查页面，比凭感觉等收录更可靠。

复盘时看三类数据：

  • 抓取索引：哪些页面被发现，哪些没被索引；
  • 搜索表现：哪些词有展示，哪些页面点击率低；
  • 业务动作：哪些页面带来工具使用、订阅、咨询。

如果只有流量没有转化，你的问题可能不在技术 SEO，而在页面承接和 CTA。

一套上线前 SOP

你可以把上线前技术 SEO 拆成 5 个批次。

第一批：抓取权限。

检查 robots、noindex、登录权限、测试环境配置，确认生产站不误封。

第二批：URL 资产。

确认 sitemap、规范 URL、canonical、旧 URL 重定向、目录结构。

第三批：页面理解。

检查 title、description、H1、正文、内链、图片 alt、结构化数据。

第四批：用户体验。

检查移动端、页面速度、工具表单、404 页面、订阅和咨询路径。

第五批：上线监控。

验证 Search Console、提交 sitemap、抽查 URL Inspection、配置统计事件、建立复盘表。

如果时间非常紧，最少也要完成前 6 项：robots、sitemap、noindex、canonical、标题描述、Search Console。

可以直接复制的提示词

下面这段可以直接给 Cursor、Codex、Claude Code 或技术同事。

你是一个技术 SEO 顾问和 Next.js 网站上线验收负责人。

我要上线一个网站：
- 网站类型：[内容站 / 工具站 / 品牌站 / 产品站 / 多语言站]
- 技术栈：[Next.js App Router / WordPress / Webflow / 其他]
- 目标市场：[美国 / 欧洲 / 日本 / 其他]
- 核心页面类型：[首页、专题页、文章页、工具页、产品页、资源页]
- 域名：[填写正式域名]

请你生成上线前技术 SEO 检查方案，必须包含：

1. robots.txt 检查项：生产环境是否误封、sitemap 是否声明、测试环境如何处理。
2. sitemap.xml 检查项：应包含哪些 URL、不应包含哪些 URL、如何抽样验证。
3. noindex 和 canonical 检查项：如何发现误配置，如何判断规范 URL 是否一致。
4. title、description、H1 检查项：重复、缺失、过长、与页面意图不一致的问题。
5. URL 和重定向检查项：旧 URL 映射、301、404、http/https、www/non-www。
6. 移动端和页面体验检查项：导航、目录、表格、图片、表单、CTA。
7. 可抓取内容检查项：核心正文、工具说明、FAQ、内链是否可被搜索引擎理解。
8. 结构化数据检查项：适合哪些页面类型，如何避免虚假标记。
9. Search Console 检查项：验证、提交 sitemap、URL Inspection 抽查、上线后复盘。
10. 输出一个按优先级排序的修复清单，分为 P0 必须上线前修复、P1 上线后一周内修复、P2 后续优化。

要求：
- 不要只写概念，要写检查方法。
- 每项都要说明“为什么重要”“怎么检查”“常见错误”“修复建议”。
- 如果涉及无法确定的事实，请标记为需要人工确认。

如果你已经有网站代码，可以继续追加：

请检查当前项目中和技术 SEO 相关的文件与页面：
- app/robots.ts 或 public/robots.txt
- app/sitemap.ts 或 public/sitemap.xml
- layout/page metadata
- generateMetadata
- not-found 页面
- redirects 配置
- 文章页、专题页、工具页模板

请输出发现的问题、对应文件、修改建议和上线验收步骤。

一张给老板看的检查清单

如果你不想把技术细节讲给团队所有人，可以用下面这张表做上线会议检查。

检查项通过标准不通过的风险
robots.txt生产站不误封核心目录搜索引擎无法抓取
sitemap.xml核心页面都在 sitemap 中新页面发现慢
noindex核心页面没有误加 noindex页面无法进入索引
canonical指向正确规范 URL信号分散或页面被替代
title/description核心页面唯一且准确点击率低、主题不清
URL/重定向旧链接有合理 301历史流量和外链浪费
移动端手机能读、能点、能提交流量来了也转化差
可抓取内容核心内容和链接可被访问页面看起来有内容但难理解
结构化数据与页面真实内容一致富结果无效或触发质量风险
Search Console已验证并提交 sitemap出问题发现太晚

这张表不是为了“填满绿色”。它的作用是让团队在上线前对风险有共同判断。

不要误读：技术 SEO 做完，不等于排名就来

这里必须讲清楚边界。

第一，技术 SEO 是必要条件，不是充分条件。

你把 robots、sitemap、canonical 都配对了，只是说明网站没有明显基础硬伤。能不能获得排名，还取决于内容质量、主题权威、竞争强度、外部信号、用户体验和时间。

第二，sitemap 不是收录保证书。

sitemap 能帮助发现重要 URL，但不保证 Google 一定收录每个 URL。低价值、重复、薄内容页面，即使提交了 sitemap，也可能不被收录。

第三，robots.txt 不是隐私工具。

如果页面真的不想公开，不要只靠 robots。应该用登录权限、删除、noindex 或其他更合适的方式，具体要按页面性质处理。

第四，不要为了 SEO 乱加结构化数据。

页面没有的内容，不要写进 Schema；产品没有真实评分，不要伪造评分；工具页不是软件应用时，不要硬套 SoftwareApplication。

第五，AI 生成代码也要人工验收。

AI 很容易生成看起来正确但实际域名、路径、canonical、metadata 不一致的配置。上线前必须抽样看源码和 Search Console，而不是只相信代码。

最后给一个最小可行版本

如果你现在只有一天时间上线，按这个顺序做：

  1. 打开 robots，确认没有误封。
  2. 打开 sitemap，确认核心页面都在。
  3. 抽查 20 个核心页面，确认没有 noindex。
  4. 抽查 canonical，确认不是全部指向首页。
  5. 抽查 title 和 description，确认不是大面积重复。
  6. 用手机走一遍首页到文章页、工具页、表单。
  7. 检查 404 和旧 URL 重定向。
  8. 用 Rich Results Test 或官方工具检查结构化数据。
  9. 验证 Search Console 并提交 sitemap。
  10. 上线后 7 天复盘索引、展示、点击和转化。

技术 SEO 的价值，不是让你少写好内容，而是避免好内容因为基础配置错误，连被发现的机会都没有。

对 AI 建站尤其如此。AI 可以把页面生产速度提高十倍，但如果上线前没有验收，错误也会被放大十倍。

官方参考资料