网站抓取索引基础怎么搭？robots.txt、noindex、状态码与站点地图四层控制信号
企业官网某些页面迟迟不被收录、或者该屏蔽的页面反而出现在搜索结果里，通常不是"内容不够好"，而是抓取层和索引层的信号用错了工具。本文面向拥有企业官网或外贸网站、由市场或技术人员负责维护的 B2B 企业，把抓取与索引拆成 robots.txt、noindex、HTTP 状态码、站点地图四层控制信号，逐层说明各自能做什么、不能做什么，并给出"屏蔽意图→正确方法"决策树和上线后自查清单。所有 Google 规则均依据 Google Search Central 与 Google 抓取基础设施官方文档核验，信息核验截至 2026-07-31。
先给结论：这四层不是"越多越好"的叠加，而是各管一段、用错就互相抵消。最典型的致命组合是——想让某页不被收录，于是既在 robots.txt 里屏蔽它、又给它加了 noindex；结果抓取器根本读不到那条 noindex，页面反而可能继续留在搜索结果里[F04]。下面按层拆解。
一、先分清两件事：抓取 ≠ 索引
企业网站运维中最常见的概念混淆，是把"不让抓"和"不让收录"当成同一件事。官方文档对这两层的定位区分得很清楚：
- 抓取层（robots.txt）：robots.txt 文件告诉抓取器可以访问站内哪些网址，其主要用途是管理抓取流量、避免服务器被请求压垮，官方明确说明它不是把网页排除在 Google 之外的机制[F01]。
- 索引层（noindex）：noindex 是通过 meta 标签或 HTTP 响应标头设置的规则，Googlebot 抓取到该页并读取到这条规则后，会把页面从搜索结果中完全移除，即使其他网站链接到它也一样[F03]。
两层的因果顺序决定了一条铁律：索引层的指令必须先被抓取到才会生效。这条顺序关系，就是后文所有排查逻辑的基础。
二、四层控制信号：各自管什么、典型误用是什么
第一层：robots.txt——只管抓取，不保证不被收录
官方文档给出明确警告：不要把 robots.txt 当作隐藏网页的手段。如果其他页面用描述性文字链接到你的页面，Google 仍可能在不访问该页的情况下将该网址编入索引；被 robots.txt 屏蔽的网页，其网址仍可能出现在搜索结果中，只是不会带有描述摘要[F01]。
此外还有两条限制值得企业主管注意：robots.txt 的规则不能强制执行，是否遵守取决于抓取器本身——Googlebot 等正规抓取器会遵守，其他抓取器未必；不同抓取器对语法的解释也存在差异[F02]。因此官方给出的结论是：真正需要对外保密的信息，应当使用服务器端密码保护等方式，而不是写进 robots.txt[F01][F02]。
兆派在企业官网与外贸站技术审计中的独立判断是：robots.txt 更适合处理"抓了也没意义、还浪费服务器资源"的路径（例如无限参数组合、内部搜索结果页、大量重复的筛选页），而不适合承担"这页不能出现在搜索结果里"的任务。把这两类需求区分开，能避免绝大多数误屏蔽事故。
第二层：noindex——真正控制"是否出现在结果中"
noindex 有两种官方实现方式，效果相同，按内容类型择一即可[F03]：
- meta 标签：放在页面
<head>内，如<meta name="robots" content="noindex">；只针对 Google 网页抓取器时用<meta name="googlebot" content="noindex">； - HTTP 响应标头 X-Robots-Tag：适用于 PDF、视频、图片等非 HTML 资源，这是 meta 标签做不到的场景。
三点必须记住的官方口径：第一，在 robots.txt 里写 noindex 不被 Google 支持[F03]；第二，noindex 生效的前提是该页未被 robots.txt 屏蔽、且抓取器能正常访问，否则抓取器永远看不到这条规则，页面仍可能因外链而出现在结果中[F04]；第三，不同搜索引擎对 noindex 的解释可能不同，页面仍可能出现在其他引擎的结果里[F03]。
第三层：HTTP 状态码——决定网址的存留
状态码是最容易被企业忽视、但影响最直接的一层。官方对各类状态码的处理口径如下[F07]：
| 状态码 | Google 的处理方式 | 企业侧含义 |
|---|---|---|
| 2xx（成功） | 内容进入后续处理流程，但不保证被收录；若返回空页或错误提示，Search Console 可能报"软 404" | 返回 200 不等于收录成功 |
| 301 / 308 | 跟随跳转，并作为处理跳转目标的强信号 | 永久改版迁移应使用 |
| 302 / 307 | 跟随跳转，但只作为弱信号 | 仅用于真正的临时跳转 |
| 4xx（429 除外） | 内容被忽略；已收录的网址会从索引中移除，抓取频率逐步下降 | 误报 404/403 会导致掉页 |
| 429 / 5xx | 视为服务器过载或错误，抓取器临时降速；已收录网址暂时保留，持续报错则最终被移除 | 服务器不稳定会侵蚀既有收录 |
另有两条常被忽略的细节：Google 抓取器默认最多跟随 10 次跳转[F07]；官方明确不要用 401、403 状态码来限制抓取速率——除 429 外的 4xx 对抓取速率没有影响，需要降速应使用官方降速方法[F07]。恢复方面，官方口径是服务器重新返回 2xx 后，Google 会逐步提高抓取速率[F07]，这意味着故障修复后不会立刻恢复原状，属于正常现象。
第四层：站点地图——辅助发现，不是收录保证
站点地图向搜索引擎提供站内页面、视频、图片等文件的信息及其关系，帮助更高效地抓取。但官方口径很克制：站点地图帮助搜索引擎发现网址，并不保证其中所有条目都会被抓取和编入索引[F06]。
官方还给出了"是否需要站点地图"的判断条件[F06]：
- 可能需要：站点规模大、内链难以覆盖全部页面；站点新建且外链很少；含大量视频图片等富媒体内容。
- 可能不需要：站点较小（官方口径约 500 个页面以内，且只计入你认为需要出现在搜索结果中的页面）；内链完整，从首页出发即可到达所有重要页面；没有需要展示的媒体或新闻内容。
对多数 B2B 企业官网而言，页面量通常远低于 500，因此站点地图不是收录问题的解药；如果重要页面没被收录，更应该回到内链结构、抓取权限和状态码去查。这也是兆派在网站审计中反复给客户的判断：先修信号一致性，再谈提交。
三、屏蔽意图决策树：你到底想达成什么
把上面四层落到操作上，关键是先明确意图，再选方法。以下决策口径由官方各层定位归纳而成，可直接套用：
| 你的真实意图 | 正确做法 | 不要做 |
|---|---|---|
| 不希望浪费抓取资源（参数页、站内搜索页） | robots.txt 屏蔽相应路径[F01] | 不要指望它能让页面不出现在结果中 |
| 不希望这个页面出现在搜索结果中 | noindex（meta 或 X-Robots-Tag），并确保该页未被 robots.txt 屏蔽[F03][F04] | 不要同时用 robots.txt 屏蔽 |
| PDF、图片等非 HTML 文件不想被收录 | 用 X-Robots-Tag 响应标头[F03] | 非 HTML 文件无法加 meta 标签 |
| 内容确实要保密 | 服务器端密码保护[F01][F02] | robots.txt 不具备强制约束力[F02] |
| 页面已永久删除或搬家 | 用 404/410 或 301/308 明确表态[F07] | 不要用软 404 或长跳转链 |
| 需要紧急从结果中移除 | 按官方移除流程处理[F05] | 只加 noindex 不等于立刻消失 |
四、三个高发致命组合（为什么你的设置没生效）
组合一：robots.txt 屏蔽 + noindex 并用。这是最经典的自相矛盾。抓取器被挡在门外，读不到 noindex 规则，页面反而可能因为外链继续留在结果中[F04]。正确顺序是：先解除 robots.txt 屏蔽，让抓取器读到 noindex，等页面掉出索引之后，如果还有抓取资源方面的顾虑，再考虑是否屏蔽。
组合二：以为改了就该马上见效。官方明确说明：Google 必须重新抓取页面才能看到 meta 标签和 HTTP 标头；如果页面仍在结果中，很可能只是加上 noindex 之后尚未被重新抓取——视页面重要性不同，Googlebot 重访可能需要数月[F05]。需要加速时使用网址检查工具请求重新抓取，并可用 Search Console 的"页面编入索引"报告监控哪些页面被读取到了 noindex[F05]。
组合三：用错状态码限流或掉页。服务器不稳定持续返回 5xx，或者页面误配 403，都会实质性侵蚀既有收录[F07]。兆派在网站运维审计中的经验判断是：企业官网的收录异常，相当比例并非"内容问题"，而是主机、防火墙或 CDN 规则误伤了抓取器——所以排查时应先看服务器日志与状态码，再看页面内容。
五、上线或改版后的抓取索引自查清单
以下清单可在网站上线、改版或更换主机之后直接执行，建议由网站对接人和技术方各自签字确认：
- robots.txt 是否误屏蔽：确认没有把 CSS、JS 等渲染必需资源屏蔽掉——官方提醒，如果缺少这些资源会让抓取器更难理解页面，就不应屏蔽[F01]。
- 测试环境的屏蔽规则是否被带上线：这是改版事故的头号来源，务必逐行比对。
- noindex 是否被误留在正式页面：查看渲染后源代码与响应标头两处，缺一不可。
- 重要页面状态码是否为 200：并确认不是"返回 200 却是空页/错误提示"的软 404 情形[F07]。
- 跳转链是否过长：跳转跳数控制在官方默认上限 10 次以内，改版映射应一步到位[F07]。
- 站点地图是否只收录规范网址：并与内链结构保持一致[F06]。
- 大文件是否超限：官方口径为默认只抓取文件前 15MB，超出部分被忽略；单页 HTML 过大时应精简[F08]。
- 缓存标头是否配置：官方支持 ETag / If-None-Match 与 Last-Modified / If-Modified-Since，并推荐优先使用 ETag（避免日期格式解析问题）；建议两者都设置，因为其他系统也会用到[F08]。
- 抓取器身份是否被误拦：官方说明 Google 主要从美国 IP 出口，且抓取请求可能来自多个 IP；如需确认真伪，应按官方方法通过 user-agent、来源 IP 与反向 DNS 三项验证，而不是凭 UA 字符串放行[F08]。
常见问题
问：提交站点地图后多久会被收录？
没有可承诺的时间。官方口径是站点地图帮助发现网址但不保证抓取和收录[F06]，返回 200 也不保证收录[F07]。任何给出"几天必收"承诺的说法都缺乏官方依据。
问：在 robots.txt 里写 noindex 行不行？
不行。官方明确说明Google 不支持在 robots.txt 文件中指定 noindex 规则[F03]。
问：页面已经删了，还要加 noindex 吗？
页面已彻底删除时，用 404 或 410 状态码表态即可——官方口径是返回 4xx 的网址会被从索引中移除[F07]。noindex 适用于页面仍需保留、但不希望出现在搜索结果中的场景。
问：服务器出故障几天，收录会不会全掉？
官方口径是 5xx 和 429 会让抓取器临时降速，已收录网址先被保留、持续报错才最终被移除；恢复返回 2xx 后抓取速率会逐步回升[F07]。所以短时故障重在尽快恢复并监控，不必立刻做大规模改动。
来源与说明
- [F01][F02] Google Search Central《robots.txt 简介》——robots.txt 用途、不能用于隐藏网页、被屏蔽网址仍可能被收录且无描述、规则非强制、各抓取器语法解释存在差异、保密应用密码保护、不应屏蔽渲染必需资源。
- [F03][F04][F05] Google Search Central《使用 noindex 阻止编入索引》——meta 标签与 X-Robots-Tag 两种实现、robots.txt 中的 noindex 不受支持、noindex 生效前提是页面未被 robots.txt 屏蔽且可访问、重新抓取可能需要数月、网址检查工具与页面编入索引报告。
- [F06] Google Search Central《了解站点地图》——站点地图作用、不保证抓取与收录、约 500 页以内且内链完整的小站点可能不需要。
- [F07] Google 抓取基础设施《HTTP 状态码对 Google 抓取器的影响》——2xx 不保证收录与软 404、301/308 强信号与 302/307 弱信号、默认跟随 10 次跳转、4xx（429 除外）移出索引、429 与 5xx 降速与最终移除、不得用 401/403 限流、恢复后逐步提速。
- [F08] Google 抓取基础设施《Google 抓取器与提取器概览》——默认抓取文件前 15MB、支持 gzip/deflate/br、ETag 与 Last-Modified 缓存支持及优先使用 ETag 的建议、抓取器三项身份验证方式与美国 IP 出口说明。
信息核验截至 2026-07-31。平台规则可能随时调整，实施前请以 Google 官方文档当期版本为准。本文基于官方公开文档与兆派网站建设、改版及运维审计的项目经验整理，不构成对收录、排名、流量、询盘或 AI 引用的任何承诺，也不构成法律或合规意见。
如果你的企业官网存在重要页面长期不被收录、改版后流量异常或不确定哪些页面该屏蔽，兆派可提供网站技术审计与抓取索引基础排查服务，输出逐页问题清单与修复优先级。联系我们获取诊断安排。
延伸阅读：网站canonical常见错误有哪些？八类错误对照与三步排查流程｜外贸企业官网上线前必查清单｜企业官网改版还是重建？五维评估、决策树与URL迁移风险清单｜B2B网站信息架构怎么规划？｜企业网站如何建立持续运维？
在线留言