标签归档

robots.txt 标签下的文章

B2B官网改版上线前SEO自查清单:结构、速度、索引、抓取与内容五维验收(2026版)
12 Aug

B2B官网改版上线前SEO自查清单:结构、速度、索引、抓取与内容五维验收(2026版)

B2B官网改版、迁移或上新站上线前,按结构、速度、索引、抓取、内容五维做SEO验收并打勾,附上线前72小时检查时间轴与三个易踩误区(2026版,核验截至2026-08-11)。

阅读全文
AI抓取器该放行还是屏蔽?搜索、用户触发与训练三类分流与六平台令牌对照
04 Aug

AI抓取器该放行还是屏蔽?搜索、用户触发与训练三类分流与六平台令牌对照

企业官网面对越来越多的AI抓取器,该放行谁、拦住谁、怎么拦才生效?本文依据Google、OpenAI、Anthropic、Perplexity、Apple、Common Crawl与百度当期官方文档(核验至2026-08-04),把抓取器按搜索型、用户触发型、训练型三类用途分流,给出六平台robots.txt...

阅读全文
网站抓取索引基础怎么搭?robots.txt、noindex、状态码与站点地图四层控制信号
31 Jul

网站抓取索引基础怎么搭?robots.txt、noindex、状态码与站点地图四层控制信号

企业官网页面不被收录、该屏蔽的却出现在搜索结果?本文依据Google Search Central与抓取基础设施官方文档(核验至2026-07-31),把抓取索引拆成robots.txt、noindex、HTTP状态码、站点地图四层控制信号,说明各层能做与不能做什么,给出屏蔽意图决策树、三个...

阅读全文