AgentBI电商独立站的agent商业智能平台

返回知识库

OPT-1

逐 agent 核对 robots.txt 与 sitemap

发布日期:2026-11-17浏览量:0

购物与搜索 Agent 到站的第一步通常就是读 robots.txt 与站点地图。这两份文件不渲染页面、不消耗多少带宽,却决定了商品能不能被发现;规则写错时不会报错,只会让整站商品从抓取结果里静默消失,往往等流量掉下去才被注意到。

先按 User-agent 分段核对规则:GPTBot、PerplexityBot、Google-Extended 等各自看一遍 Disallow,只屏蔽结账、账号、内部搜索这类私有路径。一旦把 /products/ 或 /collections/ 列进去,商品就等于对 Agent 关了门;Sitemap 则要用绝对 URL 声明,并在改动后复验。

robots.txt 与 sitemap 属于配置层,改动代价最低,但也正因如此容易被多人反复修改。建议把每次改动连同日期记进口径 changelog,改完用禁用 JavaScript 的方式复扫首页与几个关键商品页;本文只谈可抓取性,不对任何一次实测值下合规判定。

官方参考

2026-11-22