购物与搜索 Agent 到站的第一步通常就是读 robots.txt 与站点地图。这两份文件不渲染页面、不消耗多少带宽,却决定了商品能不能被发现;规则写错时不会报错,只会让整站商品从抓取结果里静默消失,往往等流量掉下去才被注意到。
先按 User-agent 分段核对规则:GPTBot、PerplexityBot、Google-Extended 等各自看一遍 Disallow,只屏蔽结账、账号、内部搜索这类私有路径。一旦把 /products/ 或 /collections/ 列进去,商品就等于对 Agent 关了门;Sitemap 则要用绝对 URL 声明,并在改动后复验。
robots.txt 与 sitemap 属于配置层,改动代价最低,但也正因如此容易被多人反复修改。建议把每次改动连同日期记进口径 changelog,改完用禁用 JavaScript 的方式复扫首页与几个关键商品页;本文只谈可抓取性,不对任何一次实测值下合规判定。