#6 robots.txt 与 sitemap 体检 · P1
判定标准:是否屏蔽关键资源、sitemap 是否可达/时效、结账与账号页是否误开放
解释
外部 Agent(搜索引擎、购物助手、比价爬虫)到站的第一步是读 robots.txt 与 sitemap。误屏蔽商品页或静态资源会让 Agent 完全看不到商品;sitemap 不可达、过期或 lastmod 不更新,会让新上架商品迟迟不被发现。常见失败:把 /products/ 或 /collections/ 写进 Disallow、结账与账号页误开放、子 sitemap 因分页游标滑动而漂移。
优化建议
- 逐 agent 检查 Disallow 规则,只屏蔽真正私有的路径;商品页与集合页必须可抓。
- 在 robots.txt 里声明 Sitemap 的绝对 URL,并用 sitemap index 分片管理大量商品。
- 让 lastmod 反映页面真实改动时间,而不是每次生成都写当天日期。
- 每次改模板或路由后,用禁用 JS 的抓取方式复验首页与关键商品页。