清单 #6 · P1
robots.txt 与 sitemap 体检
分类:抓取与收录
判定标准
是否屏蔽关键资源、sitemap 是否可达/时效、结账与账号页是否误开放
参考资料
以下为针对本清单项的通用解释与优化建议,不针对单次实测值下合规判定;外部链接指向官方规范。
解释
外部 Agent(搜索引擎、购物助手、比价爬虫)到站的第一步是读 robots.txt 与 sitemap。误屏蔽商品页或静态资源会让 Agent 完全看不到商品;sitemap 不可达、过期或 lastmod 不更新,会让新上架商品迟迟不被发现。常见失败:把 /products/ 或 /collections/ 写进 Disallow、结账与账号页误开放、子 sitemap 因分页游标滑动而漂移。
优化建议
- 逐 agent 检查 Disallow 规则,只屏蔽真正私有的路径;商品页与集合页必须可抓。
- 在 robots.txt 里声明 Sitemap 的绝对 URL,并用 sitemap index 分片管理大量商品。
- 让 lastmod 反映页面真实改动时间,而不是每次生成都写当天日期。
- 每次改模板或路由后,用禁用 JS 的抓取方式复验首页与关键商品页。
官方参考
实测示例
以下为 30 个真实独立站的单次抓取实测值,逐站并列;本站不汇总、不判定、不补值。— 表示该字段本次未取到。
数据出口 server-KR · 2026-11-09 · 30 站(单日横截面)
| 站点 | robots_status | sitemap_declared | sitemap.status | sitemap.n | sitemap.sub_n |
|---|---|---|---|---|---|
| www.dreametech.com | 200 | https://www.dreametech.com/sitemap.xml | 200 | 6 | 217 |
| www.songmics.com | 200 | https://www.songmics.com/sitemap.xml | 200 | 7 | 1001 |
| www.ugreen.com | 200 | https://www.ugreen.com/sitemap.xml | 200 | 199 | 64 |
| colourpop.com | 200 | https://colourpop.com/sitemap.xml | 200 | 7 | 995 |
| drinktrade.com | 200 | https://www.drinktrade.com/sitemap.xml | 200 | 7 | 629 |
| fellowproducts.com | 200 | https://fellowproducts.com/sitemap.xml | 200 | 7 | 1 |
| www.allbirds.com | 200 | https://www.allbirds.com/sitemap.xml | 200 | 8 | 369 |
| www.blackdiamondequipment.com | 200 | https://blackdiamondequipment.com/sitemap.xml | 200 | 13 | 1001 |
| www.brooklinen.com | 200 | https://www.brooklinen.com/sitemap.xml | 200 | 6 | 270 |
| www.cotopaxi.com | 200 | https://www.cotopaxi.com/sitemap.xml | 200 | 6 | 1000 |
| www.darngoodyarn.com | 200 | https://www.darngoodyarn.com/sitemap.xml | 200 | 7 | 765 |
| www.everlane.com | 200 | https://www.everlane.com/sitemap.xml | 200 | 15 | 1000 |
| www.intelligentsiacoffee.com | 200 | https://www.intelligentsia.com/sitemap.xml | 200 | 7 | 188 |
| www.keenfootwear.com | 200 | https://www.keenfootwear.com/sitemap.xml | 200 | 7 | 1001 |
| www.kuiu.com | 200 | https://www.kuiu.com/sitemap.xml | 200 | 7 | 998 |
| www.mvmt.com | 200 | https://mvmt.com/sitemap.xml | 200 | 5 | 461 |
| www.outdoorresearch.com | 200 | https://www.outdoorresearch.com/sitemap.xml | 200 | 11 | 512 |
| www.paragonfitwear.com | 200 | https://www.paragonfitwear.com/sitemap.xml | 200 | 6 | 723 |
| www.taylorstitch.com | 200 | https://www.taylorstitch.com/sitemap.xml | 200 | 9 | 555 |
| www.thirdlove.com | 200 | https://www.thirdlove.com/sitemap.xml | 200 | 7 | 373 |
| www.deathwishcoffee.com | 200 | https://www.deathwishcoffee.com/sitemap.xml | 200 | 6 | 165 |
| www.chubbiesshorts.com | 200 | https://www.chubbiesshorts.com/sitemap.xml | 200 | 2623 | — |
| www.beardbrand.com | 200 | https://www.beardbrand.com/sitemap.xml | 200 | 6 | 67 |
| www.ombraz.com | 200 | — | 200 | 6 | 48 |
| casper.com | 200 | https://casper.com/sitemap.xml | 200 | 6 | 90 |
| kyliecosmetics.com | 200 | https://kyliecosmetics.com/sitemap.xml | 200 | 109 | 256 |
| supergoop.com | 200 | https://supergoop.com/sitemap.xml | 200 | 6 | 92 |
| floydhome.com | 200 | https://floydhome.com/sitemap.xml | 200 | 6 | 127 |
| counterculturecoffee.com | 200 | https://counterculturecoffee.com/sitemap.xml | 200 | 6 | 182 |
| www.tatcha.com | 200 | https://tatcha.com/sitemap.xml | 200 | 6 | 69 |
归属工具:indexability