AgentBI电商独立站的agent商业智能平台

返回知识库

清单 #6 · P1

robots.txt 与 sitemap 体检

分类:抓取与收录

判定标准

是否屏蔽关键资源、sitemap 是否可达/时效、结账与账号页是否误开放

参考资料

以下为针对本清单项的通用解释与优化建议,不针对单次实测值下合规判定;外部链接指向官方规范。

解释

外部 Agent(搜索引擎、购物助手、比价爬虫)到站的第一步是读 robots.txt 与 sitemap。误屏蔽商品页或静态资源会让 Agent 完全看不到商品;sitemap 不可达、过期或 lastmod 不更新,会让新上架商品迟迟不被发现。常见失败:把 /products/ 或 /collections/ 写进 Disallow、结账与账号页误开放、子 sitemap 因分页游标滑动而漂移。

优化建议

官方参考

实测示例

以下为 30 个真实独立站的单次抓取实测值,逐站并列;本站不汇总、不判定、不补值。— 表示该字段本次未取到。

数据出口 server-KR · 2026-11-09 · 30 站(单日横截面)

站点robots_statussitemap_declaredsitemap.statussitemap.nsitemap.sub_n
www.dreametech.com200https://www.dreametech.com/sitemap.xml2006217
www.songmics.com200https://www.songmics.com/sitemap.xml20071001
www.ugreen.com200https://www.ugreen.com/sitemap.xml20019964
colourpop.com200https://colourpop.com/sitemap.xml2007995
drinktrade.com200https://www.drinktrade.com/sitemap.xml2007629
fellowproducts.com200https://fellowproducts.com/sitemap.xml20071
www.allbirds.com200https://www.allbirds.com/sitemap.xml2008369
www.blackdiamondequipment.com200https://blackdiamondequipment.com/sitemap.xml200131001
www.brooklinen.com200https://www.brooklinen.com/sitemap.xml2006270
www.cotopaxi.com200https://www.cotopaxi.com/sitemap.xml20061000
www.darngoodyarn.com200https://www.darngoodyarn.com/sitemap.xml2007765
www.everlane.com200https://www.everlane.com/sitemap.xml200151000
www.intelligentsiacoffee.com200https://www.intelligentsia.com/sitemap.xml2007188
www.keenfootwear.com200https://www.keenfootwear.com/sitemap.xml20071001
www.kuiu.com200https://www.kuiu.com/sitemap.xml2007998
www.mvmt.com200https://mvmt.com/sitemap.xml2005461
www.outdoorresearch.com200https://www.outdoorresearch.com/sitemap.xml20011512
www.paragonfitwear.com200https://www.paragonfitwear.com/sitemap.xml2006723
www.taylorstitch.com200https://www.taylorstitch.com/sitemap.xml2009555
www.thirdlove.com200https://www.thirdlove.com/sitemap.xml2007373
www.deathwishcoffee.com200https://www.deathwishcoffee.com/sitemap.xml2006165
www.chubbiesshorts.com200https://www.chubbiesshorts.com/sitemap.xml2002623—
www.beardbrand.com200https://www.beardbrand.com/sitemap.xml200667
www.ombraz.com200—200648
casper.com200https://casper.com/sitemap.xml200690
kyliecosmetics.com200https://kyliecosmetics.com/sitemap.xml200109256
supergoop.com200https://supergoop.com/sitemap.xml200692
floydhome.com200https://floydhome.com/sitemap.xml2006127
counterculturecoffee.com200https://counterculturecoffee.com/sitemap.xml2006182
www.tatcha.com200https://tatcha.com/sitemap.xml200669

归属工具:indexability