AgentBI电商独立站的agent商业智能平台

返回工具详情

运行 收录与可索引性(零授权替代 index-coverage)

输入域名,用本工具自己的检测器即时抓一次;下面是本次实测字段。

清单判定标准(原文)

以下为 100 项清单原文,本站不据此重新判定;右侧为本次单次抓取的实测值,两者不逐项配对。

清单判定标准(原文) · 4

  • #6 robots.txt 与 sitemap 体检

    是否屏蔽关键资源、sitemap 是否可达/时效、结账与账号页是否误开放

    参考来源:robots.txt 解析器、XML sitemap 校验、Screaming Frog

  • #7 Google / Bing 收录与索引状态

    已收录页数、收录增速、noindex 误伤、Search Console 覆盖率报错

    参考来源:GSC URL Inspection API、Bing Webmaster API、`site:` 检索计数

  • #11 抓取频次异常与站点健康告警

    爬虫报错激增、soft-404、重定向链、服务器响应变慢

    参考来源:GSC Crawl Stats、Ahrefs Site Audit、Semrush Onboarding

  • #34 分页/筛选页/搜索页索引策略

    无限下拉、faceted URL 爆炸、薄聚合页

    参考来源:抓取深度分析、日志文件解析

本次实测

字段实测值
robots_status200
sitemap_declaredhttps://www.allbirds.com/sitemap.xml
sitemap.status200
sitemap.n8
sitemap.indextrue
sitemap.sub_n366
sitemap.lastmod_max2026-11-22
sitemap.subshttps://www.allbirds.com/sitemap_agentic_discovery.xml,https://www.allbirds.com/sitemap_products_1.xml?from=1878193471557&to=7486155325520,https://www.allbirds.com/sitemap_pages_1.xml?from=248230535&to=94637621328,https://www.allbirds.com/sitemap_collections_1.xml?from=423410055&to=274901696592…
home_noindexfalse
home_canonicalhttps://www.allbirds.com/
checked_at2026-11-23

字段来自本工具的 M0 检测脚本(单次抓取),不含跨日变动或判定;出口 server-KR。清单判定标准原文见左侧,本站不重新判定。

完整报告

按清单项聚合:判定标准、通用解释、优化建议与官方参考逐项并列;本次实测值以全量表单列在末尾,两者不逐项配对。本站不据此重新判定,解释与建议也不针对某次实测值下合规结论。

工具 收录与可索引性(零授权替代 index-coverage) · 站点 allbirds.com · 出口 server-KR · 生成 2026-11-22T20:54:06.460Z · 资料版本 2026-11-09 · 清单 4 项

报告在本页生成,含清单项资料与本次实测值;不含历史序列、变动事件与合规判定。

清单项 · 4 项

#6 robots.txt 与 sitemap 体检 · P1

判定标准:是否屏蔽关键资源、sitemap 是否可达/时效、结账与账号页是否误开放

解释

外部 Agent(搜索引擎、购物助手、比价爬虫)到站的第一步是读 robots.txt 与 sitemap。误屏蔽商品页或静态资源会让 Agent 完全看不到商品;sitemap 不可达、过期或 lastmod 不更新,会让新上架商品迟迟不被发现。常见失败:把 /products/ 或 /collections/ 写进 Disallow、结账与账号页误开放、子 sitemap 因分页游标滑动而漂移。

优化建议
  • 逐 agent 检查 Disallow 规则,只屏蔽真正私有的路径;商品页与集合页必须可抓。
  • 在 robots.txt 里声明 Sitemap 的绝对 URL,并用 sitemap index 分片管理大量商品。
  • 让 lastmod 反映页面真实改动时间,而不是每次生成都写当天日期。
  • 每次改模板或路由后,用禁用 JS 的抓取方式复验首页与关键商品页。
官方参考

#7 Google / Bing 收录与索引状态 · P1

判定标准:已收录页数、收录增速、noindex 误伤、Search Console 覆盖率报错

解释

抓取不等于收录。noindex 误伤、canonical 指错、hreflang 互指不全,会让页面被抓了却进不了索引,或索引到错误的地区版本。对 Agent 而言,页面在线但不在索引里等于不存在。常见失败:模板给首页误加 noindex、canonical 指向 staging 域、多语言站只做了单向 hreflang。

优化建议
  • 用 Search Console 的网址检查逐页确认关键页面是「已收录」而非「已抓取但未编入索引」。
  • 核对首页与关键商品页的 canonical 是生产域的绝对 URL,且指向自身。
  • 结账、账号、内部搜索结果页设 noindex,但别误伤分类页与商品列表页。
  • 多语言站补齐双向 hreflang,并让每个地区版本指向对应币种与语言。
官方参考

#11 抓取频次异常与站点健康告警 · P1

判定标准:爬虫报错激增、soft-404、重定向链、服务器响应变慢

解释

抓取错误激增、soft-404、重定向链变长、响应变慢,通常先于流量下滑出现。Agent 遇到 5xx 或超时会放弃本次访问,且不会像浏览器那样主动重试。常见失败:改版产生大量 302 链、下架商品返回 200 空页、促销期源站被爬虫拖慢。

优化建议
  • 监控 5xx 比例与 TTFB 的逐日变化,按同一出口看趋势,不跨出口比绝对值。
  • 下架商品返回 410/404 或 301 到相关品类,别留 200 空壳页。
  • 把重定向链压到 1 跳,消除循环与跨域跳转。
  • 给爬虫单独配置缓存与限流,别让批量抓取拖慢真实下单链路。
官方参考

#34 分页/筛选页/搜索页索引策略 · P2

此条的解释与优化建议属于 Pro,解锁后可见。

本次实测 · 全量字段

字段实测值
robots_status200
sitemap_declaredhttps://www.allbirds.com/sitemap.xml
sitemap.status200
sitemap.n8
sitemap.indextrue
sitemap.sub_n366
sitemap.lastmod_max2026-11-22
sitemap.subshttps://www.allbirds.com/sitemap_agentic_discovery.xml,https://www.allbirds.com/sitemap_products_1.xml?from=1878193471557&to=7486155325520,https://www.allbirds.com/sitemap_pages_1.xml?from=248230535&to=94637621328,https://www.allbirds.com/sitemap_collections_1.xml?from=423410055&to=274901696592…
home_noindexfalse
home_canonicalhttps://www.allbirds.com/
checked_at2026-11-23