清单 #11 · P1
抓取频次异常与站点健康告警
分类:抓取与收录
判定标准
爬虫报错激增、soft-404、重定向链、服务器响应变慢
参考资料
以下为针对本清单项的通用解释与优化建议,不针对单次实测值下合规判定;外部链接指向官方规范。
解释
抓取错误激增、soft-404、重定向链变长、响应变慢,通常先于流量下滑出现。Agent 遇到 5xx 或超时会放弃本次访问,且不会像浏览器那样主动重试。常见失败:改版产生大量 302 链、下架商品返回 200 空页、促销期源站被爬虫拖慢。
优化建议
- 监控 5xx 比例与 TTFB 的逐日变化,按同一出口看趋势,不跨出口比绝对值。
- 下架商品返回 410/404 或 301 到相关品类,别留 200 空壳页。
- 把重定向链压到 1 跳,消除循环与跨域跳转。
- 给爬虫单独配置缓存与限流,别让批量抓取拖慢真实下单链路。
官方参考
归属工具:indexability