AgentBI电商独立站的agent商业智能平台

返回知识库

OPT-1

抓取预算与逐 UA 频次规则

发布日期:2026-11-20浏览量:0

抓取预算不是越省越好:对所有 UA 一刀切 Crawl-delay,会把正常比价与导购 Agent 一起拖慢,商品反而更晚被发现。更稳的做法是先按 User-agent 分组观察请求路径,再只对高耗路径设频次,把预算留给真正需要被读的商品页。

规则写在 robots.txt 里要可解释:每组 UA 对应哪些路径、为什么限流、什么时候复查,都记进口径 changelog。改完用禁用 JavaScript 的方式复扫首页与几个关键商品页,确认核心商品没有被误挡在抓取结果之外。

本文只谈抓取可及性与频次配置,不对任何一次实测流量值下合规判定;频率调整属于配置层动作,改动代价低,但正因为容易改,才需要每次留痕、按日期可回溯。

官方参考

2026-11-22