新的购物或搜索 Agent 上线后,先观察它到底读哪些路径、是否遵守 robots,再决定要不要单独写规则;上来就为它开特例,往往既没用又添乱。新 UA 的观察与纳入评估,是外部节奏跟踪的落地一步。
做法是记录 UA 标识、首次出现日期、访问的路径范围与是否遵守 robots;按 robots 的分段规则核对它在哪一段,若其行为与既有规则一致就不必新增声明,确需区分再用独立 User-agent 段写明。观察只积累事实,不据单次访问下结论。
本文不对任何 Agent 的意图做判定,也不据观察翻方向。