转化实验最容易在「看了几天就下结论」上翻车:样本还没攒够、波动还没收敛,单日的提升就可能是噪声。把样本量与判读纪律写在实验开始之前——看哪个指标、攒够多少样本才读、差异多大才算数——能避免事后挑数据解释结果。
做法是实验前固定主指标与分母定义,按预期能检出的差异估一个样本量并写进记录;期间不改口径、不因为 interim 好看就提前宣布成功。涉及支付、下单的动作只在沙盒里验证,不拿真实订单做 A/B;判读时把样本量、起止时间与口径版本一起归档。
本文只讲样本量与判读纪律,不对任何实验结果下合规判定,也不替谁决定上线。实验结论按记录写,差异不明显就写不明显,数字没动照实记,不据此催着加实验或改方向。