终止条件要在推广开始前就写清楚:当试验页相对对照页的核心指标改善低于预设阈值,或核心指标改善但业务指标恶化,或样本量不足以支撑判断时,就停止推广。前提是试验页和对照页必须来自同一类模板、同一流量结构,并且观察窗口覆盖完整的业务周期。如果试验页是首页或高流量落地页,而全站多数页面是低频长尾页,那么试验结论不能直接外推,终止条件应改为先按模板分层再决定是否推广。
推广目标不同,终止条件的性质也不同。第一类是验证型推广:目的是确认某个提速手段在更多页面上是否仍然有效,此时终止条件应围绕“效果是否复现”设置。第二类是收益型推广:提速手段已在试验页被验证,推广是为了拿到全站收益,此时终止条件应围绕“收益是否被稀释或反噬”设置。
验证型推广的终止线可以设得窄一些。例如试验页上LCP中位数从假设的3.2秒降到2.4秒,推广到同模板的前20个页面后,如果其中超过一半页面的LCP改善不足0.3秒,说明该手段对模板的依赖条件没有覆盖全,应停止继续扩大,回到试验页检查差异来源。收益型推广的终止线则应留出波动空间,因为全站聚合指标天然比单页指标平滑,小幅波动不足以触发停止。
判断自己属于哪一类,看一个问题:试验页的结论是否已经能解释“为什么有效”。能解释,按收益型设线;只能观察到“有效但说不清原因”,按验证型设线。
只写“效果不好就停”无法执行。可落地的终止条件需要绑定具体信号,并且每个信号都要写明采集方式和判断窗口。
三个信号中任意一个触发,都应进入暂停而不是直接回滚。暂停后先核对采集口径和流量构成,确认不是数据问题再决定回滚范围。把“暂停”和“回滚”分成两个动作,可以避免因一次采集异常就推翻整个推广批次。
假设某站点对商品列表模板做了图片懒加载与资源优先级调整,试验页LCP改善明显。推广计划分三批:第一批20个同模板页面,第二批扩展到该模板全部页面,第三批扩展到其他含图片列表的模板。
推广前写下终止条件:第一批中,若改善达标页面占比低于60%,暂停并回到试验页复查;若第一批达标但第二批聚合指标改善低于第一批的一半,停止向第三批扩展;任一阶段业务指标连续两个完整观察窗口方向性恶化,暂停并回滚该阶段。
这里的关键不是数字本身,而是每个数字都对应一个动作。达标占比低,动作是复查试验页差异;聚合改善被稀释,动作是停止扩展而非回滚已推广部分;业务指标恶化,动作是暂停加回滚。动作不同,后续排查方向也不同。
最常见的失效情形是:试验页与推广页虽然同模板,但流量来源结构不同。比如试验页流量主要来自站内推荐,推广页流量主要来自搜索落地,两者的设备类型、网络条件和首屏行为差异很大。此时即使模板相同,性能改善也可能无法复现,终止条件会把原因错误地归到提速手段上。
另一种失效情形是观察窗口选在了需求波动期。如果推广期恰好覆盖促销、季节变化或内容更新高峰,性能指标和业务指标都会受外部因素影响。一次改动前后的比较必须考虑季节、搜索需求变化和数据采集差异,否则终止条件可能因为外部波动而误触发,也可能因为外部增益掩盖了真实退化。
还有一种容易被忽略的情况:请求量或抓取量在推广后归零。这不能单独证明提速处理正确,也不能单独证明它有害。采集脚本失效、日志口径调整、页面被合并或跳转,都会产生同样的现象。遇到这类信号,先验证采集链路,再判断是否触发终止。
在推广开始前,把试验页与推广页的模板归属、流量来源、设备分布和观察窗口写进同一份记录,并为每个终止信号指定一个负责人和一个确认动作。推广启动后,先只跑第一批,等第一批的完整观察窗口结束再决定是否进入第二批。如果第一批就触发终止,回到试验页对比两边的资源加载顺序和首屏内容差异,找到使效果不成立的那个条件,再重新设计试验页,而不是直接修改终止阈值。