最近秋招开始，常刷到关于AB实验的一类题型，“如果业务判断某优化对指标有正向影响，但AB实验结果不显著，该怎么分析”。很贴近实际工作的一道题目，之前做DA确实经常碰到这类场景，至于怎么解，我觉得可以参考下面的步骤： 1️⃣先做最基本的业务判断，这个优化，真的能带来指标正向影响吗？ 作为DA，对业务有自己的判断很有必要，甚至是基本素质之一。 很多时候，业务同学因为其视角局限（绝对不是缺点，每个岗位都有自己的局限），甚至为了激进追求某些目标而形成了一些自我欺骗，会天然觉得某个优化就是有效果。但作为数分，我们不能乱，先理清楚，新策略、新功能对指标影响的传导链路和业务逻辑究竟是什么，它们到底是通过影响哪些环节/指标从而影响了最终目标。这个定性判断的结果，一方面决定了是否要继续投入人力分析，另一方面也能为后续的深入分析做好铺垫 2️⃣如果确定了，优化确实应该带来效果，那么接下来就得找原因。 很多新策略和功能，其实并不是直接影响最终目标，反倒是经历了比较长的过程指标传导。举个例子，我想提升用户在内的评论率，方式之一是在评论框内增加一些引导文案，如“爱评论的人运气不会差哦”。这个文案，直接影响的是用户点击评论框的欲望，引导更多用户进入评论框，也即，主要带动评论框曝光点击率提升整体评论率。 📌所以评论率这一指标实验结果不显著，就得先看评论框曝光点击率是否显著变化 3️⃣假设过程指标都没显著变化，就得从实验本身的配置分析原因 如果本来应该有显著结果，但实验结果就是不显著，基本可以认为，是实验组vs对照组差异较小，实验灵敏度（power）不够高所以没侦测出变化。 既然如此，接着找增加灵敏度的方式，比较直接的，也是较常用的，就是增加样本量。增加样本量可以考虑延长时间，或者扩大流量占比，这些方式成本低效果有保障。还有一种方式，是降方差，但这种方法背后涉及到更深奥的数理知识，就我职业生涯的经历看，几乎没用过，不提也罢 4️⃣如果过程指标显著变化了，那只能说明，这个策略的优化效果，略小，小到不足以影响终极指标。 这时候要么进一步优化当前策略/功能，要么进一步优化后续功能环节，放大优化效果