是真的。。。 起因是，最近在合作中，有业务同学想论证我们做的某个策略对目标用户有效果，是怎么论证的呢？对比体验策略的vs没体验过的。。。 相信我讲到这里，干没干过数据分析师的都会先一愣神，然后会心一笑，“看，没我们数据分析师，还是不行吧。。。” 就这么论证效果，要是效果“正向”，或者说，效果符合自己的预期，老板为了给自己的老板画饼，可能还会选择睁一只眼闭一只眼，被自愿地、勉为其难地接受；但要是不正向，他只会告诉你，“你这么论证，方法不对呀！” 怎么说，都是他/她的道理，活像个油腻的中年渣男 所以到底怎么评估策略对目标用户有效果呢，按照我之前的经验，可以有如下几种： 1️⃣AB实验，这是最常见的方式。没有什么比随机分流后看策略对实验组的指标提升，来得更科学严谨了，1就是1，2就是2，没有人敢challenge。但是实际工作中，很多策略为了快速上线、或者因为业务性质原因，不得不直接在部分用户、部分城市、部分国家全量上线，无法做AB，所以这就引出了第二种方法 2️⃣AA对比，对比上线前后同一群体的核心指标变化表现。不推荐，毕竟这中间还有其他因素影响，但起码强过被影响人群vs未被影响人群的乱比较 3️⃣虚拟AB（它好像有专业名字，但我忘记了）。简单说，就是找到和被策略影响用户比较相似的群体，构建个虚拟对照组，看核心指标的变化。在实际的操作中，为了高效，可能会直接按照用户物理特征（如城市、性别等）和某些不会被策略影响的指标表现作为选择相似群体的标准，更严谨一些，可以用诸如psm等方法 总而言之，总有人质疑DA存在的意义，可当我转做PM，开始跟更多业务同学合作后，在很多场景下，我都希望能有个专业点儿的数分出来，给业务确定好合理的业务评估体系，帮助业务梳理清楚指标优化思路，更要紧的是，做好最起码的策略效果判断，不然每次听这类分析，老让我觉得是指鹿为马、国王的新衣 另外，轻易别自诩懂数据分析，好多人所谓懂数据分析，就只是会写SQL取数、会调python包，这可不叫数据分析，这叫写代码，这叫算数。 当然，有时候老板愿意认某个结论，也OK，毕竟工作嘛，结果正义远大于程序正义，职场确实是草台班子