编辑导语:“分析一下,为什么今天的日活突然下降了?”这是数据分析面试的高频题,考察的是应聘者的分析问题、验证猜想、结果呈现等一系列能力。本篇作者就对此问题,结合自己的思考理解,给我们总结了如何看数据、做拆分和做假设,一起来看一下。
一、框架
分析流程总体可以归纳为三步:看数据、做拆分、做假设。
1. “看数据”,看数据本身及其变化是否存在问题
由于指标的波动可以分为正常的和异常的,按照持续时间又可以分为暂时性波动、周期性波动和持续性波动,所以要先明确这个波动是不是真的是异常的,可以和产品、运营、研发、运维等多方确认数据的真实性,然后观察数据波动持续了多久,判断波动程度是否是在合理的范围之内,比起昨天和上周,同比环比分别变化了多少等等。
这一步可能发现的原因大致有:服务器异常、后台统计出错、报表数据异常、指标计算口径不一致等,也可能是外部的恶意行为造成的,需要根据后续步骤再仔细排查。
2.“做拆分”,将指标和业务流程多维度拆解,缩小排查范围
这一步要注意“辛普森悖论”,即在某些情况下,分析数据整体和分析数据的各个部分会得到相反的结论。
1)从指标上拆:一个指标一般可以由其他指标计算得到,指标的波动是若干个因素共同作用的结果。要想缩小问题的排查范围,可以在原始指标下尽量细分,不断地由粗到细拆解,找出可能影响指标波动的所有因素,得到一个类似树的结构。比如“DAU=新用户+老用户留存+流失用户回流”,新用户有来源渠道,老用户有留存渠道,流失用户有自然回流和干预回流,而用户共同的因素又有软件版本、地区、设备、活跃时间段等等。
另外,拆分不只是用加法,还需要针对具体指标做拆分,比如一些复合指标:“GMV=新用户x转化率x新用户客单价+老用户x转化率x老用户客单价”。
2)从业务流程上拆:一个用户从注册到进入首页再到流失或留存的整个过程,其中的任意一步都有可能会是指标下降的“罪魁祸首”。比如说,当一个新用户第一次进入首页时,发现首页推荐的内容并非他所喜欢的甚至是反感的,反手来一个卸载,这种因为推荐内容质量而导致的用户流失,锅就甩在推荐系统工程师的冷启动没做好上了。
不止是这些“表面上”的因素,还有很多其他因素可以加入进来,它们大体上可以归纳为内因和外因两类,内因往往和用户、产品、运营和内容质量相关,外因则可能和政治、经济、法律、竞品的出现甚至疫情的爆发有关,外因可以从宏观上做PEST分析。
往往在分析之前需要先判断指标波动的情况,一般来说,短期变化找内因,长期异动找外因。比如向外考虑国家是否有重大政策发布,向内考虑是否产品本身有问题,是否用户需求发生了转移,在数据上则需要关注数据指标的起点、拐点和终点。
举个最近的例子就是,最近在线学科教育产品的日活为什么下降了?因素就很有可能是最近国家发布了双减政策,自国家发布消息的那一天起,指标数据开始下跌。
除了使用拆分的方法外,还可以结合相关性分析的方法,思考目标指标与另外一个因素是否相关联。
第二步可以总结成几个问句来辅助思考:指标构成是什么?业务流程是什么?是否有外部因素的影响?相关因素有哪些?有注意辛普森悖论吗?
3.“做假设”,假设某因素就是原因,做实验去验证假设
第三步与第二步是紧密结合的,往往是先从理论上和经验上去分析,得到各种假设,再通过实验验证提出的假设,相当于前面提到的“树”,给它的各条分支路径做剪枝操作,一定要具体问题具体分析,具体措施就是做AB实验。
由于真实场景下存在许多的变量,可能是产品迭代、运营策略改变,或者线上有另一个AB实验在做,都会导致最终结果存在差异,所以不同情况下的验证会有不同的解决方案。
要验证一些可复现的问题或可实施的想法时,如果时间充裕就可以通过AB实验来做,其他情况则可以通过业务经验快速缩小验证范围,用业务指标拆分或相关分析来辅助排查问题,最终锁定一个或多个有意义的结果。
需要注意的是,对于部分能稳定重现的问题来说是可以用AB实验来验证的,还有很多问题是不能稳定重现的,就需要另外思考解决方案了,例如某天发现有大量新增的用户,但是都是脚本模拟的假用户,这时就需要根据当天的用户行为记录,如ip地址与设备标识等已经产生的现有日志进行深入挖掘了。
二、总结
最后,把前述梳理的思维框架总结成一个思维导图,当遇到要分析指标数据变动的问题时可以作为一个参考。
参考
数据指标出现异常波动时,你该如何进行异常分析呢?
猴子《数据分析思维:分析方法和业务知识》。
本文由 @方塘 原创发布于人人都是产品经理,未经许可,禁止转载
题图来自Unsplash,基于CC0协议