阅读文本如何通过指标理解数据驱动?

2024-06-29

数据帮助企业做出更好的决定。不幸的是,大多数公司更擅长收集数据,而不是解读数据。他们声称拥有数据驱动的文化,但事实上,他们严重依赖经验来做出判断。


作为数据科学家,我们应该帮助企业的业务利益相关者理解和解释数据,这样他们才能做出更明智的决定。


数据的影响不是来自于分析或构建的模型,而是来自于协助推广的最终业务成果。这是高级数据科学家和初级数据科学家的主要区别。


根据Rippling来实现这一点。、Meta和Uber将数据转换为可操作观点的经验,并整理出这篇文章供参考。


本文将介绍以下内容:


要跟踪哪些指标:怎样为企业建立收益公式和驱动树。


如何跟踪:如何设置监控并避免常见的陷阱。如何选择合适的时间段,处理季节性,掌握群聊数据等等。


提取看法:怎样通过结构化和可重复的方式来识别问题和机会。最常见的趋势类型,以及如何理解它们。



这听起来很简单,但是细节决定了成败,让我们一一深入研究。


第一部分:要跟踪哪些指标?


第一,要弄清楚应该跟踪和分析哪些指标。要想最大限度地发挥知名度,就必须关注那些真正促进收入增长的指标。


从高级收益公式开始(例如,对于基于广告的业务,公式是“收益=显示频率”*CPM/1000”),然后进一步细分每一个部分,找出隐藏的驱动因素。根据企业的业务类型,准确的收益公式。


为了进行端到端调查,生成的驱动树(导出在顶部,输入在底部)将显示业务结果的驱动因素和需要构建哪些仪表板。


示例:下面是基于广告的B2C产品(部分)驱动树:


理解领先指标和滞后指标


收益公式可能会使投资看起来立即转化为产出,但事实并非如此。


最明显的例子就是营销和销售漏斗:他们把潜在用户转化为合格的机会,最终完成交易。根据业务和客户类型,这可能需要几个月的时间。


也就是说,如果你正在检查收入等结果指标,你通常会检查几个星期或几个月前采取的行动的结果。


按照经验法则,在驱动树上越往下走,指标的领先指标就越多;在驱动树上越往上走,处理的滞后指标就越多。


量化滞后


为了了解所处理的滞后程度,值得查看历史转换窗口。


通过这种方式,将能够更好地进行。反向工作(一旦发现收入波动,就会知道要追溯到多久才能找到原因)和进行前瞻性预测(看到新措施的影响需要多长时间)。


按经验,制定经验规则(新客户平均需要一天或一个月才能活跃起来)80%-90%的价值将被带来。,所以不需要过度设计。


第二部分:设置监控并避免常见的陷阱


所以你有你的驱动树;你怎样利用它来监控业务绩效,并为利益相关者提取意见?


步骤一是设置仪表板来监控关键指标。


选择合适的时间段,为每个指标选择合适的时间段


虽然你想尽快了解趋势,但是要小心,不要陷入查看过于详细的数据,试图从大多数噪音中得到意见的陷阱。


考虑你所衡量的活动的时间范围还有能不能按数据付诸行动


对Uber这样的B2C市场来说,实时动态非常有用,因为1)交易的生命周期很短(Uber乘车通常要求、接受和完成不到一小时)和2)因为Uber有立即响应的工具。(例如峰值定价,激励机制,司机通讯)。


相比之下,由于交易周期较长,B2BSaaS业务中的日销售数据将非常嘈杂,可执行性较差。


你也应该考虑到指标的设定。目标时间段。假如你的合作伙伴团队有月度目标,那么这些指标的默认视图应该是月度。


可是:月度指标(甚至更长时间)的主要问题是,只有少数数据点可以使用,更新性能视图必须等待很长时间。


一种折衷方案是在滚动平均值的基础上绘制指标:通过这种方式,你可以了解最新的趋势,但是通过平滑的数据去除很多噪音。


示例:通过查看左边的月度数,我们可能会得出结论,我们有能力实现4月份的目标;但是,通过查看30天的滚动平均值,我们注意到收入产出急剧下降(我们应该尽快深入研究这个问题)。


2.设置标准


要想从指标中获得意见,就必须把数字放在前后文中。


最为简单的方法是随时间而行。推进指标基准测试:指标是在改进还是在恶化?当然,如果你知道指标的确切程度,那就更好了。


假如这个指标已经设定了正式目标,那很好。但即使没有,仍然可以通过推导隐含目标判断自己是否走上了正轨。


示例:假定营销团队每月都有配额,但是他们并没有为了达到配额而生成多少渠道来设定正式目标。


在这种情况下,可以查看开放渠道与配额的历史比例(“渠道覆盖率”),并将其作为标准使用。请注意:通过这种方式,隐含的假设业绩将保持稳定(在这种情况下,团队正以稳定的速度将渠道转化为利润)。


考虑季节性


在几乎所有的业务中,为了正确解释数据,需要考虑季节性。也就是说,检查的指标是否有重复一天/一周/一月的时间/日历月的方法?


示例:查看B2B 新ARR在SaaS业务中的月度趋势:


假如你在7月和8月通过这个简单的条形图来检查新ARR的下降情况,你可能会感到震惊,并开始进行深入调查。


但是,如果把每年的数据一起画出来,就能找到季节性的方法,意识到每年夏天都会有淡季。你可以预测9月份的业务会再次复苏:


但是季节性不一定是一个月一次;也许是某些工作日的表现比较强或者比较弱,或者一般都会看到月底业务回升。


示例:假设你想看看这个月(4月)营销团队的表现。这是本月第15个工作日,目前收入2.6万美元,目标是5万美元。如果忽略了季节性因素,团队似乎会错过这个机会,因为你只剩下6个工作日了。


不过,你知道团队通常在月底完成很多交易。


在这种情况下,我们可以绘制累计销售额,并与前几个月进行比较,以了解方法。这让我们看到,因为轨迹不是线性的,所以这个月我们实际上处于一个稳定的位置。


处理“过程”指标


在对指标进行分析时,最常见的一个陷阱就是检查那些没有足够时间“烘焙”就能达到最终值的数字。


下面是一些最常见的例子:


顾客获取渠道:您正在测量从流量到注册再到激活的转化率;您不知道最近注册的客户中有多少将在未来转换。


销售漏斗:您的平均交易周期持续数月,您不清楚最近几个月未达成的交易中有多少仍将完成。


留存率:您希望了解特定用户群对您业务的保留情况


最近的人群表现似乎比具体情况更糟糕,因为数据还不完整,所以在所有这些前提下。


假如你不想等,通常有三种方法可以解决这个问题:


选项1:按照时间段划分指标


最直接的方法是按时间段划分总结指标(如第一周转化率、第二周转化率等。).这样,你就可以在比较同类的同时有一个初始读数,避免对老年人产生偏见。


接下来,你可以在群聊热图中显示结果。下面是从注册到首次交易的跟踪获取渠道的例子:


通过这种方式,你可以看到,从同类的比较来看,我们的转化率越来越差(我们的CVR在第一周从20%下降到最近几批的15%左右)。如果我们只看总转化率(最后一列),就无法区分实际下降和不完整的数据。


选项2:改变指标定义


在某些情况下,你可以改变测量的定义,以防止查看不完整的数据。


例如,你可以在3月份的交易中查看成功和失败的交易数量,而不是在3月份的交易中查看成功和失败的交易数量。这个数字不会随着时间而变化,你可能需要等几个月才能看到3月份交易的最终表现。


选项3:预测


根据以往的数据,你可以预测一个群聊的最终表现。时间越长,收集的实际数据越多,预测就越接近实际值。


但要小心:预测群聊表现时要小心,因为容易出错。例如,如果你从事B2B业务,获胜率很低,那么一笔交易可能会显著改变群聊的表现。很难准确预测这一点。


第三部分:从数据中提取观点


所有这些信息都很棒,但是我们如何将它们转化为观点呢?


你没有时间定期深入研究每一个指标,所以请优先考虑时间,首先检查最大的差距和变化因素:


哪些球队没有达到目标?您认为哪些球队的表现超出了预期?


哪些指标在下降?哪些趋势正在逆转?


当你选择了一种感兴趣的趋势时,你需要深入研究,找出根本原因,这样你的商业伙伴就能提出有目的的解决方案。


为了为深入研究提供结构,我将介绍你将遇到的指标趋势的关键原型,并根据现实生活中的经验为每一个原型提供切实可行的例子。


网络中立运动


如果您看到某一指标发生了强烈的变化,请首先往上查看驱动因素树,然后往下看。这样,你就可以看到这个数字是否真的影响了你和你的团队最后的关注;如果没有,找到根本原因就没那么紧迫了。


示例情景:如上图所示,您可以看到网站上的访问量大大降低了注册转化率。你没有惊慌,而是检查了总注册人数,发现这个数字保持稳定。


结果表明,平均转化率的下降是由于网站质量低下导致的流量急剧增加;而且“核心”流量的性能没有改变。


分母和分子


当比例指标(每个活跃用户的显示频率、每个拼车司机的行程频率等)发生变化时。),首先检查分子和分母是否发生了变化。


人们常常认为分子发生了变化,因为这通常是我们试图在短时间内提高的参与或生产力指标。然而,在许多情况下,情况并非如此。


示例包含:


由于团队刚刚招募了一批新员工,所以你可以看到每个销售代表的销售线索都在下降,而不是因为你有生成问题的需求。


优步司机每小时出行频率的下降并不是因为乘客对汽车的要求下降,而是因为团队增强了激励机制,网上司机增加了。


独立或集中的趋势


许多指标趋势都是由商品或业务的特定部分发生的事情所驱动,整个数字并不能说明整个情况。


一般诊断独立指标的根本原因如下:


步骤1:在独立趋势或不能进一步细分指标之前,继续分解指标。


与数学中的每一个数字相似,它可以分解成一组素数,每一个测量都可以进一步分解,直到达到基本输入。


通过这种方式,你可以将问题隔离到驱动软件树的特定部分,这样你就可以更容易地找出发生了什么,并做出适当的反应。


第2步:对相关趋势进行细分数据分离


通过细分,你可以确定业务的某个特定领域是否是罪魁祸首。通过以下几个方面的细分,你应该能够发现90%以上的问题:


地理学(地区/我国/城市)


时间(一月的时间,一周的日子等等)


商品(InstagramFeed和Reels等不同的SKU和产品界面)


顾客或顾客的人口数据信息(年龄、性别等)


个人实体/参与者(如销售代表、商家、客户)


让我们来看一个具体的例子:


假设你在麦当劳工作,你会发现波士顿的配送数量逐周减少。与其集思广益促进需求或提高配送完成率,不如努力找出问题,制定更有针对性的解决方案。


步骤一是分解“已完成交付”指标:


根据这种驱动因素树,我们可以排除需求者。相反,我们发现最近很难找到司机来接受订单(而不是餐馆<>快递员交接或食品交付中的问题)。


最后,我们会检查这是否是一个常见的问题。在这种情况下,最有希望的减少措施是检查其位置、时间和业务。根据商家的数据,这个问题很常见,影响了很多餐厅,不利于我们缩小范围。


但是,当我们为“找不到快递员的送货请求”这一指标创建时间和地理热图时,我们发现郊区在夜间受到的影响最大:



这些信息我们该怎么处理?我们可以准确地指出问题,这样我们就可以在这些时间和地点安排有目的的快递员招聘工作和激励机制,而不是在整个地区进行不必要的宣传。


也就是说,隔离的根本原因可以使我们更有效地部署资源。


其它集中趋势示例,你可能会遇到:


网络游戏中的大部分游戏都是由少数“鲸鱼”玩家购买的(所以团队需要把保留和工作要点放在这些玩家身上)


大部分升级到工程部门的支持表都是由少数支持代表引起的(经过培训,为公司释放工程师时间提供了有目的的杠杆)。


4.混和转变


混合改变和改变是诊断性能中最常见的混合来源之一。辛普森谬论。


混合变化只是整个人口构成的变化。辛普森谬论描述了一种违背直觉的效果,即当你查看子成分时,你在整个人口中看到的趋势会消失或逆转(相反)。


实际情况如何?


假设你在YouTube工作(或者其他公司做广告)。你发现收入在下降。经过深入研究数据,你发现CPM已经下降了一段时间。


CPM作为一个指标无法进一步分解,所以你开始细分数据,但是很难确定根本原因。例如,所有地区的CPM看起来都很稳定:



这就是组合变革和辛普森谬论出现的地方:每个地区的CPM都没有变化,但是如果你看看每个地区的显示组件,你会发现组合正在从美国转移到亚太地区。


由于亚太地区的CPM低于美国,整体CPM正在下降。



同样,理解准确性的主要原因可以做出更有针对性的反应。根据这些信息,团队可以尝试再次激发高CPM地区的增长,考虑为亚太地区提供额外的利润选择,或者致力于通过在庞大的亚太市场上大幅增加展示量来弥补单一展示价值的降低。


最后的想法


请记住,数据本身是没有价值的。一旦用它为用户或内部利益相关者提供意见或建议,它就会变得有意义。通过遵循结构化框架,您可以可靠地识别数据中的相关趋势,并遵循上述提醒,您可以识别信号和噪音,以避免错误的观点。


本文来自微信微信官方账号“数据驱动智能”(ID:Data作者:晓晓,36氪经授权发布,_0101)。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com