建立数据产品是控制复杂性的关键措施。

2024-05-13

伴随着业务和技术的发展,企业内部与企业之间的沟通变得更加复杂,导致更多的数据来自更多的来源。这一复杂性体现在业务复杂性和技术复杂性。通过使用数据产品,我们可以系统地从数据任务中抽象出这种复杂性,从而为数据客户创造更好的体验,为组织创造更大的价值。


数据,数据无处不在…虽然数据生成速度呈指数级加速,但企业仍在继续采取与十年前相似的策略进行数据管理。虽然很多高管宣传数据驱动组织的优势,但很少有人真正意识到数据“驱动”所需的演变。一般来说,这些高管面临着大量的技术和文化债务,这使得这个过程比重新开始要困难得多。包括:


系统碎片化导致数据孤岛


锁定 API 访问限制较差的供应商


在拥有复杂数据模型和过时技术的遗留系统中锁定。


可变结构化或非结构化数据采用各种技术和格式


不合规且不受监管的数据,基本上没有密钥管理


数据定义不清楚或不清楚,造成混乱。


缺乏质量控制,导致数据质量差,削弱消费者信任。


正如上面所讨论的,这将导致数据客户无法打开他们所需要的数据,然后由此产生。 IT 这些信息由团队交付。不可避免地,来自数据库的海量数据和来自消费者的请求将导致 IT 球队陷入瓶颈,从一开始就注定要失败。此外,70-90% 企业数据仍然“黑暗”。这类信息本来可以用来促进业务成果,但是看不见,也没有使用。


当我们退一步反思和提炼这个问题的本质时,它实际上被归纳为在一个日益数字化的世界里。管理通信的复杂性,这个世界越来越依赖于操作和决策的技术和数据。


科学家和程序员是康威定律 1967 在2008年第一次提出的理论中,它通过指出“设计系统的组织必须创建这些组织通信结构副本的设计”来突出这一点。


简而言之,组织产出与其内部沟通方式密切相关


随着时间的推移,通信复杂性的考验只会变得更加明显,因为角色的专业化和内部管理和相互通信系统的快速增加。以下是我们如何走到这一步的简要描述。



为了理解数据产品的价值,我们应该更好地理解这种复杂性的本质。所以,我会选择。业务技术复杂的概念。


业务复杂性→ 问题领域固有的复杂性。这是由于需要解决的问题造成的,没有什么能完全消除它。包括:


过程复杂性(事情完成方式)-考虑程序顺序、业务规则等。


语义复杂性(赋予事物意义)-同一事物的不同名称或不同事物的相同名称。


控制复杂性(政府要求公司承担责任)-考虑 GDPR、HIPAA、SOX 等合规性。


突如其来的复杂性(以上 3 一个变化的速度有多快)-在技术和结构的背景下考虑上述问题。


技术复杂性→这是因为我们选择了解决问题的方法。通过更好的工程设计,这种复杂性可以不断完善。


数据库(数据在哪里)-在当地或云端,这个表或那个表。


数据处理(为什么有这么多格式)-数据重复和不一致。


管路复杂性(什么是黑匣子)-嵌入大量一次性数据管中无法理解的数据规则。


结构复杂性(无标准模式)-导致治理复杂性和成本膨胀。


解决方法..数据产品(实用数据)


商品管理领域为我们通过实用过程克服复杂性提供了一套强大的工具和流程。这意味着我们可以系统地从数据任务中抽象出来。业务技术复杂性,为数据客户创造更高价值的感觉。简而言之:


通过抽象表示,数据产品缩小了专业知识与数据的差距,从而减少了专业知识与数据的差距。本质的复杂性。减少这一差距可以缩小现实(业务)与其表示(数据)之间的反馈循环。反馈循环越紧密,越接近现实。这将为操作提供更高质量的数据,为更好的决策提供更高保真度的现实模型。


通过实施标准化的数据管理方法,数据产品可以减少意外的复杂性,从而节省时间和金钱。管理数据的技术复杂性每年都变得更容易,比如使用数据目录、可器重平台部件、简化处理工具等。


虽然“数据产品”对不同的人有不同的含义,但是所有的数据产品都有相同的含义。 3 个原则:


它们服务于一个角色(特定目标消费者)


他们属于一个人(xyz 数据产品经理)


它们经历了生命周期,就像其它产品一样。


从本质上讲,在保留数据作为现实表达最高保真度的同时,任何数据产品的目标都是提供抽象和复杂的方法。


本文来自微信微信官方账号“数据驱动智能”(ID:Data作者:晓晓,36氪经授权发布,_0101)。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com