什么数据产品包含在数据中台?

2024-04-21

数据中台在企业数字化转型中的价值


1. 数据整合与管理:数据中心可以整合和管理公司内外的数据,形成统一的数据平台。这将有助于消除数据孤岛,提高数据质量和一致性,为企业的决策和运营提供全面准确的数据支持。


2. 数据服务:数据中台以服务的形式向业务部门提供数据,使得数据更容易获取和使用。这降低了业务部门使用数据的门槛,提高了数据的利用率和价值。


3. 数据驱动决策:通过数据中心,企业可以更方便地分析和挖掘数据,发现数据中的规律和趋势,为企业的决策提供数据支持。这有助于提高企业的决策效率和准确性,降低决策风险。


4. 促进商业创新:数据中心为企业提供了大量的数据和强大的数据处理能力,帮助企业发现新的商机和创新点,促进企业的业务创新和发展。


数据中台需要包含的核心模块


1. 数据仓库:为企业存储和管理大量数据,提供高效的数据统计和分析功能。


2. 数据湖:一种大型、集中式存储库,可以存储所有随机规模的结构化和非结构化数据。


3. 数据集成工具:用来整合和清洁不同来源的数据,确保数据的真实性和一致性。


4. 资料分析工具:提供可视化的数据分析功能,帮助用户发现数据中的规律和趋势。


5. 资料挖掘工具:深入挖掘算法和模型数据,发现数据中的潜在价值和相关性。


6. 资料服务平台:以服务的形式向业务部门提供数据,包括API数据、数据统计、数据推送等功能。


第三,数据中台产品架构



图表:网易数据中台产品矩阵


数据台的目的是:效率、成本、复用、业务数据化、数据资产化、资产业务化。降低获取和维护业务创新过程所需数据的成本,使数据分析和大数据人工智能技术更加快捷。很多文章会说,数据中台输出是API,API就是服务,但是一个API要更快更高效的导出,要看数据同步、数据清理加工、资产沉淀等多个运行阶段。桶效应,任何部分都有缺点,整体效率不会高。所以,我把数据中台的产品架构分成五层:


数据服务层:基于数据资产、平台工具输出分析服务、数据统计服务、可视化服务、标签、算法服务等。


资产层:包括资产建设、资产管理、资产盘点等数仓模型。


数据处理层:基于领域模型进行ETL的过程,包括R&D、调度、运输、运营和维护批次和流动数据。


数据集成层:数据进入湖泊的第一步,将不同数据库的数据同步到统一的数据仓库或数据湖泊。


基础设施层:底层是大数据集群服务,包括存储、计算、资源调度和Hadoop生态系统的各部件管理。


四是数据中台常用数据产品


1.数据收集


定位:提供企业内外数据收集解决方案,为大数据分析应用提供原始数据支持。这是公司的“数据石油”。没有数据,大数据就是无源之水。


商品模块:埋点解决方案&埋点管理平台、爬虫系统、数据填报系统


2.部件管理


定位:大数据部件管理平台,以配置化的流程取代人肉命令行操作、运维大数据集群及各部件。


商品模块:云平台,HDFS管理,Kafka管理,Hbase管理,ES管理,


3.开发套件


定位:实用、自动数据采集、同步、加工到应用过程中,提高数据开发效率,降低开发成本,缩短业务创新数据需求周期。


商品模块:数据集成,离线开发平台,即时开发平台,智能运维平台,机器学习平台


4.数据资产


定位:沉淀数据资产,公开资产目录,帮助信息共享,并根据数据审计规则对数据质量进行监控,从源头上保证数据的准确性和高可用性,统一权限控制,确保数据安全。


商品模块:资产管理中心,数据地图,数据血缘,指标系统,数据质量监控,模型建设平台,资产管理中心


5.数据治理


定位:对低效率或无价值的数据和任务进行处理,释放存储&计算资源,实现对数据资产成本的精细化管理。


商品模块:成本优化中心,数据安全中心


6.分析应用


定位:汇集和管理跨域数据以实用的方式包装数据能力,将数据应用于业务决策、产品优化、精细化运营等环节,挖掘数据价值,赋能业务。


商品模块


资料分析:Adhoc查询,用户行为分析系统,自助分析,敏捷BI、数据可视化平台,智能分析平台


智能商品:智能推荐,用户画像和精准营销平台


7.数据服务


定位:基于数据中台思想,API服务可以快速导出数据,同时具有服务监控和管理水平。


商品模块:API服务平台,推荐平台,智能预警&数据订阅(从人数到人数)


8.通用功能


定位:抽象各种数据产品的通用模块,提供统一的服务水平,减少各种商品的重复建设,降低开发成本


商品模块:工单系统,信息中心,帮助中心,统一权限,商品导航,需求中心


四、总结


对于数据中台商品,每个公司都在做很多类似的事情。作为数据产品经理,你目前在哪个产品领域工作?未来职业发展规划应该考虑哪个模块的商品工作?希望这篇文章能启发你。


本文来自微信公众号“数据干饭人”(ID:作者:千冰仪,36氪经授权发布,zhuangxiu1314)。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com