原标题:袋鼠云数据中台专栏(┅) :浅析数据中台策略与建设实践
袋鼠云技术总监、数据中台事业部副总经理在袋鼠云工作期间,深入了解客户需求负责多个大数據项目的落地实施,如贵州茅台、新华书店、轻松筹、贵州交警等等对于企业应用大数据的痛点具有清晰的了解和丰富的实践经验。
数據中台建设的价值在哪里
数据中台和传统数仓还有数据中心有什么区别?
这几乎是笔者最近被别人问到的最多的问题之所以有这些疑問,其一是不懂的同学真心想了解其二是懂的同学对我们的考验。
数据中台解决数据“存”、“通”、“用”难题
让一切业务数据化,一切数据业务化
具体而说数据中台并不是一个跨时代的全新理念,就好比笔者当年学习SOA一样发现其实质还是组件化,模块化是设計模式与业务端的应用。数据中台建设的基础还是数据仓库和数据中心并且在数仓模型的设计上也是一脉传承,之所以我们现在处处推崇数据中台建设及应用一个是因为数据中台确实有过人之处,另一个是这套模型在阿里体现了巨大的应用价值
首先先总结一下数据中囼策略中的几个过人之处。
第一:数据汇聚承上启下。
数据中台策略的基本理念是将所有的数据汇聚到数据中台,以后的每个数据应鼡(无论是指标和分析类的还是画像类和大数据类的)统统从数据中台获取数据,如果数据中台没有那么数据中台就负责把数据找来,如果数据中台找不来就说明当前真没有这个数据,数据应用也就无从展开
按照这种模式,如果企业中数据应用数量大于3-5个那么数據中台将整体上节约30%的成本,随着数据应用的增长这样节约的成本还会更大。传统的数据仓库和数据中心如果做得比较好,设计到位嘚话也会做完整的数据模型设计,但是往往偏重于设计和技术在执行的过程中,很难保障数据的全也很难保证数据应用不跨过数据Φ心,重新做数据的话那么后期数据则会比较混乱。
相对而言数据中台策略中更加强调数据的“全”以及数据中台组织与数据应用组織之间的协作关系,从设计、组织、建设、流程角度保障了模式的落地
第二:纵观大局,推动全局
数据业务在企业中应当是一个完整业務是一个亟需提高定位的业务,是企业的战略业务
所以数据中台策略应当对应企业的数据战略,并提供更有力的支撑而不是仅仅停留在把数据找到,把数据清洗把数据算出来。
所以构建数据中台建设,需要详实了解企业的数据情况数据需求以及构建数据业务的嶊动蓝图。
上述内容应当通过相互衔接的七个数据服务进行完整的构建以及推动
袋鼠云数据中台七大数据服务
盘点数据资源、规划数据資源、获取数据资源,并将所有数据资源进行完整呈现;
从基础数据、业务数据、大数据视角综合分析当前的数据质量问题;
- 基于中台策畧的数据整体建模与数据资产管理
企业可根据数据资源规划报告指导后续数据治理和数据资产管理平台的建设最终服务于企业数据应用場景。
对用户、产品、客商、营销各主题域进行标签提取将其特征数字化,为后续进行精准 营销和用户画像提供必要条件
- 数据指标体系梳理及计算(BI)
构建企业标签体系,着重分析当前需要但是无法获取到的指标描述使用不便的指标,分析问题原因绘制数据供应链條;
- 数据应用规划及实现(DI)
基于当前外部数据、IOT数据、非结构和半结构化数据进行大数据应用的规划,并论证实现过程和进行成本评估一旦评估通过可以帮助企业进行大数据应用的完整开发和落地。
数据可视化大屏讲述数据背后的价值。在最短的时间内用最具冲击力嘚视觉语言将企业最重要的数据/信息传递给最重要的人。
袋鼠云数据中台七大数据服务
通过上述服务内容希望将企业数据资源情况完整展现,数据问题展现数据资产情况展现,数据需求展现(传统数据分析方面、大数据应用方面)从而绘制一张完整的数据供应链地图最终利用这张地图,辅助数据业务推进
第三:技术升级、应用便捷
大数据平台在很长一段时间,甚至直至现在都还是以开源产品为主鋶的状况开源产品使用费力,配置繁琐导致大数据开发门槛高,数据应用受到严重阻碍甚至在很多地方一直把大数据技术平台和传統的数仓做区别对待,认为大数据产品的特点是流式计算和处理非结构化数据
其实大数据产品如果能够降低使用门槛的话,会迅速替代傳统数仓的技术产品传统数仓无论在海量数据处理能力,节点扩展能力实时计算能力,软件购买和维护成本等诸多方面都无法与当前嘚大数据平台进行抗衡
目前业内比较典型的就是阿里云数加平台,数加平台基本让数据开发者能够像使用传统数据库一样的使用大数据岼台了所有操作方式都是通过可视化界面进行,大部分的开发都是通过SQL语句来实现当笔者使用数加产品时,总是回想起第一次使用java IDE(JBuild、Eclipse) 产品时的感受
袋鼠云数据中台产品(数栈)客观的说则是一款轻量化的,可私有部署的类数加产品用以解决基于私有云的大数据岼台的管理和开发问题。
数据中台产品在与数加产品功能对比上不分伯仲同时又基于私有云大数据应用的特点定制开发了诸多功能以及數据治理模块用以推动企业整体数据化进程。
袋鼠云数据中台建设与策略已经脱离了一个单纯的产品概念范畴更多的是关注于企业的整體数据化建设工作,希望通过数栈产品和七大数据服务贴身参与用户全方位与全过程的数据化建设同时我们期待这样的数据化建设应当昰高效率,高应用价值和低成本的
《袋鼠云数据中台专栏》
企业的发展,往往伴随着业务更多元化而与此同时企业在积极推进业务数據化,因此越来越多的企业伴随着各个垂直业务的发展形成了一个个垂直的数据中心,如何打通这些数据并且以统一的标准进行建设鉯达到技术降本、应用提效、业务赋能的目标,是众多企业面临的问题
阿里巴巴提出的数据中台模式正是为解决这些问题而生,并通过實践形成了统一全域数据体系实现了计算存储累计过亿的成本降低、响应业务效率多倍提升、为业务快速创新提供坚实保障。
中台首先昰一种战略选择一种组织形式,其次才是一些有形的产品支撑和实施的方法论
袋鼠云核心团队曾参与阿里中台体系构建、实现,对阿裏巴巴数据中台思想有着最深刻的理解对数据中台技术有着深厚的积淀。
作为阿里云数加平台金牌合作伙伴、阿里云生态技术先锋(ITP)袋鼠云有责任肩负起数据中台思想传播和技术应用探讨的使命,和更多企业客户一起挖掘数据价值让数据产生价值,让未来变成现在
《袋鼠云数据中台专栏》
从本周开始,“数据中台专栏”将每周持续更新
本专栏系由袋鼠云数据中台解决方案部门的众多资深业务架構师一起协力完成,敬请期待!