轻量级数据可视化怎么做中台工具有哪些？

来源：蜘蛛抓取(WebSpider) 时间：2023-06-15 07:56 标签： 数据可视化怎么做
ETL数据集成平台可实现多种异构数据源之间通过平台快速进行数据交换，RestCloud ETL数据集成平台集数据抽取、转换、清洗、脱敏、加载等功能于一体的一站式数据处理平台，帮助企业快速构建数据集成平台，同时通过叠加API服务平台即可快速落地构建一个轻量级的数据中台，平台通过可视化的拖、拉、拽即可完成数据集成流程的构建。专为解决大型企业的复杂数据集成场景而研发。一、ETL数据集成平台优势1、通过容器化技术RestCloud ETL支持大规模的分布式部署架构；2、可以根据资源利用率实现动态的弹性伸缩实现上万流程的同时调度与并发运行；3、支持跨集团公司的数据传输与共享发布，协助企业快速构建轻量级数据中台等场景；4、可以实时接入物联网、Kafka等的实时数据流并进行实时运算处理后存入企业的实时数仓中；5、支持完整的跨数据库事务控制，支持批流一体化处理，大幅提升数据的采集和同步时间。二、ETL数据集成平台功能特点1、完整的数据库事务控制2、数据处理组件多达80+3、支持直接对外提供数据服务接口；4、大数据量,断点续传支持；5、批量传送、自动建表、断点传送；6、无需编码,复杂Excel文件读取入库；7、设备、文件数据实时自动采集；8、血缘关系-自动分析；9、强大的数据质量检测能力；10、支持数据变化实时查看。。。。。。。RestCloud ETL数据集成平台从架构、易用性、传输性能、可视化、功能丰富性等方面均全面超越Kettle等开源ETL工具。通过数据集成平台可以在多个业务系统之间实现复杂的数据分发以及推送，同时也支持跨集团公司的数据传输与共享发布，协助企业快速构建轻量级数据中台等场景。
2020-05-25 16:30
来源:
人人都是产品经理
客户数据平台（CDP）在数字化营销过程中起着核心驱动作用。本文讲述了CDP的定义、架构、用户标签的体系与生产以及CDP的价值，与大家分享！
客户数据平台（CDP）通过打通客户全渠道、全旅程触点数据，形成基于客户全旅程的数据链路；通过数据建模实现对客户的全方位洞察，并形成用户分层运营的策略，指导运营计划的精准实施。
在什么时间，什么渠道，针对什么人群，推送什么权益钩子，实现精准转化，最大化营销ROI。
一、CDP的定义
广义的CDP是一个营销系统，它统一企业来自营销或其他渠道的客户数据，以实现客户建模、优化客户体验的目标。
狭义的CDP是整合来自多个不同来源的数据，为客户洞察和交互提供数据支持。
二、CDP的架构
CDP基于轻量级的数据中台，主要包含源数据层、计算层、OneData（统一建模）、OneID（客户标签）、OneService（统一数据服务）、应用层。
1. 源数据层
主要包含客户一方、二方和三方数据。
一方数据主要指客户自有业务数据，如APP数据、线索数据、DMS（经销商管理系统）数据、销售助手数据等；
二方数据主要指公域广告投放回流数据和DMP相关数据；
三方数据主要是指主机厂外部合作的数据。
2. 计算层
主要基于阿里云的大数据平台Dataworks，包含数据集成、数据开发、数据运维、数据质量、数据安全等；底层计算引擎为Maxcompute和实时计算Flink；
3. OneData（统一建模）
主要基于维度建模理论进行数仓健身，进行ODS（源数据层）、DWD（明细数据层）、DWS（主题数据层）、ADS（应用数据层）数据分层。
主要包含会员、行为、消费、活动、客户、线索六大主题域数据模型。
4. OneID（客户标签）
通过ID-mapping生成客户归一ID，基于oneid进行客户标签萃取，形成10大类标签：人口属性、设备属性、位置属性、客户属性、会员属性、行为属性、活动属性、消费属性、内容属性和社交属性。
5. OneService（统一数据服务）
统一提供离线和实时数据服务，统一口径，统一出口，统一鉴权。
6. 应用层
主要包含客户洞察、客户360视图、人群细分和标签管理
客户洞察：主要为全旅程分析、RFM分析、人群分析等；
客户360视图：根据客户10大类属性100+标签形成客户360度画像；
人群细分：主要为人群圈选、人群组合、人群管理；
标签管理：主要为标签上下架、系统标签、分层标签。
3、CDP的用户标签体系 1. 按业务分类
共10大类：
人口属性
位置属性
设备属性
客户属性
会员属性
行为属性
消费属性
活动属性
内容属性
社交属性
2. 按照开发复杂度来分类
基础标签：不用做任何计算，直接赋值的标签，比如年龄、性别、学历等；
统计标签：需要进行简单的统计计算的标签，如近7天访问次数、近30天阅读次数等；
算法标签：统计机器学习算法进行模型训练输出的模型类标签，如线索评级、车型偏好等。
3. 按照数据源来分类
一方标签：主要以车企自有业务系统产生的业务数据来生产标签，比如用户中心主要加工用户基本信息相关标签，APP主要加工行为属性相关标签等；
二方标签：主要是将广告投放后产生投放数据、点击数据、效果数据进行标签化，将公域投放的数据和私域运营的数据打通；
三方标签：主要是外部合作的数据源进行标签化。一般外部主要是在合规情况下进行数据共享或者联合建模，以补充用户其他维度的标签来丰富用户滑行，以达到更精准转化的目的。
四、CDP用户标签怎么生产
根据开发复杂度划分的基础标签、统计标签和算法标签分别对应底层不同的技术架构，主要分为非算法类开发方式和算法类开发方式。
1. 非算法类开发方式：
主要利用大数据平台进行开发，包含数据集成、数仓建模、数据开发、聚合标签宽表、标签输出。
数据集成：主要是通过数据同步工具，将一方、二方和三方数据同步到大数据平台；
数仓建模：通过维度建模方法进行数仓分层建模，形成ODS、DWD、DWS、ADS层；
数据开发：根据标签的业务过程，拆解原子指标、计算方法（求和、平均）和修饰词（时间窗口），通过SQL脚本进行开发；
聚合标签宽表：各个维度标签进行聚合形成用户标签宽表；
标签输出：标签宽表输出后服务化，对外提供使用。
2. 算法类开发方式：
主要利用机器学习平台进行开发，包含业务理解、样本定义、数据准备、特征工程、模型训练、模型评估、模型部署；
业务理解：主要是定义模型要解决的业务问题，确定模型要达到的目标；
数据理解：系统的探索模型相关的源数据，结合业务梳理相关数据口径，形成对数据的全面认知；
数据准备：主要是数据EDA（探索性数据分析）工作，主要包含查看数据分布、缺失率分析等；
特征工程：特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限；
模型训练：根据相关算法使用样本进行模型训练，常用算法有分类（逻辑回归、决策数等）、聚类（kmeans、支持向量机）、xgboost等；
模型评估：主要是用相关指标来评估模型好坏，如精确率、召回率、AUC等；
模型部署：将模型服务化，通过输入需要的数据后直接输出模型结果。
五、CDP的价值
CDP围绕数字化营销的数字化，长期价值为多方化、资产化、智能化、安全化。
多方化：集成一方数据，打通二方数据，利用三方数据，通过一、二、三方数据扩展客户维度，形成对客户更加精准的洞察；
资产化：通过自动化的标签加工方式不断的将客户数据转化数据资产；
智能化：围绕数字化营销，利用机器学习算法不断沉淀相关营销模型以达到增长的目标，如AIPL模型、RFM模型、购车意愿模型、车型偏好模型等；
安全化：打造可信安全的客户数据平台是数字化营销中台的基石，通过数据加密、隐私计算、多方计算实现数据安全和隐私保护。
从0到1搭建车企数字化营销中台（1）：产品定义
作者：赵松，微信公众号：zs5152074，数跑科技营销增长平台产品线负责人、阿里云大数据MVP，前阿里影业数据产品专家，7年数字化从业经历。
本文由 @赵松 原创发布于人人都是产品经理，未经许可，禁止转载。
题图来自 Unsplash，基于CC0协议返回搜狐，查看更多
责任编辑：

我要回帖

更多关于 数据可视化怎么做 的文章

 

随机推荐