天天看点

爱奇艺数据中台建设方案

爱奇艺数据中台建设方案
爱奇艺数据中台建设方案

本文主要内容包含以下几部分:

爱奇艺数据中台的定义:中台建设、Pingback体系、数仓体系、数仓平台、离线数仓架构、大数据平台、数据平台架构

一、数据中台的产生

:数据工作是一个专业性特别强的一个工作,对于人员的要求比较高。

:在使用数据过程当中,口径不一致是特别常见的一种问题,这种问题可能会导致一种数据使用和分析的差异,而且会降低业务的数据分析效率。

:在生产过程中,降低业务的数据分析效率,最终会对业务决策造成严重的影响,不仅数据链路过程很长,其中还会引入很多数据质量问题。

:因为缺少一个统一的数据建设的规划、标准和规范,所以难以指导各个业务或者整个生产链路的各个环节,以拥有一个标准化的生产和处理过程,就导致了多个业务的数据难以融合,难以发挥更大的数据价值。

:如果有新的业务接入或者新的场景需要使用数据,很多工作都需要人工处理。去申请各种资源、权限、找数据并且串联整个数据的采集、生产、计算、同步和展示等各个环节,这是一个耗时长、效率低,最终还是很容易出错的过程。

:说到数据的话肯定离不开投递,投递是用来记录用户行为的一连串的数据信息。如果投递过程缺少标准化或者流程管控的话,都会导致投递质量比较差。:数据的生产到最终使用,中间可能要经历一个比较长的时间周期或者一个比较宽的团队跨度,用户可能无法很快地找到想要的数据,或者数据团队生产出来的数据并没有真正触达到业务,来达到它的数据价值。

:这个点可能和获取数据难有一点点关联,数据资产模糊的话更多的是在说需要对公司的数据资产做一个整体的管理,如果没有这个整体的管理,就会导致对数据资产的级别和拥有什么数据资产都很模糊。最终就是导致数据的优势难以发挥出来,而且虽然耗费了很多计算资源、人力资源、存储资源,但没有带来相应的价值,最终导致资源效率极低。

数据中台更像一种企业架构,是一套结合互联网技术和行业特性,在企业发展的不确定性中,寻找确定性,并且持续沉淀和抽象企业核心能力,最终支持企业快速、高效、低成本进行业务创新和增强的企业架构。

1、理解数据中台

爱奇艺数据中台建设方案

大家平时更多用到了大数据集群,也就是说Hadoop、Spark、Flink以及其他OLAP工具。但是这些只是数据后台的一个概念,并没有做成一个标准化、通用化、门槛相对来说比较低的中台化的概念。 

数据前台:分析体系,比如说用户分析、内容分析、业务报表等;

所以数据中台抽象出来,就是指“平台+服务+数据+标准化”的概念,它是将数据的生产、收集、处理、存储和服务进行封装,并且面向不同层级的用户提供不同的服务形式。2、数据中台的发展历程

爱奇艺数据中台建设方案

4、数据中台的定位

爱奇艺数据中台建设方案

三、爱奇艺数据中台建设

数据,也就是统一数仓的体系,是数据的核心;

有一线开发、对应的运维管理、实时开发对应的运维管理,以及数据治理、数据图谱、数据服务和即席查询。即席查询是我们数据服务里的一个子项,但是因为应用面比较广,就单独拎出来了。

数仓在提供数据本身的能力之外,还要维护整个公司级别的指标体系和统一维度,让所有的数据系统平台和都会对接到统一的维度指标体系。而且,为了帮助数仓建设过程中的数据建模和统计指标的管理,建设了一个对应的数据平台,也是按照数据规范的标准建设,以此来支持使用方使用平台依照规范去建设数仓的流程化工作。

投递工作面临的问题主要有以下几个点:

爱奇艺数据中台建设方案

数仓体系几个要解决的痛点:

爱奇艺数据中台建设方案

数仓平台主要是为了做业务建模、数据建模、物理建模、维度管理、指标管理和数仓管理。

爱奇艺数据中台建设方案

数据表创建的约束性:数据信息的可描述性:数据建模体系的完整性:

5、离线数仓架构

爱奇艺数据中台建设方案

爱奇艺大数据平台经历了五个阶段:

运维:质量:数据使用也是一个数据发现的过程。治理:所以爱奇艺采取的方式是,等业务发展到一定程度,再去补充数据治理的能力,对存量去治理,对增量去管控。治理工作的内容主要包括对数据和任务进行日常审计,然后通过数据血缘和使用情况,对数据的冗余度进行有效评估,并进行相应的优化,以减少资源和人力的浪费。

计算层,更多的是大数据集群服务,也包括一些任务调度能力。

数据中台的应用场景,面向不同阶段来提供不同的接入方式:

第二个阶段是个性化的能力。把整个流程确定下来,业务在使用过程中可以针对某些环节做定制化的开发,拓展现存数据模块的能力来满足一些个性化需求,所以它更适用于业务的成长期的阶段;识别下方二维码,回复“资料全集”,即可获得下载地址。

爱奇艺数据中台建设方案

继续阅读