开发者学堂课程【阿里云实时数仓实战 3 :制作数据可视化大屏: 项目总结】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:
https://developer.aliyun.com/learning/course/110/detail/1894项目总结
内容简介:
一、已实现课程目标
二、项目技术回顾与注意事项
三、本节课程重点总结
一、已实现课程目标:
1、学习搭建一个实时数据目标,掌握数据采集、存储、计算、输出、展示等整个业务流程。
2、挣个实时数据仓库系统是在阿里云架构上搭建,掌握并学会运用各个服务组件,以及各个组件之间如何联动。
3、前置知识要求
1)熟练掌握 SQL 语法
2)对 Hadoop 大 数据体系有一定的了解
(一)第一章 项目需求及架构设计
1、明白需要开发项目时需要完成什么任务
2、明白怎么完成开发任务
3、熟悉阿里云技术框架,学会用阿里云技术完成大数据开发功能。
4、熟悉掌握电商表结构
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicmbw5yM1YGZxAzNxgTOhZWZ3QWOiFDO0gzNiFjZjJWYhNTOw8CX5d2bs92Yl1iclB3bsVmdlR2LcNWaw9CXt92Yu4GZjlGbh5yYjV3Lc9CX6MHc0RHaiojIsJye.png)
(二)第二章 业务数据准备
第二章主要考查存储业务数据的 RDS 服务器,需掌握 RDS 服务器的购买流程、配置、连接以及创建业务数据库及表。
(三)第三章 缓冲数据
主要内容为创建 DataHub 项目
(四)第四章 同步业务数据
主要使用 DTS 同步数据,不仅可以完成数据同步,还可以进行数据迁移与订阅
(五)第五章 实时数仓分层
1、购买功能强大、速度快、开发方便的实时计算服务引擎,通过 Flink SQL 实现。
2、熟练掌握 Data Works 工作空间、业务开发平台 Stream Studio 与 ODS 到 DWD 层的业务流程,实时数仓主要基于 Data Hub 与实时计算服务器之间的导入与导出,数据由 Data Hub 运送到实时计算服务器进行运算之后再输送回 Data Hub 进行存储。
3、数据结果展示:先将结果数据存储到 Analytic DB 数据库,再使用 Data V 进行可视化展示(类似于天猫双 11 的可视化大屏幕)
框架串联以及框架之间联动