天天看点

项目总结|学习笔记

开发者学堂课程【阿里云实时数仓实战 3 :制作数据可视化大屏: 项目总结】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:

https://developer.aliyun.com/learning/course/110/detail/1894

 项目总结

内容简介:

一、已实现课程目标

二、项目技术回顾与注意事项

三、本节课程重点总结

一、已实现课程目标:

1、学习搭建一个实时数据目标,掌握数据采集、存储、计算、输出、展示等整个业务流程。

2、挣个实时数据仓库系统是在阿里云架构上搭建,掌握并学会运用各个服务组件,以及各个组件之间如何联动。

3、前置知识要求

1)熟练掌握 SQL 语法

2)对 Hadoop 大 数据体系有一定的了解

(一)第一章 项目需求及架构设计

1、明白需要开发项目时需要完成什么任务

2、明白怎么完成开发任务

3、熟悉阿里云技术框架,学会用阿里云技术完成大数据开发功能。

4、熟悉掌握电商表结构

项目总结|学习笔记

(二)第二章 业务数据准备

第二章主要考查存储业务数据的 RDS 服务器,需掌握 RDS 服务器的购买流程、配置、连接以及创建业务数据库及表。

(三)第三章 缓冲数据

主要内容为创建 DataHub 项目

项目总结|学习笔记

(四)第四章 同步业务数据

主要使用 DTS 同步数据,不仅可以完成数据同步,还可以进行数据迁移与订阅

(五)第五章 实时数仓分层

1、购买功能强大、速度快、开发方便的实时计算服务引擎,通过 Flink SQL 实现。

2、熟练掌握 Data Works 工作空间、业务开发平台 Stream Studio 与 ODS 到 DWD 层的业务流程,实时数仓主要基于 Data Hub 与实时计算服务器之间的导入与导出,数据由 Data Hub 运送到实时计算服务器进行运算之后再输送回 Data Hub 进行存储。

项目总结|学习笔记

3、数据结果展示:先将结果数据存储到 Analytic DB 数据库,再使用 Data V 进行可视化展示(类似于天猫双 11 的可视化大屏幕)

项目总结|学习笔记

框架串联以及框架之间联动