天天看点

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

第1章 电商业务与数据结构简介

1.1 电商业务流程

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

电商业务流程

1.2 电商常识(SKU、SPU)

  • SKU=Stock Keeping Unit(库存量基本单位)。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号。
  • SPU(Standard Product Unit):是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息集合。

比如,咱们购买一台iPhoneX手机,iPhoneX手机就是一个SPU,但是你购买的时候,不可能是以iPhoneX手机为单位买的,商家也不可能以iPhoneX为单位记录库存SKU。必须要以什么颜色什么版本的iPhoneX为单位。比如,你购买的是一台银色、128G内存的、支持联通网络的iPhoneX,商家也会以这个单位来记录库存数。那这个更细致的单位就叫库存单元(SKU)。

那SPU又是干什么的呢?

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

SPU

SPU表示一类商品。好处就是:可以共用商品图片,海报、销售属性等。

1.3 电商表结构

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

电商表结构

1.3.1 订单表(order_info)

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

订单表

1.3.2 订单详情表(order_detail)

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

订单详情表

1.3.3 商品表

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

商品表

1.3.4 用户表

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

用户表

1.3.5 商品一级分类表

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

商品一级分类表

1.3.6 商品二级分类表

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

商品二级分类表

1.3.7 商品三级分类表

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

商品三级分类表

1.3.8 支付流水表

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

支付流水表

第2章 数仓理论(面试重点)

2.1 表的分类

2.1.1 实体表

实体表,一般是指一个现实存在的业务对象,比如用户,商品,商家,销售员等等。

用户表:

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

实体表

2.1.2 维度表

维度表,一般是指对应一些业务状态,编号的解释表。也可以称之为码表。

比如地区表,订单状态,支付方式,审批状态,商品分类等等。

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

维度表

2.1.3 事务型事实表

事务型事实表,一般指随着业务发生不断产生数据。特点是一旦发生不会再变化。

一般比如,交易流水,操作日志,出库入库记录等等。

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

事务型事实表

2.1.4 周期型事实表

周期型事实表,一般指随着业务发生不断产生变化(更新, 新增)的数据。

与事务型不同的是,数据会随着业务周期性的推进而变化。

比如订单,其中订单状态会周期性变化。再比如,请假、贷款申请,随着批复状态在周期性变化。

订单表:

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

周期型事实表

2.2 同步策略

数据同步策略的类型包括:全量表、增量表、新增及变化表、拉链表

  • 全量表:存储完整的数据。
  • 增量表:存储新增加的数据。
  • 新增及变化表:存储新增加的数据和变化的数据。
  • 拉链表:对新增及变化表做定期合并。

2.2.1 实体表同步策略

实体表:比如用户,商品,商家,销售员等

实体表数据量比较小:通常可以做每日全量,就是每天存一份完整数据。即每日全量。

2.2.2 维度表同步策略

维度表:比如订单状态,审批状态,商品分类

维度表数据量比较小:通常可以做每日全量,就是每天存一份完整数据。即每日全量。

说明:

1)针对可能会有变化的状态数据可以存储每日全量。

2)没变化的客观世界的维度(比如性别,地区,民族,政治成分,鞋子尺码)可以只存一份固定值。

2.2.3 事务型事实表同步策略

事务型事实表:比如,交易流水,操作日志,出库入库记录等。

因为数据不会变化,而且数据量巨大,所以每天只同步新增数据即可,所以可以做成每日增量表,即每日创建一个分区存储。

2.2.4 周期型事实表同步策略

周期型事实表:比如,订单、请假、贷款申请等

这类表从数据量的角度,存每日全量的话,数据量太大,冗余也太大。如果用每日增量的话无法反应数据变化。

每日新增及变化量,包括了当日的新增和修改。一般来说这个表,足够计算大部分当日数据的。但是这种依然无法解决能够得到某一个历史时间点(时间切片)的切片数据。

所以要用利用每日新增和变化表,制作一张拉链表,以方便的取到某个时间切片的快照数据。所以我们需要得到每日新增及变化量。

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

拉链表

2.3 范式理论

2.3.1 范式概念

关系型数据库设计时,遵照一定的规范要求,目的在于降低数据的冗余性,目前业界范式有:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、巴斯-科德范式(BCNF)、第四范式(4NF)、第五范式(5NF)。

范式可以理解为设计一张数据表的表结构,符合的标准级别。

使用范式的根本目的是:

1)减少数据冗余,尽量让每个数据只出现一次。

2)保证数据一致性

缺点是获取数据时,需要通过Join拼接出最后的数据。

2.3.2 函数依赖

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

函数依赖

2.3.3 三范式区分

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

三范式区分

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

二范式区分

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

三范式区分

未完待续

继续阅读