使用dm构建增量刷新的数据仓库

dm构建数据仓库

       （以下做法仅代表个人观点 ，不代表行业规范，如若有误，请指正，不甚感激。）

        dm做维度数据传输，可以自动管理缓慢变化维，所以对于维度数据的刷新，可以采用full refresh方式。就是采用全表刷新的方式。

       而对于事实数据来说，小项目，比如数据量百万以内的，我们也可以采用truncate方式来做，也叫全量更新。但是对于正规的大型数据仓库项目来说，全量更新的方式是不合理的，有时甚至是不可能的，比如数据量超1TB（TeraByte），甚至1PB（PetaByte）以上的，全量更新的方式会让服务器崩溃。所以增量刷新就成为了必要。

     那么dm里如何做到增量更新的方式呢？这个时候需要一个ods层，就是把截止到当前节点更新过的数据刷入ods层，然后使用dm将ods层的数据append到目标数据仓库。如下：