datastage实现数据增量抽取方案

实现方案

1. 数据量相对比较小，100W级别以下。

   根据日调度，实现前后两天通过文件对比，获取相应增量数据。

   弊端：因为ODS 系统一般是多层存储，需要保证每次日调度执行成功，否则会丢数据。

   

2. 数据量相对比较大，100W级别以上。

   一般业务系统会有自增长ID 列，我们会选择获取增量的时候，增加限制条件，比如SELECT * FROM TABLE_NAME WHERE ID>MAX(ID)

   其中MAX(ID) 为上一次，最大ID值，在利用可以放到一个临时表。

   a）在调度时获取maxid.Txt 的数据

   

   b）在利用Sequence 调度 各层之后，最后触发该作业获取最大ID 存储到maxid.Txt文件中。