天天看点

Dataworks坑记——小时级别依赖数据丢失问题

问题描述

A 小时级任务 (一天有24个节点) ,A依赖上游B , B 30分钟级任务(一天有48个节点),我们期望应该是一个节点依赖2个,但是第一个只依赖一个节点导致丢数据。

B调度配置如图:

Dataworks坑记——小时级别依赖数据丢失问题

A调度配置如图

Dataworks坑记——小时级别依赖数据丢失问题

依赖关系

A依赖上游B

Dataworks坑记——小时级别依赖数据丢失问题

产出依赖关系

图上时间为定时时间

Dataworks坑记——小时级别依赖数据丢失问题

就依赖结果:

产出依赖是向前就近关联,不存在跨天依赖的情况

期望依赖关系

Dataworks坑记——小时级别依赖数据丢失问题

解决办法

调整任务A调度时间

调度时间 大于 依赖的最晚节点的时间加上节点执行时间。

(0点35任务A节点) > (0点30任务B节点)+ (小于1分钟)

Dataworks坑记——小时级别依赖数据丢失问题

执行结果

最后执行结果符合预期,图上时间为定时时间

Dataworks坑记——小时级别依赖数据丢失问题

继续阅读