开发人员在进行数据处理任务时,经常会碰到因业务系统修改字段、删除字段,而产生某字段不存在或是某表不存在等报错,从而导致任务失败的情况。
在FDL 4.1.5之前的版本中,由于定时任务不能自动获取源表结构变化,业务系统的修改无法及时的传递到数仓侧,开发人员要花费大量的时间手动维护,甚至半夜都要被叫起来修复bug。并且在频繁更改数据库结构的过程中很容易出现人为错误。
解决方案-定时任务DDL同步
FineDataLink提供的定时任务DDL同步功能一次性解决了上述问题。当IT人员进行定时任务开发时,FDL能够提示来源端数据表的 DDL 变化,并且将变化通知给指定用户。同时用户可以直接在任务中对目标表进行字段处理,更新目标表结构。
1、源表结构变化监测
开发人员可以进入「数据同步」节点,勾选「源表结构变化监测」选项,节点每次执行时会自动获取来源端表结构,并与当前节点配置的表结构进行比对,判断出源表结构变化。
用户可在「任务控制」中设置「结果通知」,即可在变化后自动通知给指定用户,用户即可手动进行任务调整。
2、更新字段映射
开发人员在进行数据同步时,若数据来源是SQLServer、Oracle、PostgreSQL或MySQL ,当来源表结构变化时FDL会提示用户「更新字段映射」。
3、更新目标表
当数据去向选择「已存在表」时,若来源表字段相较之前有变化,开发人员可以点击「更新目标表」对目标表进行调整。「更新目标表」支持选择已有目标表字段或手动输入新字段,确认后即可生成相应的DDL语句并执行。
通过自动监测和同步源表结构变化,FDL能够即时将变更通知给相关人员,并支持自动或手动更新目标表结构,从而有效地减少了因人为操作而引起的错误和数据不一致性问题。
这一自动化的DDL同步过程不仅使开发人员从繁琐的数据库结构维护中解放出来,节省了大量宝贵的时间,同时也显著提高了工作效率和数据处理的可靠性。无论是面对业务系统频繁变更的挑战,还是需要确保数据流程的一致性,FDL的定时任务DDL同步功能都成为了开发人员不可或缺的工具。
通过FineDataLink,让数据处理更高效,让开发更轻松,让业务更顺畅。在这里给大家把 FineDataLink 的使用链接附在下面,感兴趣的朋友点击链接即可免费下载!https://s.fanruan.com/aufoa ETL/ELT|数据融合|数据清洗-FineDataLink数据集成平台