天天看点

数据源盘点| FineDataLink可对接的7大类数据源

作者:帆软软件

前段时间,我们分享了数仓的分层设计、时效性优化以及灵活建设方法,浅讲了当前国内企业在搭建数仓上遇到的问题,最后为大家提供了多源异构数据整合和数据开发的工具——FineDataLink数据集成平台的两大特性

在直播结束后,收到不少大家关于对接数据源的提问。例如,FDL能调用第三方API接口获取数据吗?能对接SAP系统的数据吗?以及是否能进行数据的写入?

因此本篇我们将详细介绍,FineDataLink作为数据集成工具,能对接哪些数据源,适用的场景有哪些?

FineDataLink从不同数据源进行离线或实时同步,进一步进行转换、清洗等操作,向任意目标端进行写入,实现任意数据源的数据互通。

1 已支持的数据源

首先来简单看一下现阶段(2023.5)FineDataLink支持的数据源类型。按照不同的维度,大致划分如下:

  • 关系型数据库:MySQL、Oracle、SQL Server、PostgreSQL、SQLite、HSQL、IBM DB2、Informix
  • 大数据类:SAP HANA、Hadoop Hive、Impala、ClickHouse、Presto、Greenplum、Greenplum(并行装载)、HP Vertica、Doris
  • 国产数据库:达梦、人大金仓Kingbase、华为GaussDB 200、南大通用Gbase 8A
  • NoSQL:MongoDB
  • 消息队列:Kafka
  • 文件类数据源:FTP/SFTP文件服务器、Excel、CSV
  • 接口类型:RestAPI、WebService、简道云、SAP RFC
  • 其他:服务器数据集等

FineDataLink目前已支持七大类型、30+种数据源(API接口统一算一种),覆盖大部分版本和主流认证方式,已支持的数据源如下图所示:

数据源盘点| FineDataLink可对接的7大类数据源

这些数据源由FineDataLink的统一数据连接模块对接,然后选择离线或实时同步模块,进行数据集成。

2 应用场景

1、数据复制

技术原理:基于日志的结构化数据复制技术,不依赖源数据库的触发器或者规则,能以极少的系统开销实现秒级数据实时增量同步复制。

应用场景:

跨地域跨业务数据实时同步、数据备份、云上数据快速下云备份

数据源盘点| FineDataLink可对接的7大类数据源

2、数仓搭建

技术原理:基于ODS、DWD、DWS、ADS和DIM分层设计,通过数据对接、API对接、数据关联、比对更新等数据开发过程,配合任务调度依赖、定时调度配置等完成数仓建设。

应用场景:

整合多源异构数据,基于业务进行企业级数据仓库搭建,提升数据使用质量,以解决业务频繁拿数以及自主分析需求。

数据源盘点| FineDataLink可对接的7大类数据源

过往案例:

应收账款周转率翻倍!沈阳电信工程局利用简道云+FR+FDL+数知鸟的帆软全家桶工具,释放数据的潜藏价值!

安特威 | 年入过9亿,这家阀门制造企业如何用帆软全套产品建设高时效BI体系

实时大数据时代,看制造业龙头—惠科如何实现“智造”升级的?

3、基于API的企业数据资产

技术原理:通过SQL语句,快速将加工、融合后的多源异构数据封装成规范化API发布,全面兼容主流数据库,普通工程师通过浏览器、无需原厂商配合,即可完成分钟级别API接口数据发布。

数据源盘点| FineDataLink可对接的7大类数据源

应用场景:

  • 对外能力开放:将企业内部数据以标准API的形式,开放给外部合作伙伴或第三方,可管可控地与外部用户共享服务和数据,达成深度合作,共建新生态。
  • 内部业务集成:规范系统间API数据接口,快速完成企业内部系统的解耦和实现数据的交换。
数据源盘点| FineDataLink可对接的7大类数据源