資料遷移 - DataX

DataX 是阿裡巴巴集團内被廣泛使用的離線資料同步工具/平台，實作包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各種異構資料源之間高效的資料同步功能。

環境要求

– JDK(1.8以上，推薦1.8)

– Python(推薦Python2.6.X)

下載下傳解壓

 下載下傳位址

 源碼位址

下載下傳後直接解壓，解壓後目錄如下

進入 bin 目錄

使用方法

直接執行如下指令即可

test.json 為配置檔案，标明了 資料源 和 遷移後的路徑

datax json 配置示例

本地到本地

更多示例見參考文檔，或者查閱官網，即 “了解更多” 章節

1. 預設支援的是 python2，如果想用 python3，需要把 datax.py 等檔案的代碼改成 python3 文法，不過貌似隻是 print 加 括号就行了

2. 資料庫中的資料中文亂碼解決：在 json 檔案中 jdbcUrl 項加上：?characterEncoding=utf8

3. 運作 datax.py 後出現亂碼，在 cmd 中 輸入 CHCP 65001　　　　【僅适用于 windows】 

 阿裡雲開源離線同步工具DataX3.0介紹

未完待續...

參考資料：

https://zhuanlan.zhihu.com/p/163710564 　　最簡使用教程

javascript:void(0)　　dataX json配置    mysql2mysql、mysql到本地、HDFS列印到本地控制台、orcle列印到Linux

javascript:void(0)　　DataX的使用

發表于

2021-07-15 09:00 

努力的孔子 

閱讀(0) 

評論(0) 

編輯 

收藏 

舉報