[ETL工具]dataX使用

官網

https://github.com/alibaba/DataX

安裝方式：

建議下載下傳源碼，注釋掉不需要的reader和writer

參考：

https://github.com/alibaba/DataX/blob/master/userGuid.md

示例

從mysql讀取到es

{
    "job": {
        "setting": {
            "speed": {
                 "channel":1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "car"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "t_person",
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://192.168.137.1:3306/datax",
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "elasticsearchwriter",
                    "parameter": {
                        "endpoint": "http://localhost:9200",
                        "accessId": "xxx",
                        "accessKey": "xxx",
                        "index": "person_index",
                        "type": "person_info",
                        "settings": {"index" :{"number_of_shards": 1, "number_of_replicas": 0}},
                        "column": [
                            {"name": "id", "type": "text"},
                            {"name": "name", "type": "text"},
                            {"name": "car", "type": "text"}
                        ]
                    }
                }
            }
        ]
    }
}      

使用者名密碼不能為空，會報錯 - bug

自己測試了datax搬100w資料，僅僅用時51s，驚呆了