[ETL工具]dataX使用

官网

https://github.com/alibaba/DataX

安装方式：

建议下载源码，注释掉不需要的reader和writer

参考：

https://github.com/alibaba/DataX/blob/master/userGuid.md

示例

从mysql读取到es

{
    "job": {
        "setting": {
            "speed": {
                 "channel":1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "car"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "t_person",
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://192.168.137.1:3306/datax",
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "elasticsearchwriter",
                    "parameter": {
                        "endpoint": "http://localhost:9200",
                        "accessId": "xxx",
                        "accessKey": "xxx",
                        "index": "person_index",
                        "type": "person_info",
                        "settings": {"index" :{"number_of_shards": 1, "number_of_replicas": 0}},
                        "column": [
                            {"name": "id", "type": "text"},
                            {"name": "name", "type": "text"},
                            {"name": "car", "type": "text"}
                        ]
                    }
                }
            }
        ]
    }
}      

用户名密码不能为空，会报错 - bug

自己测试了datax搬100w数据，仅仅用时51s，惊呆了