天天看点

TableStore: 使用Datax将实例A的数据迁移到实例B中

现在我们需要将数据从一个老的实例a迁移到实例b上面,做一下备份,我们打算使用datax作为我们的数据传输工具,其中用到了otsreader和otswriter。

第一步,tablestore环境准备,当前datax不支持自动建表的功能,所以我们需要在b中创建迁移对应的表。创建表的时候有两个选择,第一是使用 ots cli,第二是使用table store的sdk。我们建议使用sdk。

第二步,datax环境准备,找一台机器两边都能联通的ecs,在ecs上面部署datax

第三步,编辑datax job的配置

第四步,启动datax

由于很多时候数据量会非常大,但是全量迁移(备份)的时间因为业务的原因受到了限制,需要很快的将数据备份过去。这个时候需要开启高级选项。插件支持并发的的迁移数据,这里需要利用到otsreader的range并发读功能。其实原理很简单,就是讲表拆分成多份,并发的读取数据。步骤如下