【最佳实践】如何通过OSSimport工具将线下数据迁移至金融云OSS?

1. 当前存在的问题：

金融云由于等保要求，不能直接将闪电立方设备寄送到金融云机房。因此，我们还不能通过闪电立方的方式直接迁移数据至金融云OSS。但是金融云提供了另外一种类型的Bucket-金融云公网Bucket。金融云公网Bucket类似于公共云，能够被互联网直接访问。因此，是否可以借助于金融云公网OSS进行中转？

2.总体思路：

由于金融云内网只能在金融云内部访问。外部互联网无法访问。但是金融云公网Bucket类似于与公共云的OSS，允许VPC以及经典网络以及互联网访问。因此我们的思路是在金融云内部搭建1个ECS服务。该ECS服务是能够访问金融云内网Bucket，同时该ECS也是能够访问金融云公网OSS。

注意：金融云的ECS可以直接访问互联网，但是互联网的end user是不能直接访问金融云内部ECS的。需要通过SLB中转。

此处我们的思路是这样的:

• 创建金融云ECS，同时创建金融云内网OSS;
• 在该金融云ECS上部署ossimport工具，通过ossimport工具将金融云公网Bucket内容 迁移至 金融云内网Bucket;

说明:

1. 测试环境下：该方式的单台ECS迁移速度可以达到50MB/s；
2. 若实际测试环境速度达不到客户要求，可以创建多个ECS服务器，然后集群版ossimport，
3. 说明：整个迁移过程都不走公网，不会产生流量费用！！！

3.演示示例：

如下的示例均是基于这个场景，实际配置过程中请根据实际客户场景进行修改；

•    ECS 服务器：ubuntu16.04
    - ECS endpoint： 华东2金融云
•    金融云内网OSS: (目的端)
    - Bucket名称：test-shagnhai-finane-in
    - Endpoint: oss-cn-shanghai-finance-1-internal.aliyuncs.com
•    金融云公网OSS:(源端）
    - Bucket 名称：test-shanghai-finance-pubb
    - 内网Endpoint：oss-cn-shanghai-finance-1-pub-internal.aliyuncs.com
    - 外网Endpoint：oss-cn-shanghai-finance-1-pub.aliyuncs.com
           

3.1 Step1：在上海金融云开通部署ECS

1.下载ossimport（此处下载ossimport集群版）：

a) 命令：wget http://gosspublic.alicdn.com/ossimport/distributed/ossimport-2.3.2.tar.gz?spm=a2c4g.11186623.2.1.9EPlFR&file=ossimport-2.3.2.tar.gz
b) 解压 ossimport；tar -zxvf ossimport-2.3.2.tar.gz
c) 修改 worker，job.cfg以及sys.properties文件。
d) 注意worker中 master的ip写在第一行
e) 详细安装部署请参考：https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11186623.6.1109.d6a1pD

           

3.2Step2：安装ossimport

1.安装示例：

安装示例

安装说明：安装过程中有可能提示任务无法执行，那是因为默认ubuntu没有安装java，请手工安装default-jre；

Job.cfg文件配置：源与目的endpoint 均请填写内网二级域名（注意，不要写外网域名！！！！）

3.3Step3： 在master节点上运行

1. 在master运行: bash console.sh deploy
2. 提交任务: bash console.sh submit
3. 启动服务:Linux终端执行 bash console.start
4. 查看任务状态: bash console.sh stat