【最佳實踐】如何通過OSSimport工具将線下資料遷移至金融雲OSS?

1. 目前存在的問題：

金融雲由于等保要求，不能直接将閃電立方裝置寄送到金融雲機房。是以，我們還不能通過閃電立方的方式直接遷移資料至金融雲OSS。但是金融雲提供了另外一種類型的Bucket-金融雲公網Bucket。金融雲公網Bucket類似于公共雲，能夠被網際網路直接通路。是以，是否可以借助于金融雲公網OSS進行中轉？

2.總體思路：

由于金融雲内網隻能在金融雲内部通路。外部網際網路無法通路。但是金融雲公網Bucket類似于與公共雲的OSS，允許VPC以及經典網絡以及網際網路通路。是以我們的思路是在金融雲内部搭建1個ECS服務。該ECS服務是能夠通路金融雲内網Bucket，同時該ECS也是能夠通路金融雲公網OSS。

注意：金融雲的ECS可以直接通路網際網路，但是網際網路的end user是不能直接通路金融雲内部ECS的。需要通過SLB中轉。

此處我們的思路是這樣的:

• 建立金融雲ECS，同時建立金融雲内網OSS;
• 在該金融雲ECS上部署ossimport工具，通過ossimport工具将金融雲公網Bucket内容 遷移至 金融雲内網Bucket;

說明:

1. 測試環境下：該方式的單台ECS遷移速度可以達到50MB/s；
2. 若實際測試環境速度達不到客戶要求，可以建立多個ECS伺服器，然後叢集版ossimport，
3. 說明：整個遷移過程都不走公網，不會産生流量費用！！！

3.示範示例：

如下的示例均是基于這個場景，實際配置過程中請根據實際客戶場景進行修改；

•    ECS 伺服器：ubuntu16.04
    - ECS endpoint： 華東2金融雲
•    金融雲内網OSS: (目的端)
    - Bucket名稱：test-shagnhai-finane-in
    - Endpoint: oss-cn-shanghai-finance-1-internal.aliyuncs.com
•    金融雲公網OSS:(源端）
    - Bucket 名稱：test-shanghai-finance-pubb
    - 内網Endpoint：oss-cn-shanghai-finance-1-pub-internal.aliyuncs.com
    - 外網Endpoint：oss-cn-shanghai-finance-1-pub.aliyuncs.com
           

3.1 Step1：在上海金融雲開通部署ECS

1.下載下傳ossimport（此處下載下傳ossimport叢集版）：

a) 指令：wget http://gosspublic.alicdn.com/ossimport/distributed/ossimport-2.3.2.tar.gz?spm=a2c4g.11186623.2.1.9EPlFR&file=ossimport-2.3.2.tar.gz
b) 解壓 ossimport；tar -zxvf ossimport-2.3.2.tar.gz
c) 修改 worker，job.cfg以及sys.properties檔案。
d) 注意worker中 master的ip寫在第一行
e) 詳細安裝部署請參考：https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11186623.6.1109.d6a1pD

           

3.2Step2：安裝ossimport

1.安裝示例：

安裝示例

安裝說明：安裝過程中有可能提示任務無法執行，那是因為預設ubuntu沒有安裝java，請手工安裝default-jre；

Job.cfg檔案配置：源與目的endpoint 均請填寫内網二級域名（注意，不要寫外網域名！！！！）

3.3Step3： 在master節點上運作

1. 在master運作: bash console.sh deploy
2. 送出任務: bash console.sh submit
3. 啟動服務:Linux終端執行 bash console.start
4. 檢視任務狀态: bash console.sh stat