天天看點

資料遷移服務參數說明

Aliyun OSS

Endpoint

OSS的Endpoint支援如下四種格式:

序号 正确格式 說明
1 http://oss-cn-hangzhou.aliyuncs.com 使用公網,以http方式上傳/下載下傳資料
2 http://oss-cn-hangzhou-internal.aliyuncs.com 使用内網,以http方式上傳/下載下傳資料
3 https://oss-cn-hangzhou.aliyuncs.com 使用公網,以https方式上傳/下載下傳資料
4 https://oss-cn-hangzhou-internal.aliyuncs.com 使用内網,以https方式上傳/下載下傳資料

當OSS作為資料源時,遷移服務會自動使用内網下載下傳;其它資料源時,OSS會使用内網上傳。以下格式均為非法:

# 帶存儲空間名稱
http://bucket.oss-cn-hangzhou.aliyuncs.com
# 帶其它資源
http://oss-cn-hangzhou.aliyuncs.com/bucket
http://oss-cn-hangzhou.aliyuncs.com/bucket/object
# 帶有其它限制條件
http://oss-cn-hangzhou.aliyuncs.com/
http://oss-cn-hangzhou.aliyuncs.com?
http://oss-cn-hangzhou.aliyuncs.com/?qs=
http://oss-cn-hangzhou.aliyuncs.com/?qs=val
# CDN域名、Cname等費OSS域名
http://d1.d2.d3.com
# 不攜帶指定協定
oss-cn-hangzhou.aliyuncs.com/           

OSS的Endpoint詳細清單,參見

通路域名

Bucket

請填寫正确的存儲空間名稱,前後不帶空格、換行、制表符等非法字元。

Prefix

遷移指定“目錄”下的檔案,即指定字首的檔案,不包括檔案名稱為字首的檔案。請以

/

結尾,不要以

/

開頭,如

docs/

AccessKeyId/SecretAccessKey

通路密鑰,簡稱為AK/SK。遷移服務的AK/SK可以是主使用者、子使用者的密鑰,不能是臨時使用者的密鑰,上述概念的解釋請參考

通路控制

。目前尚不支援服務費授權。

如果OSS做為遷移服務的資料源,子使用者可以使用以下Policy授權:

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:GetObject",
        "oss:ListObjects"
      ],
      "Resource": [
        "acs:oss:*:*:mybucket"
      ],
      "Condition": {}
    }
  ]
}           

如果OSS做為起遷移服務的目标,子使用者可以使用以下Policy授權:

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:GetObject",
        "oss:PutObject",
        "oss:ListObjects",
        "oss:DeleteObject",
        "oss:AbortMultipartUpload"
      ],
      "Resource": [
        "acs:oss:*:*: mybucket"
      ],
      "Condition": {}
    }
  ]
}           

你可以為遷移服務建立特定子使用者,生成專用的AK/SK;遷移任務完成後相應的AK/SK。

遷移存儲量/遷移檔案個數

存儲空間下的存儲量和檔案數可以通過

OSS的控制台

檢視。

AWS S3

遷移服務尚不支援AWS S3的白名單通路。如果有白名單配置,請先暫時取消白名單或

提工單

遷移服務支援以下區域及格式,其它的格式均不支援。協定支援HTTPS的域名還可以使用https。

RegionName Region Protocol
US East (Ohio) us-east-2 http://s3.us-east-2.amazonaws.com http://s3-us-east-2.amazonaws.com HTTP/HTTPS
US East (N. Virginia) us-east-1 http://s3.us-east-1.amazonaws.com http://s3-us-east-1.amazonaws.com
US West (N. California) us-west-1 http://s3.us-west-1.amazonaws.com http://s3-us-west-1.amazonaws.com
US West (Oregon) us-west-2 http://s3.us-west-2.amazonaws.com http://s3-us-west-2.amazonaws.com
Canada (Central) ca-central-1 http://s3.ca-central-1.amazonaws.com http://s3-ca-central-1.amazonaws.com
Asia Pacific (Seoul) ap-northeast-2 http://s3.ap-northeast-2.amazonaws.com http://s3-ap-northeast-2.amazonaws.com
Asia Pacific (Osaka-Local) ap-northeast-3 http://s3.ap-northeast-3.amazonaws.com http://s3-ap-northeast-3.amazonaws.com
Asia Pacific (Singapore) ap-southeast-1 http://s3.ap-southeast-1.amazonaws.com http://s3-ap-southeast-1.amazonaws.com
Asia Pacific (Sydney) ap-southeast-2 http://s3.ap-southeast-2.amazonaws.com http://s3-ap-southeast-2.amazonaws.com
Asia Pacific (Tokyo) ap-northeast-1 http://s3.ap-northeast-1.amazonaws.com http://s3-ap-northeast-1.amazonaws.com
China (Beijing) cn-north-1 http://s3.cn-north-1.amazonaws.com.cn
China (Ningxia) cn-northwest-1 http://s3.cn-northwest-1.amazonaws.com.cn
EU (Frankfurt) eu-central-1 http://s3.eu-central-1.amazonaws.com http://s3-eu-central-1.amazonaws.com
EU (Ireland) eu-west-1 http://s3.eu-west-1.amazonaws.com http://s3-eu-west-1.amazonaws.com
EU (London) eu-west-2 http://s3.eu-west-2.amazonaws.com http://s3-eu-west-2.amazonaws.com
EU (Paris) eu-west-3 http://s3.eu-west-3.amazonaws.com http://s3-eu-west-3.amazonaws.com
South America (São Paulo) sa-east-1 http://s3.sa-east-1.amazonaws.com http://s3-sa-east-1.amazonaws.com

/

/

docs/

請在

AWS控制台

的IAM頁面,建立使用者并授予

AmazonS3ReadOnlyAccess

權限,然後再建立通路密鑰。遷移完成後删除使用者。

請認真評估,確定與實際值相符。

Azure blob

存儲賬戶/密鑰/連接配接字元串

國際版,進入Azure的

管理控制台

,在路徑

首頁 > 存儲帳戶 > {存儲帳戶名稱} > 通路密鑰

中找到存儲賬戶、密鑰、連接配接字元串資訊。如下圖:

資料遷移服務參數說明

容器

容器即Azure中的container。

字首

/

/

docs/

在路徑

首頁 > testbucket2018 - Blob > container - 屬性

有 計算大小 按鈕可以

計算出容器大小。如下圖:

資料遷移服務參數說明

Tencent cos

遷移服務支援

V4

版本的COS,采用V4版本的

API

通路COS。

所屬地區

V4版本的COS可以

地域

如下表,所屬地區請填寫地域簡稱:

地域簡稱
北京一區(華北) tj
北京 bj
上海(華東) sh
廣州(華南) gz
成都(西南) cd
新加坡 sgp
香港 hk
多倫多 ca
法蘭克福 ger

COS Bucket(存儲桶)名稱由

[自定義名稱]-[開發商APPID]

構成。資料遷移服務的bucket配置項請填寫自定義名稱部分,比如 mingdi-1252883280,遷移服務的bucket項填 mingdi。

遷移指定目錄下的檔案,即指定字首的檔案。請以

/

開頭,以

/

結尾,如

/docs/

APPID

請到控制台賬号資訊頁面檢視,如下圖。

資料遷移服務參數說明

SecretId/SecretKey

請從控制台

雲産品 > 管理工具 > API密鑰管理

進入通路控制頁面,檢視或建立密鑰。推薦您為遷移服務建立密鑰,遷移完成後删除。

遷移存儲量/遷移存儲量

雲産品 > 存儲 > 對象存儲

進入對象存儲頁面,然後進入監控報表的基礎資料統計頁面,檢視待遷移Bucket的存儲量和

對象數量,如下圖。

資料遷移服務參數說明

七牛qiniu

七牛控制台

進入對象存儲頁面,選擇指定的存儲空間後,在

融合CDN測試域名

融合CDN加速域名

欄可以看到域名,如下圖。

資料遷移服務參數說明

Endpoint即

http://域名

,如

http://oy4jki81y.bkt.clouddn.com
http://78rets.com1.z0.glb.clouddn.com
http://cartoon.u.qiniudn.com           

上面3個均為有效Endpoint,其它格式均無效。

七牛對象存儲的存儲空間。

/

/

docs/

AccessKey/SecretKey

管理控制台 > 個人面闆 > 密鑰管理

頁面可以看到AK/SK,即AccessKey/SecretKey。請使用狀态為使用中的有效AK/SK。

進入對象存儲頁面,選擇指定的存儲空間後,進入内容管理頁面,可以看到檔案數和存蔟量。如下圖。

資料遷移服務參數說明

Baidu bos

目前支援“華北-北京”、“華南-廣州”和“華東-蘇州”三個區域。遷移服務使用Endpoint如下表:

區域 服務域名 通路協定
bj.bcebos.com http/https http://bj.bcebos.com
廣州 gz.bcebos.com http://gz.bcebos.com
蘇州 su.bcebos.com http://su.bcebos.com

Bucket的區域請到

控制台

産品服務 / 對象存儲BOS - Bucket管理

檢視,如下圖。

資料遷移服務參數說明

/

/

docs/

AccessKeyID/SecretAccessKey

請到

安全認證 / Access Key

頁面上檢視,如下圖。

資料遷移服務參數說明

産品服務 / 對象存儲BOS - Bucket管理 / Bucket概覽

頁面可以檢視Bucket的存儲量,檔案個數請認真評估,盡量準确。

Http/https

清單位址

清單檔案格式

清單檔案有兩列,第一列是http/https位址,位址中特殊字元請URL編碼。遷移服務用該連結的Get請求下載下傳檔案内容,Head請求擷取檔案中繼資料;第二列是的檔案名,遷移後的object name是prefix + 檔案名,兩列用制表符

\t

分割;每行之間換行

\n

分割。格式如下:

http://127.0.0.1/docs/my.doc    docs/my.doc
http://127.0.0.1/pics/my.jpg    pics/my.jpg
http://127.0.0.1/exes/my.exe    exes/my.exe           

清單位址格式

遷移檔案生成後,請上傳到OSS。遷移服務會下載下傳清單檔案,并根據指定的位址遷移檔案。清單位址的格式是

oss://{bucket}/{清單檔案}

,示例如下:

oss://mybucket/httplist.txt           

清單通路Endpoint

清單通路AK/SK

遷移服務需要使用該AK/SK下載下傳清單檔案。該AK/SK可以是主賬号的AK/SDK;也可以是子賬号的AK/SK,需要授予GetObject權限。

又拍youpai

位址

即對象存儲SDK的接入點,REST API中的域名,如下表。如果您不能确定自己的網絡類型,請使用

http://v0.api.upyun.com

網絡類型
智能選路 http://v0.api.upyun.com 推薦
電信線路 http://v1.api.upyun.com
聯通(網通)線路 http://v2.api.upyun.com
移動(鐵通)線路 http://v3.api.upyun.com

服務名稱

的雲存儲中檢視。

遷移目錄

遷移指定目錄下的檔案,請以

/

/

docs/

操作員名/操作員密碼

的賬号管理頁面檢視和添加操作員。添加您為遷移服務建立操作員,并授予 可讀取 權限,如下圖。

資料遷移服務參數說明

然後進入控制台的雲存儲頁面,選擇待遷移的服務名稱,進入配置頁面,選擇内容管理,并授權操作員,如下圖。

資料遷移服務參數說明

雲存儲的配置頁面檢視Bucket的存蔟量,檔案個數請認真評估,盡量準确。

Kingsoft ks3

Region(區域)與Endpoint(域名)的對應關系如下,Bucket(存儲空間)的Region請在

上的

存儲與内容傳輸 > 對象存儲 > 我的空間 > 空間詳情

頁面檢視。

中國(北京) ks3-cn-beijing.ksyun.com
中國(上海) ks3-cn-shanghai.ksyun.com
中國(香港) ks3-cn-hk-1.ksyun.com
中國(杭州) kss.ksyun.com
俄羅斯 ks3-rus.ksyun.com
ks3-sgp.ksyun.com

即金山雲對象存儲的空間。

/

/

docs/

的身份與管理下的使用者管理頁面,建立使用者并授予

KS3FullAccess

權限,然後在使用者頁面建立密鑰。遷移完成後删除該使用者。

存儲與内容傳輸 > 對象存儲 > 我的空間 > 空間詳情

頁面檢視Bucket的存儲量,檔案個數請認真評估,盡量準确。

華為雲OBS

華為雲存儲支援的區域如下,詳見

地區和終端節點
區域名稱 協定類型
華北-北京四 cn-north-4 obs.cn-north-4.myhuaweicloud.com HTTPS/HTTP
華北-北京一 obs.cn-north-1.myhuaweicloud.com
華東-上海二 cn-east-2 obs.cn-east-2.myhuaweicloud.com
華東-上海一 cn-east-3 obs.cn-east-3.myhuaweicloud.com
華南-廣州 cn-south-1 obs.cn-south-1.myhuaweicloud.com
西南-貴陽一 cn-southwest-2 obs.cn-southwest-2.myhuaweicloud.com
亞太-曼谷 obs.ap-southeast-2.myhuaweicloud.com
亞太-香港 obs.ap-southeast-1.myhuaweicloud.com
亞太-新加坡 ap-southeast-3 obs.ap-southeast-3.myhuaweicloud.com
非洲-約翰内斯堡 af-south-1 obs.af-south-1.myhuaweicloud.com

即華為雲存儲對象存儲的桶。

/

/

docs/

請到華為管理控制台的

我的憑證 > 通路秘鑰

頁面上檢視。如果初次沒有設定秘鑰,則需要點選新增通路秘鑰按鈕來新增秘鑰即可。

請到華為元管理控制台,點選遷移的Bucket,檢視Bucket的詳細内容,如下圖。頁面中有Bucket的存儲量,檔案個數。

資料遷移服務參數說明

UCloud UFile

所屬地域

即地域(Region),支援地域如下表,詳見

地域和可用區清單
地域名稱
cn-bj
cn-gd
上海二 cn-sh2
洛杉矶 us-ca
sg
雅加達 idn-jakarta
拉各斯 afr-nigeria
聖保羅 bra-saopaulo
迪拜 uae-dubai
胡志明市 vn-sng
台北 tw-tp
孟買 ind-mumbai
華盛頓 us-ws
ge-fra

存儲空間

即對象存儲空間(Bucket)。

/

/

docs/

公鑰/私鑰

API密鑰

中的PublicKey/PrivateKey。

對象存儲UFile

,在存儲空間詳情的概覽頁面檢視存儲量。檔案個數請認真評估,盡量準确。