天天看点

【答疑】对象存储OSS常见问题解答(工具类2)

1. 某外部用户咨询使用ossutil cp下载下来的文件,有什么办法可以证明和OSS上的源文件完全一致,没有出现数据丢失和更改?

解答:默认情况下,ossutil 进行数据传输时都会打开 crc64 校验,可以在上传/下载/复制时使用 --disable-crc64 选项关闭 crc64 校验。

详见官网说明:

https://help.aliyun.com/document_detail/50561.html

github地址:

https://github.com/aliyun/ossutil

2. 用户咨询./ossutil64 cp ./ oss://arcelonfile/ -r --include COMPLETE_DATA_BACKUP*中 include的含义。

解答:--include 相当于一个正则匹配,会把所有包含这个规则的文件全部过滤出来。过滤参数包括 include/exclude,可以批量操作符合指定条件的文件。

3. 客户使用ossimport从本地迁移大文件(112G)不成功,小文件却可以成功。

解答:目前ossimport对单个传输文件的大小限制为5GB。同时ossimport支持multipart方式,配置一下可以支持大文件的。

官网地址:

https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11186623.6.1322.39fd7a29gelnYh

4. 有用户发现使用ossutil(windows)文件下载不全,bucket目录下有N个文件,但是只能下载小于N个的文件。

解答:因为windows平台文件名称是不区分大小,该用户bucket下的有一些文件的文件名相同,只存在大小写差异,下载时会覆盖掉。同样bucket下的所有文件在linux平台下是可以全部下载的。

5. ossfs使用rsync命令拷贝文件会报错。

解答:ossfs 并没有完全实现POSIX的所有文件语义,所以存在一定局限性。目前对cp,mv这些基础文件操作命令时可以支持的,但对于rsync还是有一定概率会出现问题。推荐使用ossutil进行大文件的上传和下载。

https://help.aliyun.com/document_detail/101176.html?spm=a2c4g.11186623.6.1338.44354507dFK5aW

6. 客户使用ossfs上传单个500G文件, 在100G左右总是停止不前,试了两次都没有成功,也没有报错 ossfs在后台正常跑

解答:ossfs 上传大文件时,是通过分片来上传的。分片大小默认为 10MB,分片最大数量为1000个。所以在默认参数下,只能上传100G的文件。解决办法是通过修改 -o multipart_size=xxx,以支持更大的size,其中xxx 单位为MB,比如要修改为每个切片为30M,该参数为 -o multipart_size=30

继续阅读