一文了解阿裡雲對象存儲OSS

對象存儲OSS是什麼？

對象存儲服務（Object Storage Service，簡稱 OSS）

，以 HTTP RESTful API 的形式對外提供服務，是阿裡雲提供的海量、安全、低成本、高可靠的雲存儲服務，适合存放任意類型的檔案。容量和處理能力彈性擴充，多種存儲類型供選擇，全面覆寫從熱到冷的各種資料，優化存儲成本。其資料可靠性不低于 99.9999999999%（12 個 9），服務可用性不低于 99.995%

對象存儲OSS能做什麼？

OSS 具有與平台無關的 RESTful API 接口，可以在任何應用、任何時間、任何地點存儲和通路任意類型的資料。

阿裡雲-雲存儲産品生态

對象存儲OSS與傳統存儲有哪些差別？

SAN(塊存儲) 和 NAS(檔案存儲)都是面向資料中心内通路的裝置，而OSS（對象存儲）産生的目的根本就不是在資料中心内使用，而是面向網際網路、移動網際網路(3G、4G、5G)而産生的，為大量使用的網頁、視訊、圖檔、音頻、文檔通路而設計。

源自：

對象存儲 OSS 的智能資料分析處理架構

對象存儲OSS有哪些功能？

多種存儲類型

支援資料冷熱分層，提供更具成本效益的存儲方式

• 資料冷熱分層次元

• • 提供标準型、低頻型、歸檔型以及冷歸檔型四種存儲類型，滿足不同場景的資料存儲, 了解存儲類型詳情

• 資料備援次元

• • 提供同城區域備援ZRS、本地備援LRS類型；ZRS，将資料備援存放在多個可用區，具備機房級容災能力；LRS，将資料備援存放在同一可用區的多個裝置，抵禦硬碟/存儲伺服器級故障。

資料保護與安全

支援多備援的可靠架構、完整性校驗、權限控制、加密、日志審計、資料合規等，提供更可靠、更安全、更合規的對象存儲

資料可靠

多重備援分布式架構，有效應對各類硬體故障，消除單點隐患，提供最大12個9的資料持久性設計

完整性校驗

存儲和讀取資料時，對網絡流量計算CRC64校驗和，檢測資料包是否損壞，確定資料完整性

完善的權限控制

提供RAM、ACL、BucketPolicy、URL簽名等多種通路控制機制，支援Bucket、Object、API級細粒度授權

網絡通路安全防護

支援防盜鍊，支援通過BucketPolicy設定IP黑白名單或限制隻能Https通路

資料加密

提供服務端加密、用戶端加密的多種資料加密選項

日志審計

支援将OSS通路記錄，按小時導出成日志檔案，用于分析與審計；支援實時日志查詢，結合日志服務，分鐘級日志推送，秒級查詢與可視化分析

資料合規

OSS支援WORM政策（一次寫入，多次讀取）， 保護周期内，任何人都不能對檔案進行修改和删除，滿足行業合規要求。同時，阿裡雲通過國内外多項認證，率先将衆多的合規控制點，融入雲平台内控管理和産品設計中

了解更多詳情

企業級資料管理

支援生命周期、回源、更豐富的資料上傳與下載下傳方式、事件通知、回調等，提供更簡單易用、更便于管理的對象存儲

生命周期

可定義資料的生命周期，将符合規則的對象轉換存儲類型或過期清除

鏡像回源

支援配置使用者源站，當通路資料不在OSS時，OSS會從源站拉取并寫入OSS

檔案上傳

支援PutObject、PostObject、MultipartUpload、AppendObject方式。其中，Append上傳的檔案，支援在檔案末尾追加内容

檔案下載下傳

支援簡單下載下傳、斷點續傳下載下傳，其中斷點續傳下載下傳，可設定從Object指定的位置開始下載下傳

雲監控

對接雲監控，支援OSS基礎服務名額、性能名額和計量名額的監控

事件通知

支援事件通知，OSS上Object相關操作可觸發事件通知，使用者可設定觸發器，以執行各種操作

實時日志

支援導出通路日志到使用者Bucket，也可結合日志服務，對OSS通路記錄實時查詢、可視化分析，滿足企業運維審計、業務分析等需求

資料處理能力

支援圖檔、文檔、視訊、CSV等資料的常用處理和分析能力，提供更智能的對象存儲

圖檔處理

支援jpg、png、bmp、gif、webp、tiff等格式的轉換，以及縮略圖、剪裁、水印、縮放等多種操作

視訊截幀

支援截取出視訊中的指定位置生成圖檔，完成視訊截幀

文檔預覽

支援對ppt、xls、doc、pdf 等格式文檔進行線上預覽

标簽識别

支援圖檔場景标簽識别，如交通工具、電子産品、常用物品、飲食等，支援分層标簽

人臉識别

支援圖檔中多張人臉的位置與屬性檢測，如性别、年齡、情緒、頭部姿勢、眼睛狀态、模糊度等

OSS Select

支援通過SQL選取CSV、JSON檔案内容，而無需下載下傳整個檔案再分析，可為大資料應用提速

資料生态豐富

支援對接開源生态、阿裡雲豐富的計算産品、資料管理産品，幫助客戶釋放資料更大的業務價值

開源生态

中國首家被Hadoop官方社群支援的雲存儲，可對接豐富的開源生态。使用者可通過Logstash、Flume将日志投遞到OSS，可在Hadoop、Spark、Hive、Impala、Flink、Presto中通路OSS，通過計算存儲分離架構，将溫資料、冷

資料存儲在OSS。

計算産品對接

OSS無縫對接阿裡雲日志服務、EMR、DataLakeAnalytics、函數計算、批量計算、MaxCompute，滿足使用者日志投遞、離線處理、互動式查詢、Severless觸發計算、批量計算等場景需求。

資料管理生态

支援通過阿裡雲DBS，将各類資料庫備份到OSS；通過資料內建，将資料導入到OSS；通過阿裡雲混合雲存儲陣列結合雲上OSS，可實作本地和雲端存儲空間的無縫結合。

大規模資料遷移

支援PB級的線上、離線遷移方案，完成中國網際網路首個單客戶百PB級資料的遷移上雲案例，提供更安全、更快速海量資料遷移上雲方案

離線資料遷移

閃電立方可将使用者線下資料，安全、高效的遷移到OSS，提供端到端的加密機制，支援TB到PB級資料遷移上雲

線上資料遷移

使用者可使用阿裡雲線上資料遷移服務、OSSImport工具，将第三方雲存儲、自建線下存儲等各類資料，線上遷移到OSS，支援TB至PB級資料遷移到OSS

HDFS資料遷移

通過Hadoop對OSS的支援，使用者可以在自建的Hadoop叢集或通過阿裡雲EMR，将HDFS中大規模的資料遷移到OSS

對象存儲OSS有哪些技術優勢？

對象存儲設定之初便是面向網絡、海量資料的高可靠、高可用、可彈性擴容的公共服務

設計目标

任意大小資料對象存儲

• 單個對象最大可存48TB

• • Normal （0～5GB）
  • Multipart（0～48.8TB）
  • Appendable（0～5GB）

• 針對移動場景的調優

• • 斷點續傳
  • Multipart Part最小可以到100KB

• Append

• • 滿足邊寫邊讀

海量存儲

• 可線性擴充
• 萬台單叢集

彈性擴容

能夠自适應業務資料快速增長，避免出現存儲空間被打爆，通過業界領先的資源供應鍊管理、軟體分布式彈性設計，實作 百 EB 級空間、百萬億級對象規模 能力

高可靠性

指在硬碟、伺服器、網絡等故障情況下，以及火災、地震、洪水等災害時，可以有效防止資料丢失，通過跨機機櫃、機房、區域的資料備援，實作了99.9999999999%（12 個 9）的高可靠性

• 同城備援存儲(3AZ) ，實作 RPO 為 0 的容災能力。基于遵守 PAXOS 的一緻性協定、精妙設計的 AZ 間帶寬和時延、以及資料分片的政策，保證了 AZ 故障後的快速切換，零資料丢失。經過螞蟻主站(支付寶賬單、刷臉類業務)、網商銀行、淘寶短視訊、天貓大屏等的業務打磨，檢驗了 3AZ 的能力，得到了廣泛認可。
• 跨區域複制2.0 ，實作 RPO 為秒級～分鐘級的容災能力。新版本的複制，在性能優化、使用者隔離、依賴解藕方面，做了針對性設計優化，提高了複制的能力。同時，針對雲客戶在同城兩資料中心場景下，實作 OSS 的桶能夠跨兩資料中心儲存資料的需求，開發了 OSS 雙叢集同城容災  特性。

高可用性

指在伺服器故障時、光纖挖斷時，可自動切換實作業務連續性，通過容錯設計，實作了 99.995% 的可用性

安全存儲

指資料通路的認證、授權、加密、以及行業法規遵從，支援多項合規認證，比如 KMS 加密、WORM 認證等

自動生命管理

支援冷熱資料的管理，優化 TCO，提供标準、低頻、歸檔存儲，并自動化遷移，優化存儲使用成本。

公共服務

• 多租戶
• 隔離
• QoS

對象存儲OSS有哪些産品優勢？

穩定可靠

OSS作為阿裡巴巴全集團資料存儲的核心基礎設施，多年支撐雙十一業務高峰，曆經高可用與高可靠的嚴苛考驗。OSS的多重備援架構設計，為資料持久存儲提供可靠保障。同時，OSS基于高可用架構設計，消除單節故障，確定資料業務的持續性。

安全合規

支援服務端加密、用戶端加密、防盜鍊、IP黑白名單、細粒度權限管控、日志審計、WORM特性，并獲得多項合規認證，包括SEC、FINRA等，滿足企業資料安全與合規要求。

智能存儲

提供多種資料處理能力，如圖檔處理、視訊截幀、文檔預覽、圖檔場景識别、人臉識别、SQL就地查詢等，并無縫對接Hadoop生态、以及阿裡雲函數計算、EMR、DataLakeAnalytics、BatchCompute、MaxCompute、DBS等産品，滿足企業資料分析與管理的需求。

資料分層

提供标準、低頻、歸檔以及冷歸檔多種類型，通過生命周期自動化實作資料類型轉換與過期管理，覆寫從熱到冷多種存儲場景。

友善易用

提供RESTFul API、控制台、多種開發語言的SDK、指令行工具、圖形化工具等多種使用方式，可以随時随地通過網絡管理資料。

支援按量付費模式，按實際使用量付費，無需提前一次性投入。同時，自動彈性擴充，不限使用者存儲的容量和檔案數目，滿足EB級海量存儲需求。

對象存儲OSS有哪些基本概念？

存儲空間（Bucket）

用于存儲對象（Object）的容器，同一個存儲空間的内部是扁平的，沒有檔案系統的目錄等概念，所有的對象都必須隸屬于某個存儲空間。存儲空間具有各種配置屬性，包括地域、通路權限、存儲類型等。可根據實際需求，

建立不同存儲空間

存儲不同資料。

對象/檔案（Object）

是 OSS 存儲資料的基本單元，也被稱為 OSS 的檔案。對象由元資訊（Object Meta）、使用者資料（Data）和檔案名（Key）組成。對象由存儲空間内部唯一的 Key 來辨別。對象元資訊是一組鍵值對，表示了對象的一些屬性，比如最後修改時間、大小等資訊，支援在元資訊中存儲一些自定義的資訊。對象的生命周期是從上傳成功到被删除為止