天天看點

“ADAPT”之PowerVault ME4系列入門級存儲

21世紀是資訊化時代,海量資料的爆發捧紅了大容量存儲——既能為各種應用提供足夠空間,又具備良好性能的大容量存儲,迎合了企業不斷增加的存儲需要,備受追捧,但與此同時,風險正在滋生。

最大風險是什麼呢?

存儲海量資料的硬碟故障

常見的少量RAID組硬碟故障還是可以接受的,但大量磁盤、海量資料的環境卻着實令人擔憂,因為傳統RAID重建時間比較久,在漫長的重建過程中,多塊硬碟損壞、故障的機率也在加大,而且磁盤數量越多、裝置使用越久,相應地磁盤故障域就越大,是以這種情況下,資料也越來越不安全了。

對IT運維人員來說,丢資料是件相當嚴重的事情——小則通報挨批,大則砸掉飯碗,若有海量資料丢失,後果更是不堪設想,而實際生活中,這樣的慘劇并不少見。

另一方面,以海量檔案存儲、視訊監控、郵件、視訊編輯、重要備份及歸檔等為重心的大型存儲池,往往要求極速的重建,注重資料安全,而且需要簡化的初始部署及應用擴充,對此,難道隻能選擇中高端存儲嗎?

答案是否定的

安全、可靠、大容量的戴爾易安信入門級存儲——PowerVault ME4了解一下

經濟實惠的

入門級存儲ME4

針對使用者需求,戴爾易安信持續創新,推出入門級存儲ME4,作為熱門的PowerVault MD3陣列的下一代産品,全新的PowerVault ME4專為SAN和DAS建構優化,憑借着經濟實惠、簡單易用、快速強大諸多特質,深受客戶青睐。

“ADAPT”之PowerVault ME4系列入門級存儲

其中,ME4控制器軟體新釋出的ADAPT軟體,可滿足擁有海量資料的客戶在重建速度、安全、簡化部署及擴充性方面的需求,帶來了諸多優勢。

提供适應性的

ADAPT軟體

英國生物學家赫胥黎在《天演論》中提出“物競天擇,适者生存”的觀念,強調生物隻有不斷進化,适應自己的生存環境才不至于被淘汰。适,符合、适應之意,英文為Adapt,面對數字化時代多樣的存儲需求,ME4的ADPAT又是如何适應環境要求的呢?

ADAPT基本概念:

ADAPT:Autonomic Distributed Allocation Protection Technology,是基于RAID的資料保護方案,提供内置備盤容量,允許非常快速的重建,大型存儲池和簡化的擴充。

作為傳統RAID類型(RAID 0、1、5、6等)的替代方案,ADAPT可将奇偶校驗分布在更大的一組HDD或SSD上,提供更好的資料保護、可擴充性和其他優勢。ADAPT磁盤組中的所有磁盤必須是相同的類型(如企業級SAS)并且在同一層中(ME4上的層性能=SSD,标準=10K/15K,存檔=7.2K),但可以具有不同的容量。

在管理界面中,ADAPT顯示為一個RAID級别(如下圖▼)。

“ADAPT”之PowerVault ME4系列入門級存儲

▲在WEB管理界面添加磁盤組——

ADAPT和RAID-1,5, 6 ,10在一個選項中

ADAPT技術原理:

通常,傳統熱備盤在磁盤組成員發生故障時保持備用狀态,但熱備盤是被動的;

而ADAPT通過在陣列中保留備用容量(而不是備用磁盤)來解決此問題,這意味着ADAPT磁盤組有保留容量且在一個或多個磁盤成員發生故障時可以将其用作備用磁盤,ADAPT的預設備用容量是磁盤組中最大容量磁盤的2倍,由此可保證組内任意兩個磁盤丢失而不影響資料的恢複,而備盤容量會根據磁盤組的建立、擴容或再平衡而發生變化。

ADAPT的實體排列調整磁盤組使用所有可用空間來保持容錯性,資料跨所有磁盤均勻分布,當添加新資料、新磁盤,或系統認為該資料未采用平衡方式跨磁盤分布時,它會自動移動資料以便在整個磁盤組之間保持平衡。

如何實作這一點呢?

ADAPT由8個資料塊+2個奇偶校驗塊組成的條帶進行操作,提供了比RAID6更優化的順寫性能,是以不會在寫入之前,對磁盤組的做大量的完整條帶化而導緻性能下降。

一個條帶由磁盤組的10個成員組成,其中8個資料塊和2個奇偶校驗塊。塊是構成條帶元件的相鄰空間的每個磁盤的最小機關,這可能包含資料或奇偶校驗資訊以保護條帶的其他資料塊,采用裡德-所羅門編碼的RAID6雙奇偶校驗保護技術來保護資料。

一個塊512kb,條帶擴充為4Mib(任何虛拟模式卷的最小配置設定機關是一頁4Mib)。條帶在條帶區線性聚集,每個條帶區包含2048個相鄰的RAID6條帶,是以存儲了8GB的使用者資料在條帶區内(如圖所示)。

“ADAPT”之PowerVault ME4系列入門級存儲

▲條帶區跨越一個磁盤組

ADAPT采用與傳統RAID6不同的方式處理備用磁盤。

在傳統的RAID6中,你配置設定一個數字,如果磁盤出現故障,就開始使用備用磁盤。這種方法就帶來一個問題:如果硬碟不出現故障,備用磁盤是不會被使用的;

而ADAPT的方法是使用所有磁盤,通過磁盤組提供空間,并且陣列重建也很友善,盡管可以更改,但預設保留2個備用容量的磁盤,這就是ADAPT組的最小磁盤數為12且有2個備用磁盤數容量的原因,其餘10個磁盤中的80%用于使用者資料,20%用于裡德-所羅門編碼的備援(“奇偶校驗”)。

備用容量均勻分布在所有磁盤的邏輯塊位址(Logical Block Addressing)空間中,這個備用空間以1Mib為機關保留,備用空間的數量與2個相同磁盤的容量是等同的,均勻分布在磁盤組成員和磁盤組每個成員的邏輯塊位址,下圖就顯示了備用空間均勻地分布在磁盤組空間中的狀态。

“ADAPT”之PowerVault ME4系列入門級存儲

▲硬碟組的備用容量配置設定

如果要補充目前目标備用容量或增加可用容量,可通過擴充ADAPT磁盤組來實作。一個14磁盤ADAPT陣列可以增加6個磁盤升到20個磁盤ADAPT陣列,如果采取措施,控制器将進行平衡操作。在此操作中,目前陣列将在新陣列的所有成員中旋轉,這個過程需要在背景運作一段時間。

下圖顯示了如何添加多個成員到磁盤組及其擴充方式,并在控制器上重新對條帶進行條帶化。

“ADAPT”之PowerVault ME4系列入門級存儲

▲磁盤組擴容重新條帶

從構造的可用空間中提取備用磁盤容量,這允許在陣列内進行重建,其優點也相當可觀的——重建速度更快,因為重建過程中磁盤組的所有成員都參與此過程。

ADAPT示例:

PowerVault ME4系列的ADAPT可利用大容量磁盤降低重建時間,并提高系統的整體可靠性和性能。

重建往往需要數小時或數天才能完成,具體多久取決于磁盤組的RAID級别和大小、磁盤速度、公用程式優先級、主機I/O活動和存儲系統上運作的其他程序等因素。

下表展示了RAID 6(8+2)磁盤組和ADAPT磁盤組(24、48和128個磁盤)的性能影響和重建時間的計算值,以10TB磁盤為例,讀寫并行,重建速率為50MB/秒/磁盤。

“ADAPT”之PowerVault ME4系列入門級存儲

根據上表,對傳統RAID來說,整個過程就是将10TB磁盤進行重新條帶并資料重寫,重建時間就是10,000,000MB除以50MB/秒,再除以3600秒,大約為55.5小時;

而對于ADAPT磁盤組,以無磁盤故障讀性能為基準,對比磁盤故障時的讀性能變化。可以看到,1塊磁盤故障時,磁盤數越多,ADAPT的讀性能影響越小,重建時間也越短;同時也能看出,2個磁盤故障雖然讀性能影響沒有優化,但128個磁盤關鍵資料的重建時間已經減少到了16分鐘——這樣的結果,無疑給海量存儲的客戶提供了良好的性能,以及資料安全方面的更高保障。

當陣列中有1個以上的磁盤成員出現故障時,某些條帶将丢失1個和其他2個塊,這取決于它們在陣列布局中的位置。丢失了2個成員的條帶比丢失了1個成員的條帶的風險更大,因為該條帶中的任何進一步資料丢失都無法再得到糾正或保護。是以,重建過程中要優先考慮丢失2個塊的條帶,這意味着重建有兩個關鍵的次元:一是重回備援,二是完成重建并傳回最佳狀态。

下圖展示了由于磁盤陣列的2個成員丢失而重建的優先級。

“ADAPT”之PowerVault ME4系列入門級存儲

▲條帶重建優先級

ADAPT隻需對受磁盤丢失影響的條帶執行此過程,這将減少需要重新生成的資料。此外,随着陣列變得更寬,對每個成員的資料量貢獻也會減少,是以随着陣列磁盤變多,重建時間的改進也會提升。

另一個關鍵名額是當磁盤丢失時對性能的影響。在傳統的RAID中,需要奇偶校驗資訊來重新構造因磁盤丢失而丢失的資料;

ADAPT方面,為了适應更多磁盤的陣列擴充,任何1個磁盤損耗的影響都會減小。此外,由于預留容量,并非所有條帶都會受到影響。是以,與許多傳統陣列相比,ADAPT在1或2個磁盤故障的情況下對性能的影響較小。

ADAPT最佳建議

ADAPT是在生成磁盤組時提供的一個附加選項,可以線上性或虛拟模式下建立ADAPT磁盤組。

線上性模式中,空間被配置設定給陣列的所有成員;虛拟模式下,當在卷中建立新空間時,它會根據需要逐頁配置設定。頁面的概念是許多ME4系列進階功能的基本便利,當選擇虛拟模式時,頁面的基本概念将啟用其他功能,例如分層、快照、遠端複制。

ADAPT作為一種輔助技術,有助于創造現代靈活的存儲使用,例如将磁盤組分層。建立一個磁盤組時,如果将ADAPT用于大容量存儲,則應将其與标準層或存檔層關聯,随後應将更高性能的SSD裝置選擇到自己的磁盤組中,并選擇性能層選項。

在帶兩個控制器子產品的存儲系統中,可以嘗試平衡控制器的工作負載,每個控制器可以擁有一個磁盤組,每個磁盤組中具有相同數量的磁盤組和卷将幫助平衡工作負載,進而提高性能。

由于ME4控制器在磁盤組級别擁有所有權,建議每個控制器擁有平衡數量的磁盤組,必須在五個驅動器組之間進行平衡可能會導緻每個驅動器組級别的性能不同,因為每個控制器将在其各自的驅動器組數量上限制不同的性能,不平衡不是一個問題,但它确實會使每個控制器的最佳性能平衡負載變得更困難。

另外,擁有更多磁盤的磁盤組的帶寬性能更快。如果我們考慮順序讀或寫IO,使用ME4控制器和目前的磁盤技術,在單個磁盤組級接近控制器寫入性能時對其限制。是以,如果添加更多的磁盤組或使用更多磁盤的磁盤組,在考慮順序IO時可能不會觀察到增量性能。

目前,ME4存儲最大順序寫入為5500MB/s,最大順序讀為7000MB/s,讀取IOPS高達32萬。

綜上,除了極速重建,在有一定的性能需求時,RAID組的平衡設計也是很重要的,特别是組數的平衡考慮。

ADAPT和傳統RAID組之間的一個關鍵差別是可以建構陣列的擴充,RAID5和6最多可應用于16個磁盤的擴充。雖然ADAPT組最小為12,但最大可達128個磁盤,是以磁盤組擴充能力遠遠大于傳統的RAID 6。這具有重要意義,尤其是考慮到ME4084的潛在拓撲結構時,使用此功能,可以考慮如何在ME4084上布局磁盤組。

RAID6将提供5*16個磁盤組和4個備用磁盤。

ADAPT:242個磁盤組為最佳或614個磁盤組。

5U機箱上建構的陣列的一些關鍵屬性,下圖以單盤8T硬碟,極速重建場景為例。

“ADAPT”之PowerVault ME4系列入門級存儲

▲ME4084建構陣列參數示例

如上表所示,2*ADAPT 42個磁盤組,當2塊磁盤故障後,恢複容錯的速度比RAID 6快了近9倍,這意味着以這種方式配置的存儲子產品具有更高的可用性和可靠性。這裡說明一下,建議每個控制器擁有1個磁盤組,1組84個磁盤雖然不是最優的,但在技術上是可行的。

如果對帶寬性能有要求,可以将ME4084配置為6*14磁盤的ADAPT組,每個控制器擁有3個磁盤組。讀帶寬最大可達7.3GB/sreads,寫帶寬最高可達5.6GB/s。

對于關鍵資料,為什麼會有如此快的重建速度呢?

原因在于為ADAPT磁盤組保留備盤容量是自動進行的,專用于備盤的磁盤空間跨系統中的所有磁盤自動分布。在出現磁盤故障的情況下,資料将移動到磁盤組中的許多磁盤,進而允許快速重建并盡量降低對I/O的影響。

是以,在做ADAPT組時,建議每個控制器做平衡組,以確定性能的平衡,并要結合應用特點,針對不同的重建和性能需求,配置ADAPT的組數:性能要求越高,建議多組數;重建時間要求短,則組内磁盤數多點為佳。

大包大攬——

ME4存儲的多緯度特性

有時對于入門級存儲的需求,業務部門在方案階段通常以價格和容量為選購條件,往往不喜歡深入研究。其實從經驗來看,需求是随着業務而變化的,而業務是變化多端的,是以建議企業在選購存儲時做好前期評估,包括實施細節、方案優劣勢、産品擴充性以及其它附加功能,多考慮幾個次元,才能無後顧之憂。

ADAPT是戴爾易安信系統軟體中最新的增強功能,預設情況下,除了更傳統的RAID資料保護方案外,每個PowerVault ME4陣列都可以使用ADAPT,而ME4存儲除了ADAPT軟體功能外,還另有幾個優秀特點——

1.大包大攬,所有功能軟體均不再額外付費,全部随機内置!

“ADAPT”之PowerVault ME4系列入門級存儲

所有軟體内置随機自帶全免費,對于存儲常用的分層、快照、複制等增值功能,業内的采購費用普遍不低,配合起來利用的話,就相當于“賺錢”了。[注:本人有實施過此方案,裡邊加密功能國内無法購買]

2高擴充性。

我們來看看ME4存儲的擴充能力:

最大支援磁盤數

最大支援磁盤數:5U84控制器機櫃+三個5U84擴充機櫃=336磁盤,也就是說ME4可在20U高度支援336個磁盤,而ADAPT可以一次添加多達68個磁盤,這樣的擴充能力對于入門級存儲來說,也算是絕無僅有的了!

最大容量

最大容量:原始容量高達4PB,單個ADAPT最大磁盤組支援1PB,每個控制器支援4個ADAPT組。以視訊監控為例,分辨率1080P,碼流小大4Mbps,30天存儲空間為1.236TB(存儲容量計算:攝像頭路數×碼流4Mbps×3600秒×24小時×30天÷1024÷1024÷8),支援1000路的攝像頭也是So Easy了!

資料驅動生産力,數字化和其應用平台的IT發展已成必然趨勢,面對海量資料催生的入門級大容量存儲需求,ME4存儲真可謂是物競天擇,“ADAPT”者生“存”,希望大家能通過此次介紹深入了解ME4存儲的這一軟體特性,重新認識并合理規劃ME4存儲,更好地開發和使用它的軟體功能,進而獲得更多收益。

---本文轉自至頂網