天天看點

如何自建雲存儲平台?

雲存儲盛行的今天,it專家需要用比以往更加寬廣的視野來審視他們的資料中心,雲計算,雲存儲,大資料,這些概念和技術不但要關注,而且如何融入到自己的目前環境中是迫在眉睫的事情了。以往在組織内部獨來獨往的it部門(比如網絡和存儲)現在由于融合的緣故必須更加緊密地互相配合。這促使it部門之間提高合作程度,進而給it組織帶來了莫大的好處,推動性能上的提升和成本上的削減。

傳統存儲架構的特點

專門用于存儲的san(存儲區域網路)不僅成本昂貴而且功能單一。随着網絡速度的提升,現在融合面臨着更大的機遇,因為現在資料中心骨幹網絡可以容納存儲,進而建立單一的資料傳輸管道。通過iscsi(網際網路小型計算機系統接口)或以太網光纖通道(fcoe),内部ip網絡上的存儲雲在靈活性上正越來越具有優勢。傳統的網絡連接配接将支援ip傳輸(比如iscsi,nfs(網絡檔案系統)或cifs(通用網際網路檔案系統),以及fcoe)的現有要求。

fcoe旨在促使san擴充到整個企業資料中心。許多資料中心使用針對tcp/ip網絡的以太網和針對存儲區域網路(san)的光纖通道。通過fcoe,光纖通道變成運作在以太網上的另一個網絡協定,與傳統的ip傳輸一起傳輸。fcoe可以在網絡協定堆棧的以太網上直接運作,而iscsi則是運作在tcp和ip之上。是以,fcoe不可在ip層上傳輸,而且也将不可以在路由的ip網絡上工作。

新的資料中心網絡傳輸将包含多個協定,包括傳統的tcp/ip和現在fcoe,同時繼續支援傳統的向外的網絡傳輸以便進行訊息傳遞和資料通信。

那些對存儲預算比較敏感的組織有必要了解雲。

自建雲存儲

什麼是雲存儲?對雲最好的描述是一個公共事業機關。雲包含各種幕後技術--可擴充的和備援的伺服器、控制器、存儲和軟體--這些技術都是現成的,将它們結合在一起可以建立一個存儲"雲"。(owncloud 打造自己的專屬私有雲) 

如何自建雲存儲平台?

在這種模式下,我們可以從地理上分散的多個站點中獲得各種磁盤池,将它們整合到存儲的邏輯分區,将這些分區複制到(本地地或異地地)其他地方,并通過在網絡上可通路的全局命名空間将整合後的存儲安全地提供給每個小組。

這些磁盤池有各種特點和功能,比如重複資料删除、自動精簡配置、高可擴充性、資料保護以及簡單的管理。這些整合後的功能,加上網絡的高帶寬,使雲存儲得以在如今變成現實。

雖然資料量繼續快速增長,但是許多組織的it預算還是持平或在下滑,進而給許多公司帶來巨大的挑戰。它們必須一方面管理好資料增長,另一方面還要保持成本下滑。雲存儲可以在這個方面發揮作用。

在公司的存儲環境内部,大約有60%到80%的資料可以列為舊資料或過期資料,這些資料應該放在第3到6層的存儲上。

1層——企業級,高速

2層——企業級,中速

3層——san/nas(網絡附加存儲)(子產品化,高速)

4層——san/nas(子產品化,低速)

5層——cas(内容感覺存儲)(歸檔合規)

6層——vtl(虛拟錄音帶庫)

在大多數資料中心内部,有許多非結構化資料和歸檔資料,這類資料非常适合于雲存儲。 内部雲與外部雲

雲存儲大緻可以分為兩類:内部雲和外部雲。外部雲是第三方服務提供商所提供的雲服務。内部雲的許多特性和外部雲相同,但是屬于組織本身并且在内部運作。

在選擇内部雲和外部雲的時候,網絡延遲性必須得到考慮。外部雲依賴于網際網路,是以隻适合于4-6層資料存儲。内部雲可以用于3層以下存儲,視本地内部網帶寬而定。

對于大多數it組織來說,可擴充性是内部雲存儲的一個關鍵名額。雖然支援者聲稱雲非常易于擴充,且擁有近乎無限制的增長潛力,但是我們還是需要仔細考慮雲的容錯性、動态擴充和容量增長規劃。雲并不是應對資料增長的萬靈藥,它是一個需要有效管理的商品。

此外,在實施雲存儲之前,我們也需要定義和了解關鍵的性能名額。通常,我們假設非活躍資料不需要像高層存儲那樣高的性能。但是,同時進行的其他項目,比如電子發現,可能需要這類資料有相當的性能。

響應時間和終端使用者體驗也必須協調。我們必須有服務水準協定(sla)或運作水準協定(ola),

且雲解決方案必須可以滿足這些要求。由于資料是通過内部網通路的,在進行雲存儲實施前,必須對目前網絡能力和容量有一個清醒的認識,判斷好可能的延遲性。對于特定的内部雲解決方案,必須在整個解決方案中加入最佳實踐指導。

在考慮新技術的時候,我們需要評估管理上的簡單性和實施上的友善性。我們經常需要依賴已經有工作任務的現有人員來部署實施新的技術。

我們需要判斷好需要什麼樣的角色和職責,這些職責如何配置設定,以及需要多少時間。這些問題并不是單純的技術問題,而是一個有助于提高現有人員整體效率的思考過程。

判斷雲存儲是否适合于某個組織是需要仔細考慮的。首先,我們需要分析資料中心資料,判斷有多少資料可以遷移到雲。然後,it人員必須判斷這些資料可以以怎樣的方式遷移到雲。一些資料的遷移很簡單,就像複制過程一樣;另一些資料的遷移可能需要某種形式的資料遷移器,以保證這些資料遷移後能夠符合實作設定好的政策。

另一個重要的考慮因素是經濟上的可行性。外部雲可能适合于那些關心現有存儲成本并厭惡風險的公司,而那些對外部雲的成本和風險比較敏感的公司可能會選擇部署内部雲。

由于外部雲實際上是存儲即服務,是以其成本取決于存儲資料量和合約時間。另一方面,内部雲在總擁有成本上的考慮和大多數其他内部存儲方式一樣。

雲存儲的功能與職能

雲存儲可以僅包含存儲,也可以既包含存儲也包含計算。随着伺服器和存儲都可以被虛拟化并通過不同的協定來連接配接,雲計算的世界有越來越多的功能和職能。就更加純粹的雲存儲而言,存儲通常是連接配接到以太網并通過http(s)、cifs/nfs、fcip(基于ip協定的光纖通道)/iscsi或fcoe協定來通路。

存儲功能(比如自動精簡配置、自動資料重分層、重複資料删除、自動複制)和本地/地理上分散的解決方案正變得越來越流行。

雲的潛在問題包括:

非常大的檔案

大量非常小的檔案

以一定頻率通路的檔案擴充連接配接協定可以支援的對象

外部雲服務提供商有時會關閉存儲的預讀高速緩存引擎,導緻終端使用者的資料讀取變慢

好處與顧慮

雲存儲的好處包括it職能部門(比如存儲和網絡部門)之間更好的協作,以及對存儲池的自服務網絡通路。這種存儲應該要有政策推動型的自動化功能,包括快速和友善的存儲配置和重新配置設定,以及自動化的複制功能。使用者對外部雲的顧慮主要包括資料可用性、訂購條款、缺少地點控制、缺少對資料的實體通路、為支援解決方案而增加的額外的元件、外部帶寬要求、壓縮和/或加密資料的需求,以及潛在的合規風險。

使用者對内部雲的顧慮通常更少,但是使用者還是要注意軟硬體上的安全性、管理、更新和更新,以及前期資本投入。大多數這些顧慮已經存在于日常的内部存儲管理中,并不是新問題。

雲存儲使使用者可以快速增加存儲,減少存儲管理者的負擔。資料在平台内部的遷移或平台到平台以及站點到站點的遷移可以自動化,進而進一步減少存儲管理者的負擔。

在某個層(比如針對備份或歸檔)配置雲存儲的使用者可能會在現有工具内設定政策,然後再将資料遷移到雲存儲。對那些有季節性需求并将雲看做是快速增加容量的工具的使用者而言,以及對那些需要在測試環境中建立資料副本的使用者而言,他們的政策是在不需要繼續存儲的時候釋放臨時資料存儲空間,并根據需要進行備份或歸檔。

最後,對于那些管理自己的雲存儲的使用者,有一些解決方案可以建立自動政策。這些例子可能包括對存儲的配置或重配置設定。

雲服務的五步實施包括:

集中化it管理,以便獲得規模經濟性,更好地了解成本并控制it服務。

根據主要的業務要求,标準化雲服務。如果試圖針對每個應用程式而支援專門的解決方案的話,會給資源帶來負擔。一緻性是提高品質、減少支援成本和風險的關鍵。标準化是合并和自動化成功的前提條件。

虛拟化并合并實體架構。虛拟化和合并可以提高使用率和存儲效率。虛拟化可以在每個架構堆棧層

級上實施:在應用程式和資料獲得移動性後,使用者可以獲得統一的存儲、統一的光纖架構、虛拟伺服器、更高的資産使用率和簡化的資産生命周期管理。整合的資源可以帶來更快的市場反應速度和更低的整體成本。

自動化環境:一旦雲服務和流程得到标準化,架構得到虛拟化,那麼就可以實施自動化。自動化工具可以提高抽象程度,為整體的工作流管理提供簡化的和高效的控制。

授權給自服務和api(應用程式程式設計接口)。将控制權轉移給組織/使用者是雲服務模式部署成功的明證。通過應用程式整合和自服務功能,應用程式管理者和所有者可以靈活地随需擴充,根據組織的要求選擇不同的性能水準和資料保護水準,并從應用程式錯誤中自動恢複。這很大程度上減少了管理者的負擔。雲服務的擴充需要組織内部各部門間互相配合才能順利度過各個階段。

原文釋出時間為:2016年7月25日

本文來自雲栖社群合作夥伴至頂網,了解相關資訊可以關注至頂網。

繼續閱讀