天天看點

微軟超融合+混合雲:源自Azure技術的超融合架構

---------------------------------------------------------------------------------------------------------

2021年5月更新:

Azure Stack HCI 2021年5月10日正式落地Azure世紀互聯,中國Azure的使用者可以更簡單的在本地的資料中心建立微軟混合雲,請閱讀我近期更新的三篇的文章:

四年後看微軟第二代超融合系統_SDDC 技術前沿-CSDN部落格      

微軟超融合進化: Azure Stack HCI內建系統為何成為最佳選擇?_SDDC 技術前沿-CSDN部落格

微軟混合雲Azure Stack HCI正式在華商用_SDDC 技術前沿-CSDN部落格

 ---------------------------------------------------------------------------------------------------------   

    微軟Azure上市以來一直受到業界的矚目,除技術一直穩居Gartner魔力象限上司者外,同時營收業績驕人,年增長率基本在100%以上。微軟的雲戰略雖然一直是這幾年重心,但是他并沒有放棄私有雲市場,而是利用Azure上成功的技術幫助企業進行資料中心轉型(Transform the Datacenter)。

超融合的核心是軟體定義資料中心

       超融合基礎架構稱為Hyper-ConvergedInfrastructure(HCI),是在融合架構發展之後新興的軟體定義資料中心基礎架構。超融合将計算和存儲節點融合在一起,利用最新的閃存技術和網絡技術,建構低延遲高IOPS的軟體定義存儲,以及更加高效的計算叢集。超融合架構更加靈活,資源可以随意縮放,部署和管理更加簡單和統一。正因如此,超融合基礎架構更加接近公有雲的技術架構,如微軟就将Azure最新軟體定義存儲(SDS),軟體定義網絡技術(SDN)融入到微軟超融合架構中,同時與Azure公有雲一樣,能夠支援多種計算業務場景,如:Windows或Linux的虛拟機或容器。

微軟超融合+混合雲:源自Azure技術的超融合架構

      超融合基礎架構從2016年起快速發展,一是軟體定義資料中心技術不斷成熟,二是客戶混合雲需求越來越突顯,三是新的硬體技術快速發展。

       微軟超融合具備與Azure一樣的基礎架構,比如WindowsServer 2016資料中心版內建的軟體定義資料中心所有元件,技術源于微軟Azure。微軟剛剛釋出的Azure Stack也采用Windows Server 2016資料中心版的超融合基礎架構。這種軟體定義資料中心最終目标是将計算、網絡、存儲、虛拟化,以及硬體資源緊密融合在一起,搭建更簡單,縮放性更強的計算環境。

       根據第三方機構資料顯示注1:74%企業相信混合雲環境能夠支撐業務增長;82%企業已經有了混合雲戰略。Gartner在2016年初預計,超融合系統當年的增長率為79%,市場規模将從(2016年的)近20億美元增長到2019年的約50億美元,在融合系統市場占比達24%,并在2020年成為資料中心的主流。微軟在發展公有雲Azure同時,一直緻力于企業混合雲市場的發展。微軟在2014年11月釋出了第一代的混合雲平台産品Cloud Platform System,産品基于Windows Server 2012 R2, System Center 2012 R2和Windows Azure Pack建構,內建流程和自動化管理,使用者可獲得與Azure一樣的簡單使用體驗,支援備份到Azure,通過Azure Site Recover實作快速災難恢複,并內建防病毒安全防護軟體等。在2016年10月,産品更新為Windows Server 2016平台和Azure Pack 2.0,并且支援屏蔽的虛拟機等新的安全技術。同時在2017年9月釋出Azure Stack,将Azure服務核心私有化的産品,與Azure公有雲共享代碼,API和管理門戶。超融合基礎架構整合混合雲管理軟體是更具靈活性、更高效的IT基礎架構。

微軟超融合+混合雲:源自Azure技術的超融合架構

       資料中心在從10GbE向25GbE快速演進。10GbE網卡技術成熟,在虛拟化推動下,萬兆網卡和萬兆交換機基本是虛拟化資料中心的标配,同時RDMA技術應用場景越來越多,大大提升了虛拟機遷移的效率,降低軟體定義存儲的延遲。25GbE網卡在2016年上市,2017年許多硬體廠家已經在新釋出的伺服器上支援了25GbE網卡,支援VXLAN和NVGRE硬體解除安裝,和RDMA(RoCE, iWARP)技術。同時25G接入交換機在2017年大量上市,比如支援Open Networking,DCB和100GbE上行等,提高超融合叢集東西向帶寬。

      存儲技術飛速發展,傳統SAS機械磁盤技術在性能上已成瓶頸,而TLC 3DNAND技術的發展已經讓SSD的每GB成本非常接近與HDD。IOPS一直是衡量存儲性能重要資料,比如IntelP3700:随機讀取(100% Span) 450,000 IOPS,随機寫入(100%Span) 175,000 IOPS注2。與此同時應用對于存儲延遲要求越來越高,NAND固态盤延遲降低到100微秒,而NVMe将這一數值進一步降低到10微秒。

微軟超融合+混合雲:源自Azure技術的超融合架構

       微軟S2D軟體定義存儲技術将10GbE/25GbERDMA網絡技術和SSD/NVMe/NVDIMM存儲技術高效的結合,建構了高性能低延遲的本地存儲,同時有通過軟體技術實作資料容錯。超融合架構讓存儲和計算靠的更近,讓計算的效率大幅提升。由于架構簡單,不需要專用的存儲網絡,還能降低存儲的購買成本。超融合不但未客戶節約了成本,降低了運維的難度,還為客戶輕松上雲做好了準備。

如何借助軟體定義資料中心提升效率?

       随着資料中心的規模越來越大,網絡越來越複雜,存儲容量日益增加,應用可用性要求越來越高,無論是雲伺服器提供商還是企業使用者,對軟體定義資料中心(SDDC)的青睐日益明顯。微軟在某些新技術領域屬于倡導者,大家可能并不熟悉,最早的并被廣泛認可的SDN組織ONF(Open Networking Foundation)就是由微軟、谷歌和Facebook聯合發起的(ONF用于定義SDN标準和推動SDN的産業化)。微軟在SDDC概念被提出來之前,便提出了資料中心轉型(Transform the Datacenter)的構想。資料中心轉型和SDDC的目标和技術實作如出一轍,微軟長期實踐着資料中心轉型的目标。截止到2017年微軟Azure全球44個資料中心,資料中心數量已經超過AWS和Google的總和。百萬級的伺服器數量,提供IaaS、PaaS和SaaS的各類服務,龐大的資料中心“硬朗”的外表裡通過雲平台架構植入了這顆“微軟的芯”。資料中心設計理念和思路在不斷更新疊代,所使用的軟體技術也不斷推陳出新。微軟不僅在Azure實踐着資料中心轉型的目标,還将最新的技術帶給客戶,幫助客戶實作自有資料中心向混合雲的轉型更新。

       20年磨一劍,WindowsServer鍛造出了很好的資料中心基因,尤其在基礎架構層面的影響力,活動目錄,檔案伺服器,組政策等等,以及WindowsServer所支援的龐大使用者群的Exchange、Skype forbusiness和SQL Server ……總之,在x86市場占有絕對優勢的Windows Server一直默默耕耘,緊跟技術發展趨勢,WindowsServer 2008實作了軟體定義計算(Hyper-V伺服器虛拟化)的從0到1,Windows Server 2012實作了SDS和SDN的從無到有,WindowsServer 2016實作了容器技術以及SDDC的技術全面更新。在詳細了解微軟軟體定義資料中心之前,我們先來簡單回顧在微軟SDDC三個核心技術:軟體定義計算SDC,軟體定義存儲SDS和軟體定義網絡SDN的技術發展曆程。

微軟超融合+混合雲:源自Azure技術的超融合架構

       微軟Hyper-V不斷發力,從Hyper-V1.0發展到Hyper-V3.0,依靠成熟的功能和完善的技術獲得了不錯的反響。WindowsServer 2008剛釋出就備受關注,一舉進入Gartner伺服器虛拟化高等級象限,充分被分析師和市場所看好。在WindowsServer 2008 R2釋出不久便一個健步越到了虛拟化魔力圖第一象限,在之後幾年時間裡不斷提高市場占有率,其功能不斷完善和成熟。2015到2016年,Windows Server伺服器虛拟化憑着不俗的表現穩穩占據着Gartner魔力象限的第一象限,并且不斷向第一象限更具挑戰性的位置攀升。

微軟超融合+混合雲:源自Azure技術的超融合架構

       在2016年秋季釋出的Gartner魔力象限裡微軟伺服器虛拟化和VMWare的距離進一步縮小。

微軟超融合+混合雲:源自Azure技術的超融合架構

      雲技術的快速發展沖擊的傳統存儲領域,以太網技術和存儲媒體的發展推動了軟體定義存儲技術進入快車道。2012年,Windows Server 2012引入存儲空間技術,正式涉足軟體定義的存儲領域,支援橫向擴充檔案系統,以及最新的SMB3.0和SMB Direct(支援RDMA網卡),支援重複資料删除技術等。第二代的SDS增強了存儲層技術,實作冷熱資料自動分層,并支援雙重奇偶校驗的容錯技術。第三代也就是在Windows Server 2016資料中心版內建的功能S2D(Storage Space Direct),真正實作計算和存儲的超融合,并且支援多種新存儲媒體:NVMe和NVDIMM。随着Windows Server 2016的更新,S2D的功能将不斷增強。

微軟超融合+混合雲:源自Azure技術的超融合架構

       Windows Server除了正在不斷擴充網絡能力,為了完善伺服器虛拟化還在和網絡硬體廠家就某些技術點展開深度合作,SR-IOV,VMQ,vRSS,IPSec任務解除安裝、QoS等虛拟化網絡加速技術正逐漸內建在伺服器虛拟化裡。微軟在WindowsServer 2012上第一次開始了SDN技術的嘗試,并聯合Intel、戴爾、Broadcom和Emulex等公司共同開發了NVGREOverlay隧道封裝協定,結合RRAS網關技術和硬體網關技術實作了較為完整的SDN服務。Windows Server 2016 SDN使用了使用更為廣泛的Overlay隧道協定——VXLAN,并同時新增了NFV投資。

微軟SDDC如何降低您的運維成本和複雜度?

       微軟軟體定義資料中心,底層為經過認證和測試的标準化伺服器和網絡硬體,通過統一管理的平台将網絡、計算和存儲以軟體定義方式實作傳統資料中心的所有功能,這一切技術源于微軟Azure。(如下圖)

微軟超融合+混合雲:源自Azure技術的超融合架構

1.   增強工作負載移動性,改善網絡安全性

       傳統的網絡基礎架構是死闆且複雜的,管理者需要花費大量時間以部署需要對網絡進行某些改動的工作負載,并且這一過程非常容易出錯。通過采用軟體定義的網絡(SDN)模型進行部署和管理,組織可以實作更快速的縮放并提高靈活度。使用SDN模型後,每個工作負載和租戶将被部署至一個互相重疊的網絡中,通過虛拟化的服務滿足工作負載的需求,例如交換、路由、負載均衡、防火牆,以及其他邊緣服務。是以IT将可以在無須更改實體網絡基礎架構的前提下,在本地、Azure雲,以及服務供應商的雲中實作自動化的工作負載部署。SDN還有助于保護防範網絡攻擊。IT可以根據威脅向量的不斷變化,動态調整工作負載保護措施,并進行更精确的模組化,快速更改網絡劃分和所實施的安全政策。

2.   降低存儲成本

       在一個高度虛拟化的環境中,底層存儲系統會影響到整個環境的整體性能。傳統手工方式配置的存儲系統,專用複雜的存儲網絡,無法符合軟體定義資料中心高度靈活的架構。WindowsServer 2016資料中心版中新增的軟體定義的存儲功能,例如存儲空間直通(Storage SpaceDirect,及S2D)、存儲複制、存儲QoS、存儲分層、高速緩存以及資料去重等技術,利用多節點實作資料容錯,可通過政策和自動化機制提升資料中心運維效率,降低存儲系統的管理成本。

3.   可信的安全平台

       網絡罪犯愈加專業,會通過各種精巧的政策入侵您的資料中心,擷取關鍵的業務資料。使用來自不同供應商的多個工具配置解決方案,這種做法隻能造成不必要的安全負擔。在Windows Server 2016資料中心版中,虛拟化平台内建的安全技術可保護虛拟化計算平台最基礎的建構塊:虛拟機。屏蔽的虛拟機是域控制器、證書伺服器等關鍵業務系統的理想選擇。這些虛拟機隻能運作在指定的硬體上,就算虛拟機無意外洩或被惡意管理者盜取,其中的資料依然處于加密狀态。憑據防護、裝置防護等其他功能也可以保護虛拟機中存儲的憑據,阻止惡意程式的運作。

      IT 部門需要努力確定黑客無法進入企業網絡。WindowsServer 2016内建了新增的網絡功能虛拟化防火牆,可以幫助組織将防火牆與軟體定義的網絡環境全面內建,并将防火牆自身設定的自動化和編排納入計算環境的變更中,借此提升安全性和運維效率。

4.   豐富的基礎架構管了解決方案。

       針對不同運維模式,Microsoft提供了種類豐富的基礎架構管了解決方案。除了WindowsServer提供的用于自動化管理的PowerShell工具,微軟還有由來已久的成熟方案SystemCenter。SCVMM除了可以對SDS和SDN進行部署和管理,除此以外,System Center還提供了監控、自動化編排、備份和服務管理等元件。同時Windows Azure Pack能幫助使用者建構如Azure一樣的管理者門戶和使用者自服務門戶,讓使用者獲得和在使用Azure一樣的使用體驗(如下圖)。

微軟超融合+混合雲:源自Azure技術的超融合架構

5.   子產品化的硬體裝置

      采用經過S2D方案測試認證的工業标準X86伺服器和高性能機櫃接入交換機,可以像拼樂高積木一樣按需堆疊,靈活縮放。伺服器支援Intel最新Scalable Silver/Gold/Platinum處理器,較上一代産品可以提升50%以上虛拟機密度。伺服器存儲針對軟體定義存儲設計優化結構,能有效提升單節點存儲容量,并可以支援不同類型閃存和磁盤。網卡采用支援NVGRE硬體解除安裝和RDMA(RoCE, iWARP)10GbE或25GbE。配置TPM2.0可啟用Windows Server 2016資料中心版的屏蔽的虛拟機功能。配置伺服器遠端管理卡,可以将硬體生命周期管理套件內建在SystemCenter中,實作軟體和硬體統一管理。

業界第一款基于微軟超融合就緒一體機産品:S2D Ready Nodes

       S2D就緒節點一體機(Dell Microsoft S2D Ready Nodes)采用微軟超融合技術,整套方案硬體+軟體+服務一體化,适合中小企業基于Hyper-V伺服器虛拟化和容器(Windows或Linux),以及VDI解決方案和各類微軟應用如:SQL Server、Exchange等。産品可以從2節點起配,最大擴充到16節點,支援虛拟機規模從120個虛拟機最大到1000個虛拟機規模,可靠性高:可以最多允許2個節點離線,靈活度高:可以2-16個節點随意增減節點。S2D ReadyNodes所有硬體配置經過驗證和測試,保證最佳相容性和可靠性;工廠預裝正版Windows Server 2016資料中心版,減少人工部署時間,驅動和系統可靠性經過Dell測試和認證;無需再購買Windows Server虛拟機授權。

更新:關于超融合基礎架構的選擇,請參考最新文章《微軟超融合進化: Azure Stack HCI內建系統為何成為最佳選擇?_SDDC 技術前沿-CSDN部落格》

微軟超融合+混合雲:源自Azure技術的超融合架構

有人會問,談這麼多技術架構,實際性能怎麼樣?我們來看一組微軟的4節點25GbE網卡測試資料,全閃存配置(NVMe+SSD,NVMe隻做寫緩存)

硬體配置:

  • DellEMC PowerEdge R730XD
  • 2x Intel® Xeon® E5-2697v4 (18 cores @ 2.3 GHz)
  • 128GiB DDR4 DRAM
  • 4x 800GB Dell Express Flash NVMe SM1715
  • 8x 800GB Toshiba PX04SHB080 SSD
  • Cavium FastLinQ® QL41262H 25GbE Adapter (2-Port)

       使用VMFleet測試IOPS,每個VM運作DISKSPD,4KB IO 90% read and 10% write 不同隊列深度資料:117萬 IOPS

微軟超融合+混合雲:源自Azure技術的超融合架構

資料來源:https://blogs.technet.microsoft.com/filecab/2017/09/21/storage-spaces-direct-with-cavium-fastlinq-41000/

如果節點增加,性能也同時線性增加:16個節點共704個VMs

硬體配置:

  • 2x Xeon E5-2699v4 2.3Ghz (22c44t)
  • 128GB DRAM
  • 4x 800GB Intel P3700 NVMe (PCIe 3.0 x4)
  • 1x LSI 9300 8i
  • 20x 1.2TB Intel S3610 SATA SSD
  • 1x Chelsio 40GbE iWARP T580-CR (Dual Port 40Gb PCIe 3.0 x8)

4KB随機讀(32 OIO),IOPS達到了約500萬!!!

微軟超融合+混合雲:源自Azure技術的超融合架構

 資料來源:https://blogs.technet.microsoft.com/filecab/2016/07/26/storage-iops-update-with-storage-spaces-direct/

簡單易用、高可靠性的超融合架構

       微軟全新的超融合架構,通過S2D軟體定義存儲技術,提供高性能、低延遲、簡單易管理的軟體定義存儲。同時結合微軟先進的Hyper-V虛拟化技術和網絡控制器SDN技術,為使用者建構靈活的超融合架構。特别适用于Hyper-V虛拟化,VDI,SQL Server等業務場景使用。

下一篇為大家帶來S2D技術深入講解。

注1:資料來源: 1. Avanade, Global Study:Hybrid Cloud–From Hype to Reality (Dec 2014); 2.RightScale State of the Cloud Report, 2015

注2:資料來源https://ark.intel.com/products/79620/Intel-SSD-DC-P3700-Series-2_0TB-12-Height-PCIe-3_0-20nm-MLC

作者介紹:

微軟超融合+混合雲:源自Azure技術的超融合架構

高毅 Jason Gao Email:[email protected] 微信号:XMGAOYI

IT行業12年技術和教育訓練相關工作經驗,曾在Dell等公司任職,目前為微軟OEM産品技術專家。豐富的項目管理和資料中心方案構架經驗,熟悉資料中心硬體架構,以及SDDC解決方案。

繼續閱讀