天天看點

帶你讀《企業私有雲建設指南》之三:企業需求分析和私有雲資源規劃及設計第3章

點選檢視第一章 點選檢視第二章

第3章

企業需求分析和私有雲資源規劃及設計

很多企業或組織在經曆二十多年的IT系統分散式建設後需要進行全面的整合和內建,以便支撐業務一體化營運,為深化資料應用以及引入新技術、持續推動業務與管理創新打下堅實的基礎。企業私有雲資源的規劃也應基于對自身業務的全面了解,在總體架構層面進行私有雲資源和業務系統的規劃和梳理,同時通過統一的企業雲平台,實作資料和應用的整合,對外提供靈活、便捷、自助的雲服務,并不斷優化企業的IT架構和治理,形成最佳實踐。

3.1 企業資訊技術需求分析

3.1.1 基礎設施需求

随着資訊技術行業步入雲時代,資料中心在建設及管理層面也面臨諸多新需求。雲計算對資料中心基礎設施的需求也發生了變化—包括提高資源使用率、降低營運成本、擴容及收縮在内的資源調配靈活性、軟體定義資料中心的管理新需求,這些都要求企業資料中心基礎設施從業務模式上進行新的轉變。基礎設施的具體需求展現在如下方面。

□提高資源使用率、節約機房空間

裝置資源的高能耗和低能效導緻資料中心場地不足和電力緊張等諸多問題,此時急需利用雲計算相關技術對企業資訊系統基礎設施資源進行整合,提高資源使用率,減少所需裝置數量,節約資料中心機房空間,提高資料中心的承載能力。

□靈活調配資源,節能減排,建設綠色資料中心

建構一個高效靈活的基礎設施架構,優化資源的利用,實作資訊系統基礎設施資源的共享和按需配置設定;有效地進行電源管理,降低裝置能耗,減輕機房供電壓力,實作節能減排,降低資料中心營運成本,建設綠色資料中心。

□基礎設施标準化、整合與統一規劃

傳統的基礎設施标準化局限于采用統一的硬體,這僅是标準化的起步。未來的資料中心将是一個資源供應中心,提供動态的資源供應來滿足業務需求就必須打破原有的IT孤島,把IT資源按照統一标準進行整合,并在此基礎上進行統一規劃,減少異構環境,提供統一的基礎設施服務,使之與業務應用系統融為一體。

□優化資料存儲,減少整體資料量

在建立邏輯統一的存儲資源池後,需采用重複資料删除等資料壓縮技術,減少雲技術平台的總資料量,進一步降低磁盤陣列裝置數量,提升儲存設備投資回報率。

□基礎設施的統一管理和運維

傳統裝置運維方式都是垂直式管理和運維模式,缺少互相協助,同時造成人才資源的浪費,是以應在統一IT基礎設施資源的基礎上,建構統一的雲技術平台和運維體系,對資訊系統基礎設施資源進行統一管理和使用,降低管理和運維的難度,降低運維成本,提升集團公司資訊系統基礎設施的綜合服務能力。

□縮短業務資訊系統部署周期

新業務資訊系統的上線周期過長,從立項、可研、裝置采購、到貨到實施完成需要大半年時間,前端部門的業務需求緊急,但後端招标采購的流程和時間較長,不能在短時間内完成業務部署。通過雲技術平台的建設,可為待上線業務系統快速提供伺服器和存儲資源,并提供自動化、模闆化安裝部署手段,縮短了業務資訊系統的部署和周期,也為業務流程的重構與優化提供強有力的資訊化支撐。

□業務資訊系統靈活擴充

随着企業現有業務的擴張和新業務的快速推廣,系統通路量增長迅速。為了避免因傳統系統擴容模式給業務連續性造成的影響,業務資訊系統應能夠實作包括伺服器、存儲等IT基礎設施的平滑、靈活擴容。

□高性能計算需求

采用雲計算基礎架構,高性能計算中心可以自動管理和動态配置設定、部署、配置、重新配置以及回收資源,也可以自動部署多種應用平台,進而根據不同需求實作快速高效、動态優化的資源配置設定。

但是,如何有效利用雲的方式取決于應用,對于計算密集型和I/O密集型的高性能計算應用,現有的雲計算解決方案存在很多技術上的瓶頸,主要包括:

■I/O瓶頸。目前許多雲計算架建構立在虛拟化技術之上,I/O密集型業務需求不能很好地滿足,是以會嚴重影響應用的網絡延遲和通路帶寬,造成額外的資源需求,降低了整體運算性能。對于一些并行程式,其性能甚至可能相差數倍。

■資料瓶頸。高性能計算通常需要對大量的非結構化資料進行通路,而雲計算環境則須考慮為不同平台提供統一的高速資料通路性能、全局命名空間和多種應用通路協定支援,且需要具備與計算資源快速配置設定相比對的資料管理功能。

■管理瓶頸。對于傳統的高性能計算,其資源一般相對固定,通常通過資源和負載管理軟體來提高資源的使用率。在雲計算環境中,則需要結合負載管理和資源配置設定,提高總體系統使用率和使用者服務品質,同時還能滿足特定應用高峰時間的資源需求。

是以,對于高性能計算需求來說,應結合高性能計算應用特點和雲技術平台的優勢,通過虛拟化和自動化技術,同時支援實體機和虛拟機環境,解決I/O、資料和管理等瓶頸,實作硬體資源和軟體資源的統一管理、統一配置設定、統一部署、統一監控和統一備份,打破單個計算對資源的獨占,最終建設完成高性能的雲計算服務平台。

□資源池跨資料中心調配需求

通過技術手段可以實作跨中心調配,以及跨資料中心實作負載分攤,但需要對現有網絡架構進行大規模改造。對于交易類業務資訊系統,為了保證資料的可靠性、一緻性和安全性,不建議将應用伺服器和DB伺服器分别部署在不同的資料中心并進行跨資料中心調配。

3.1.2 系統災備需求

在目前業界的災備建設方案中,災備資源池分區管理、虛拟機遷移、統一虛拟化存儲等雲計算相關技術已經被廣泛使用,企業私有雲技術平台應與災難恢複建設充分結合,為災備系統的建設提供更快捷、經濟的技術手段,同時為業務的連續性提供可靠保障。

□同城災備資訊系統技術支援需求

災備等級5的業務資訊系統需同城災備中心提供災備資料的存儲資源,實作生産業務系統資料的同步複制,同時根據該級别的災備恢複能力要求,同城災備中心須提供相應的服務能力。災備等級3~4的業務資訊系統需同城災備中心根據該級别的災備恢複能力要求,提供應用級災備所需的所有計算、存儲和網絡資源。

□異地災備資訊系統技術支援需求

災備等級5的業務資訊系統需異地災備中心提供應用級災備資源,包括計算、存儲和網絡資源,根據該級别的災備恢複能力要求提供相應的服務能力;災備等級3~4的業務資訊系統需異地災備中心提供應用級災備所需的所有計算、存儲和網絡資源,根據該級别的災備恢複能力要求提供相應的服務能力;災備等級2的業務資訊系統需異地災備中心提供其生産資料備份所需的存儲資源,實作備份資料的異地儲存。

災備等級和建設标準見圖3-1。

帶你讀《企業私有雲建設指南》之三:企業需求分析和私有雲資源規劃及設計第3章

3.1.3 業務資訊系統需求

通過企業私有雲技術平台建設,可以對業務資訊系統的基礎設施資源進行集中化管理并按需配置設定,實作業務資訊系統的快速部署,保障業務資訊系統的連續性,同時提高資源使用率和運維效率。

例如,某企業ERP系統的雲化需求如下。

□彈性資源調配

原ERP系統多數采用UNIX小型機,由于各廠商小型機系統不能相容,造成擴充性較差,資源無法根據業務需求有效調配。ERP系統在部署到雲技術平台後,使用x86架構伺服器和虛拟化技術,可更為靈活地調配資源,滿足業務和系統性能的要求,在業務高峰期提高運作效率,在實作同等運算能力的情況下資源采購費用可以節省50%~60%。

□保障業務連續性

原ERP系統已經建立了備份機制,但防範區域性大規模災難的異地災備機制尚不完善。雲技術平台在實作生産資源靈活調配的同時,還能夠為ERP系統提供同城、異地容災功能等手段,進而保證業務連續性。

□統一開發測試環境

原ERP系統規模龐大、業務複雜,任何對生産系統配置的修改都需要在測試環境中模拟、驗證後再實施。由于缺乏統一的開發測試環境,各系統都需要自行采購裝置、搭建測試環境,互相無法共享基礎設施資源,在一定程度上造成了資源的浪費。雲技術平台能夠建構統一的開發測試平台,為多個系統提供開發測試環境,并利用雲計算快速部署、靈活調配的特點來提高測試環境使用效率。

引入雲計算技術後,ERP系統在實作硬體标準化、降低運維複雜度的基礎上,還能夠實作基礎設施資源靈活的按需配置設定,進一步提高裝置效率、縮短系統部署時間。

3.1.4 資料與标準化需求

1.資料需求

雲技術平台所存儲的資料由兩部分組成,分别為平台自身營運管理資料和平台中業務系統的生産資料。

□業務資訊系統生産資料

即業務資訊系統在生産運作過程中生成的資料。雲技術平台根據業務資訊系統需求,在存儲資源池中劃分相應存儲空間,業務資訊系統将生産資料存儲至該空間,并可根據資料量需求向雲技術平台申請擴大存儲空間。

□雲技術平台營運管理資料

即雲技術平台在營運管理和運維管理工作中産生的資料,包含系統配置資訊、監控日志、訂單資訊等資料。此類資料為雲技術平台的運作提供支援。

2.标準化需求

從技術角度看:

□概念和定義:通過标準化統一雲計算的概念、定義及内容。

□互操作:需要制定分布式計算資源、存儲資源之間的接口标準,以便更好地解決互操作問題。

□虛拟化:需要制定網絡、硬體等各種資源虛拟化的格式規範,解決資源的虛拟化、排程和流轉問題。

應用開發和部署:需要制定虛拟資源池應用開發接口規範,為上層應用的開發部署及應用提供更好的支撐。

□相關産品:需要制定分布式檔案系統、分布式資料庫、資源虛拟化系統等産品的功能、性能要求等标準,為提高産品品質提供支援。

從營運和安全管理角度看:

□服務能力:需要制定标準規範提供雲計算服務應具備的條件和能力。

□服務品質評價:需要制定雲計算服務品質的評價标準,保證服務品質。

□運作維護:需要針對雲計算相關計算、存儲資源的運作維護制定相關标準,為提高營運提供支援。

□安全管理:需要制定資料的存儲和傳輸安全,加強雲的安全管理,如跨雲的身份鑒别、通路控制、安全審計等。

□能效管理:需要制定針對綠色資料中心建設的标準,為實作節能減排、低碳提供标準支撐。

3.2 企業私有雲資源規劃及設計

3.2.1 企業應用軟體模式劃分

按照應用軟體實作的模式進行劃分,企業常見的應用系統總體上可以分為如下兩大類,這兩大類應用實作的技術有很大差異。

1.應用功能實作類

□交易類:核心資料處理類業務,如收款、支付、結算、核算、倉儲、物流、配送、客服。

□流程類:流程驅動類業務,主要是各種審批類的管理型業務。把資訊記錄下來,為了友善事後追溯查詢或者彙總統計。

□決策類:包括自定義查詢、報表、OLAP分析和資料挖掘等内容,一般是以PDCA為主線,計劃牽頭,審批在中間,注重把多部門串聯在一起。

内容管理類:電子影像、檔案、文檔和知識管理等。

2.應用功能內建類

□界面內建類:面向内部從業人員進行業務辦理的界面內建,一般指内部門戶。

□門戶網站類:資訊類的門戶內建,一般指外部門戶。

□應用內建類:服務內建類業務,即應用內建平台,注重把多應用串聯在一起。

□資料內建類:資料內建類業務,如内部系統之間、跨層級之間,以及與外部門之間的資料內建。

3.2.2 企業私有雲建設的總體原則

私有雲的建設将遵循以下建設原則,如圖3-2所示。

帶你讀《企業私有雲建設指南》之三:企業需求分析和私有雲資源規劃及設計第3章

□标準化和開放性

系統的标準化和規範化是資訊系統建設基本而又關鍵的一步,要實作資訊通信與共享,必須規範資訊技術标準;采用業務内标準的技術體系和設計方法,使系統最大程度地具備各種層次的平台無關性和相容性;在使用新技術的同時充分考慮技術的國際标準化,嚴格按照國際和國内相關标準設計實施。

□先進性和超前性

在實用可靠的前提下,盡可能跟蹤國内外先進的計算機軟硬體技術、資訊技術及網絡通信技術而使系統具有較高的性能價格比,同時建設方案以實際可接受能力為尺度,避免盲目追求新技術而造成不必要的浪費。技術上立足于長遠發展,堅持選用開放性系統,使系統和将來的新技術能平滑過渡。采用先進的體系結構和技術發展的主流産品,以保證整個系統高效運作。

□實用性和友善性

系統建設要以滿足需求為首要目标,采用穩定可靠的成熟技術,保證系統長期安全運作;確定系統應用後,确實能為各級業務和管理節點提供一個智能化的網絡資訊環境,并提高管理水準和工作效率。

□安全性和保密性

遵循有關資訊安全标準,具有切實可行的安全保護和保密措施,確定資料永久安全。系統應提供多方式、多層次、多管道的安全保密措施,以防止各種形式與途徑的非法侵入和機密資訊的洩露,保證系統中資料的安全。

□穩定性和可靠性

企業私有雲建成并投入使用後,将成為支撐業務系統平穩運作的重要平台和開發新業務系統的基礎平台,若系統癱瘓,則後果是難以想象的。是以系統必須在可以接受的成本條件下,從系統結構、設計方案、裝置選型、廠商的技術服務與維護響應能力、備件供應能力等方面考慮,使得系統故障發生的可能性盡可能少,影響盡可能小,對各種可能出現的緊急情況有應急的工作方案和對策。

□跨平台性和可移植性

由于系統建設的複雜性要求,在設計時要充分考慮系統的跨平台、跨系統、跨應用、跨地區性,以及在各種作業系統、不同的中間件平台上可移植。

□可維護性和可擴充性

系統設計做到标準統一,以便日後的系統維護。在私有雲的設計過程中,應充分考慮未來若幹年内的發展趨勢,具有一定的前瞻性,并充分考慮系統更新、擴容、擴充和維護的可行性。

3.2.3 雲管理平台設計

雲平台系統的整體架構如圖3-3所示,系統分為實體資源層、虛拟資源層、雲管理平台層和雲計算服務層。

上文提到的伺服器資源和存儲資源、網絡資源等構成了實體資源層,它們通過虛拟化軟體形成統一的虛拟化資源,并通過雲平台管理系統,将實體裝置和系統資源整合為統一的計算資源池、存儲資源池和網絡資源池,在此基礎上根據使用者的需求,自動劃分資源,在資源管理平台和業務服務管理平台的支援下為使用者提供豐富的雲服務。

雲平台從運維、營運與使用者三個層面對私有雲進行資源管理和營運管理,如圖3-4所示。

雲管理平台是一個用來建立雲基礎架構(IaaS)的平台。雲管理平台允許企業在公司内部設立一個服務于企業自身的私有雲。目前VMware、Citrix和Microsoft提供的虛拟化平台主要幫助企業的IT人員可以像以前管理實體機一樣管理他們的虛拟機。而雲管理平台是幫助非IT人員能夠通過自服務的方式使用虛拟機服務。

帶你讀《企業私有雲建設指南》之三:企業需求分析和私有雲資源規劃及設計第3章
帶你讀《企業私有雲建設指南》之三:企業需求分析和私有雲資源規劃及設計第3章

雲管理平台包含管理伺服器以及業界标準的虛拟化軟體(如XenServer、vSphere、KVM等)的擴充。管理伺服器可以部署在一台伺服器或一組伺服器叢集上。管理伺服器對所有節點上的資源進行統一管理并提供Web接口給管理者和使用者,使他們可以對權限内的資源進行通路和操作。

雲管理平台系統将要實作的目标包括:

□對本項目建設實體資源、網絡資源和虛拟資源,并進行統一的管理。

□由于不同的應用資源處于不同的内網或外網條件下,建設的雲管理平台可以跨網絡管理。

□納管已有的實體資源和網絡資源。先納管部分資源,根據使用情況,逐漸将所有實體資源和網絡資源納管進來。

□實作對所有資訊資源,包括實體計算資源、虛拟計算資源、實體網絡資源、虛拟網絡資源的自動化管理。

□雲管理平台提供可視、可控、可管的運維系統。

3.2.4 網絡資源池設計

雲管理平台管理内網(private)、直連網絡(direct)和公網(public)的IP配置設定。管理者首先将可供配置設定的内網、直連網絡和公網IP輸入系統。主要有兩種網絡模型可供建立:直連網絡和虛拟網絡。

雲管理平台的資源域也分為兩類:基本網絡資源域僅能建立直連無标記(untagged)網絡,進階網絡資源域除此之外還可以建立虛拟網絡以及直連帶标記(tagged)網絡。

1.直連網絡

在直連網絡中,虛拟機直接在本地子網中配置設定IP位址。這些虛拟機可以直接通路Internet,也沒有任何NAT(網絡位址轉換)。它們的網絡封包不經過任何虛拟路由器。是以,直連網絡無法獲得雲管理平台中的軟負載平衡、防火牆和端口轉發等功能。

直連網絡的使用者根據配置的不同,可以與其他直連網絡使用者相通或隔離。在直連帶标記網絡中,管理者對資源域内部的每位使用者配置設定特定的VLAN辨別和IP段。使用者的虛拟機可以從虛拟路由器(相當于DHCP伺服器)獲得IP位址。直連帶标記網絡可以讓使用者的虛拟機友善地與外界網絡互聯互通,包括管理伺服器。

直連無标記網絡則采用了類似于亞馬遜的安全組概念以對每位使用者進行隔離,而不采用VLAN。所有使用者無論賬号如何都在同一個廣播域内。直連無标記網絡常使用在私有雲中。所有的Hypervisor類型都可以支援直連無标記網絡,但隻有XenServer和KVM的節點可以設定安全組。

2.虛拟網絡

在虛拟網絡中,使用者的虛拟機部署于私有虛拟網絡中。每個使用者的虛拟網絡均通過VLAN與其他使用者的虛拟網絡隔離。每個使用者的所有客戶機也在自己的VLAN中被配置設定相應的網絡接口。

可以用兩種方式建立虛拟網絡:基于虛拟路由器和基于外部路由器。

1)雲管理平台在安裝時就提供了一個虛拟路由器。這個虛拟路由器可以提供DNS、DHCP、網關、NAT、負載平衡和VPN服務。

2)基于外部路由器的虛拟網絡使用第三方廠家的路由器裝置提供網關和NAT服務,而DNS和DHCP依舊由虛拟路由器完成。

虛拟網絡的部署必須使用虛拟路由器或外部路由器。在虛拟網絡中,同一個使用者的不同虛拟機因為處于同一個VLAN,它們之間的網絡通信不通過虛拟路由器。VLAN起到對使用者進行隔離的作用:不同賬戶的使用者使用不同的VLAN。

在虛拟網絡中,每一個使用者會被配置設定一個外網IP位址,但使用者可以申請更多的外網IP位址。外網IP位址是指使用者實際通路虛拟機的IP位址。

□通過虛拟路由器建立虛拟網絡

每個賬戶都被配置設定一個虛拟路由器。所有此賬戶擁有的外網IP位址也都配置設定給這個虛拟路由器。這個虛拟路由器是虛拟機和外網通信的管道,并且為虛拟機提供DNS、DHCP以及NAT服務。

虛拟路由器的存在使得雲管理平台可以為使用者提供很多網絡功能。例如:将發送至某個外網IP的包轉發至一個指定的虛拟機,或是在多個虛拟機之間進行流量的負載平衡,使得通過有限的公網IP可以提供更可靠的服務。

□通過外部路由器建立虛拟網絡

每個賬戶仍然被配置設定一個虛拟路由器,但所有此賬戶擁有的外網IP被配置設定給外部路由器。外部路由器成為虛拟機和外網通信的橋梁,并提供NAT服務。虛拟路由器僅提供DNS和DHCP功能。負載平衡可以由外部路由器或者虛拟路由器完成。

一個賬戶可能既擁有在虛拟網絡中的虛拟機,也擁有在直連帶标記網絡中的虛拟機。在這種情況下,這個賬戶将擁有兩台虛拟路由器,一台虛拟路由器負責資源域VLAN的管理,另一台虛拟路由器負責直連帶标記VLAN的管理。

在同一個資源域裡基本網絡不能與虛拟網絡或直連帶标記網絡共存。而一個雲環境可能包含一個基本網絡資源域、一個虛拟網絡與直連帶标記網絡共存的資源域。

3.2.5 計算資源池設計

計算資源池承載私有雲中所有業務系統的計算需求,在進行計算資源池設計時需要注意如下兩點:

1)根據先進可用的原則,既要保證整個計算平台的運作穩定,又不能過多地追求高性能,要做到合理選型,合理配置設定。

2)盡量的利舊,現有可用資源可以根據後續需要設計到整個計算平台中,防止浪費。

在伺服器選型方面要符合以下幾方面的要求:可靠性、可用性、可擴充性、易用性、可管理性。

□可靠性

衡量伺服器可靠性的主要名額是平均失效間隔,發生故障時間越少,伺服器的可靠性越高。對于可靠性要求很高的業務來說,即使是短暫的系統故障也會造成難以挽回的損失,是以在伺服器的選擇上,可靠性為一項重要的衡量名額。

□可用性

可用性是通過系統的可靠性和可維護性等一些名額來度量的。通常用平均無故障時間來度量系統的可靠性,用平均維修時間來度量系統的可維護性。

對易損部件或裝置采取保護措施可以提高伺服器的可用性,如減少硬體的平均故障間隔時間和利用專用功能機制(如容錯、備援等)在出現故障時自動進行部件或裝置切換,以避免或減少意外停機。

□可擴充性

可擴充是指伺服器的硬體配置,如記憶體、擴充卡、硬碟和處理器等可以在原有的基礎上很友善地根據需要來增加。為了保持高可擴充性,通常需要伺服器具備一定的可擴充性空間和備援件(如磁盤櫃盤陣位、PCI插槽和記憶體條插槽等)。

□易用性

伺服器的設計應多采用國際标準,機箱設計應科學合理、拆卸友善,可通過訓示燈友善地檢視伺服器的運作狀态;可熱插拔部件較多,可随時更換故障部件,而且随機配有完善的使用者手冊,以指導使用者迅速、簡單地安裝和使用。

□可管理性

可管理性是雲計算建設中選擇伺服器時應考慮的重要因素。使用合适的系統管理工具将有助于降低支援和管理成本,可有效監控系統的運作狀态,及時發現并解決問題。通過伺服器的硬體管理接口和管理軟體,可對伺服器的性能、存儲、可用性/故障、網絡、安全、配置、軟體分發、統計、技術支援等内容進行監控和管理。

另外,從伺服器裝置選型和成本方面考慮,建議計算資源池采用x86機架式伺服器來替代以往的小型機。

首先,該處理器能力越來越強大,産業鍊成熟。相對來說小型機的架構有着密閉性的特點,不同品牌的小型機在結構上具有一定的差異性,一旦選擇某個品牌,則基本被綁定。而且從小型機的計算性能來說,國外品牌具有一定的壟斷地位,國内技術與之相比,仍具有一定的滞後性。随着英特爾推出至強5600、至強7500處理器,x86伺服器在計算能力、高可用性、可靠性等方面已經與UNIX伺服器不分伯仲。從目前注重節能的趨勢來看,随着制程的演進以及架構的優化,新一代的x86産品不僅将具備更高的效能,同時也具備了更低的功耗,對于極端注重省電的系統,也同樣有相對應的産品線可供應用,這也是非x86架構難以比拟的。目前,大部分大規模雲的建構都基于x86架構,如亞馬遜、微軟、Google、百度、阿裡巴巴等。目前英特爾的處理器對于虛拟化的支援已經落實到晶片級,基于x86平台下的虛拟化是整個虛拟化界的趨勢。比如在伺服器虛拟化方面,VMware、微軟、Citrix等虛拟化軟體旨在充分利用伺服器資源,而英特爾則從底層晶片上讓虛拟化更為智能化。而在存儲虛拟化方面,主流高端存儲廠商也更加青睐x86架構,x86架構的開放性、标準化、擴充性及日益提升的性能最能代表目前技術的方向,以及滿足使用者在雲計算方面日益多變的需求,是以采用x86架構更為合适。

其次,在x86架構的伺服器選擇上,目前分為機架式伺服器和刀片式伺服器。刀片式伺服器一般占10U左右的空間,內建14個刀片,內建度很高,但是在擴充性、散熱性等方面表現較差,适合于高性能計算等。而且從投入成本角度來看,特别是在不需要滿籠刀片的情況下,客戶仍然需要為機箱、後備闆、交換子產品等基礎設施投入資金。從網絡角度來說,使用者的網絡環境将被刀箱後備交換子產品所“綁架”。而機架式伺服器具備更靈活的擴充性,可以根據使用者需求,靈活地添加PCI-E擴充子產品和進行網絡配置。機架式伺服器主要有雙路和四路伺服器,雙路伺服器多用于應用場景,四路伺服器應用于資料庫等場景。而60%的雙路機架式伺服器的市場佔有率也說明了該種選擇所具有的市場代表性。是以在本項目中,計算資源池采用雙路機架式伺服器。

虛拟伺服器系統以x86平台伺服器作為基礎平台,在基礎平台上通過部署雲計算虛拟化軟體完成資源池化,并根據業務系統的不同需求生成不同配置的服務模闆以及虛拟機,部署伺服器作業系統及伺服器業務應用,對外提供虛拟計算服務。

虛拟資源池中的業務系統可根據規模或安全相關性設定虛拟邏輯域,每個邏輯域内配置不同數量的伺服器和存儲資源。每個業務系統中的系統、應用等都部署在它的業務邏輯域中的虛拟機上,存儲系統則要與其他業務域進行邏輯隔離。每個業務域之間通過防火牆進行隔離,邏輯域内的虛拟伺服器之間通過軟體負載均衡實作動态負載配置設定排程。

在整個虛拟資源池(包括每個業務域的邏輯資源池)中,為了保證系統的安全性和連續性,都會預留一定的空閑資源。當整體平台或資源域中的實體伺服器或存儲節點出現問題,或需要進行必要的硬體更新時,空閑區域即可動态地承載原先資源下的業務系統和存儲需要,保證業務的連續性,以及保證整體業務系統運作的穩定性和連續性。

根據業務需求,各應用系統将遷移到虛拟機上,同時還需要預留擴充空間。根據虛拟化原理,最少要有一個實體核心來作為vCPU使用,是以虛拟機的最大數量=實體CPU數量×每個實體CPU的核心數(從可用性方面考慮,不考慮超賣情況),考慮到後續業務的擴充性,要在有限的空間内有盡可能多的虛拟機。同時,需要考慮資料中心的空間成本和電力成本。

3.2.6 存儲資源池設計

存儲系統是私有雲資料存儲的基礎,用于支撐私有雲上各應用對存儲的需求。整個私有雲對存儲的需求具有以下特點:

□先進性原則:技術構成先進,符合資訊科技的發展趨勢,能适應在目前不同資料平台架構下進行大規模資料存儲的需要,保證系統具有較強的開發、使用空間。

□均衡性原則:提供較好的系統運作效率,不産生系統瓶頸。

□節能性原則:綠色環保為營造良好的節能環境,以節能性原則為前提。

□拓展性原則:随着業務規模的擴大可友善地獨立更新,能夠比較友善地與其他系統進行無縫內建。

穩定性原則:保證系統7×24小時的穩定運作,并能保證重新開機系統的穩定性。

□安全性原則:有嚴謹周密的安全體系結構,系統能夠提供有效的安全機制,防禦各種可能的自然毀壞或惡意攻擊,在運作安全、網絡安全、資料安全和應用系統安全等方面有合理可靠的政策。

□風險性原則:提供比較成熟可靠的運作管理、監控、故障處理等技術手段,最大限度地降低實施過程的風險。

□經濟性原則:裝置有較好的性能價格比。

基于此,存儲系統需要滿足如下幾個核心要求:

1)足夠的傳輸能力。網絡中心為所有使用者提供服務,由于用戶端衆多、資料流量大,是以整個系統需要很強的傳輸能力。包括存儲系統與伺服器之間的大容量、高頻率的I/O傳輸,以及裝置内部的總線傳輸帶寬、伺服器的網絡性能和響應能力等都是非常重要的方面。

2)海量存儲能力。大容量的存儲系統是網絡中心服務應用的核心,擁有一套或多套大容量的存儲系統是保證資料安全性和服務連續性的基礎。解決方案中不僅需要存儲系統具有超大容量,而且硬體的可靠性、容量的靈活擴充、簡便的安裝/維護管理也是必不可少的。

3)先進的存儲架構。存儲系統所采用的架構需要是成熟而先進的,能适應未來幾年内的技術發展方向。

4)高穩定性和高可用性。解決方案應保證資料安全和随時可用;另外系統資料量大,很難恢複或恢複時間長,而業務又需要7×24小時不間斷可用,是以還要為備份系統的建設打好基礎。

5)快速的售後服務響應能力。解決方案不僅要滿足目前的需要,由于網絡對連續性要求很高,是以在售後服務方面也應保證快速響應,一旦出現問題,服務人員能盡快趕到。

另外,存儲系統的設計還應遵循可擴充性原則及完整性原則。除了系統硬體要符合技術潮流外,與之相配的軟體也須采用先進技術,以利于整個系統的平滑更新。而作為資料存儲的統一平台,系統的各項設計應從整體考慮,協調各子系統以構成完整的資料存儲管理系統。利用光纖通道技術,SAN可以有效地傳輸資料塊。通過支援在存儲和伺服器之間傳輸海量資料塊,SAN提供了資料備份的有效方式。是以,傳統上用于資料備份的網絡帶寬可以節約下來用于其他應用。

SAN是在伺服器和儲存設備之間傳輸大塊資料而進行優化的,是以SAN對于以下應用來說是理想的選擇:

□關鍵任務資料庫應用,其中可預計的響應時間、可用性和可擴充性是基本要素。

□集中的存儲備份,其中性能、資料一緻性和可靠性可以確定企業關鍵資料的安全。

□高可用性和故障切換環境,可以確定更低的成本、更高的應用水準。

□可擴充的存儲虛拟化,可使存儲與直接主機連接配接相分離,并確定可以動态擴充存儲。

另一方面,随着虛拟化成為基礎架構主要的工作負載機制,資料中心原有的存儲設計面臨前所未有的挑戰。

第一個挑戰是存儲管理複雜、不靈活。存儲一直是虛拟化架構設計中最關鍵的環節之一。很多性能問題都與存儲有關。虛拟化架構師需要了解底層儲存設備及其特性,需要在IOPS、延遲和容量等各個方面進行優化。另外存儲的分層、擴充和運維都有很多需要考慮的細節。在引入軟體定義的存儲之前,存儲都是在項目開始階段配置和部署的,在其生命周期中不再更改。如果要求更改虛拟機所利用的LUN或卷的某些方面或功能,則在許多情況下需要删除原始LUN或卷并建立具有所需功能的新卷。這是一項幹擾性很強且非常耗時的操作,可能需要花費數周的時間來進行協調。

第二個挑戰是費用昂貴。采用外置磁盤陣列,将大幅提高整個虛拟化解決方案的成本。

第三個挑戰是無法確定差異化服務等級。由于資料存儲選擇LUN時并不考慮每個虛拟機的性能和可用性要求,是以難以在存儲方面保證不同應用或者不同虛拟機的SLA。在每個卷中包含多個虛拟機檔案系統的情況下,很難排除性能問題。

虛拟化資料中心要求存儲能夠提供新的特征:

□提供虛拟機精确控制

□在應用高度整合的情況下滿足性能要求

□資料會自動均衡,無須人工幹預

□支援快速調配,零停機操作

□按需動态擴充

□支援VDI和大資料等新應用

□性能可以滿足對關鍵應用的需求

這些新特性是傳統存儲所不能滿足的,是以軟體定義的存儲應運而生。它從前文提及的三個次元來解決虛拟化資料中心面臨的問題和挑戰:簡化存儲的管理、降低總擁有成本、實作端到端的SLA傳遞。

軟體定義的存儲可對存儲資源進行抽象化處理,以支援存儲的池化、複制和按需分發。這使存儲層與虛拟化計算層非常相似:都具有聚合、靈活、高效和彈性擴充的特點。它們的優勢也如出一轍,即全面降低了基礎架構的成本和複雜性。

綜合來看,軟體定義的存儲具備如下三個特征:

□以應用為中心的政策,可實作存儲使用自動化

軟體定義的存儲支援對異構存儲池中的所有資源實施一緻的政策,使對存儲的使用像為每個應用或虛拟機指定容量、性能和可用性要求那樣簡單。這種基于政策的自動化最大限度地利用了底層存儲資源,同時将管理開銷降至最低。

□與硬體無關的虛拟化資料服務

資料服務(如快照、克隆和複制)作為虛拟資料服務在軟體中傳遞,并按虛拟機進行調配和管理。獨立于底層存儲硬體使得這些服務的配置設定極其靈活和靈活。

□通過硬碟和固态磁盤虛拟化確定資料持久性

随着伺服器功能的增多,軟體定義的存儲解決方案可讓企業利用廉價的行業标準計算硬體來擴大其存儲資源。利用固态磁盤和硬碟作為虛拟機的共享存儲,可獲得高性能、内置的恢複能力和動态可擴充性,并将存儲總體擁有成本降低50%之多。

1.分布式存儲資源池

分布式存儲資源池:由虛拟化計算資源池中的兩路伺服器提供本地硬碟,利用存儲虛拟化軟體建構分布式存儲系統。為虛拟機提供塊級存儲服務。

為了保證業務在私有雲環境中分布式存儲的資料的可靠性,所有虛拟機檔案系統均采用3副本方式存儲。

2.存儲資源池分級設計

存儲按照磁盤性能和可用性分為白金、金、銀、銅四種級别。四種級别的存儲資源的差異在于性能(IOPS、帶寬等)及可用性(儲存設備類型、磁盤RAID級别、存儲級容災能力等)不同。存儲資源按性能和可用性進行分級供給。

白金級存儲資源池主要面向對存儲有高I/O需求和高可用需求的生産系統應用。白金級存儲資源由高端儲存設備(具備多于4個控制器,具有存儲複制軟體等)提供,其磁盤全部由SSD磁盤構成,磁盤的RAID級别應采用RAID10或者RAID5以實作資料的備援保護,同時使用存儲複制軟體進行本地或遠端的存儲級資料保護。建議核心生産系統的Oracle Database Redo Log及熱表使用白金級存儲。

金級存儲資源池主要面向對存儲有較高I/O需求和高可用需求的生産系統應用。金級存儲資源由高端儲存設備(具備多于4個控制器,具有存儲複制軟體等)提供,其磁盤由SSD磁盤和SAS磁盤構成,SSD磁盤和SAS磁盤的配比不高于1∶10,采用自動熱點資料遷移技術實作熱點資料在SSD和SAS磁盤之間的遷移,同時使用存儲複制軟體進行本地或遠端的存儲級資料保護。建議核心生産系統的Oracle Database資料檔案使用金級存儲。

存儲資源池中金池采用熱點資料動态遷移技術,設計要素如下(如圖3-5所示):

帶你讀《企業私有雲建設指南》之三:企業需求分析和私有雲資源規劃及設計第3章

存儲層:第1層為SSD盤;第2層為SAS盤。

熱點遷移政策:将熱點資料遷移到性能更高的SSD盤上;當檢測到某資料塊讀/寫頻繁後,根據遷移算法自動遷移。

銀級存儲資源池主要面向對存儲有一定I/O需求的生産系統應用。銀級存儲可以由高端存儲或中端儲存設備(具備多于2個控制器)提供,其磁盤由SAS盤構成,磁盤可采用RAID 5、RAID6、RAIDDP等方式實作資料的備援保護。建議生産系統的可執行程式、日志以及虛拟機系統、非核心資料庫使用銀級存儲。

銅級存儲資源池面向對存儲容量需求較大的生産系統應用。銅級存儲可以由中端存儲或者分布式儲存設備提供,其磁盤由大容量SATA盤構成,磁盤可采用RAID6、RAIDDP、多副本等方式實作資料的備援保護。建議備份系統使用銅級存儲。

另外通過引入分布式存儲技術,還可建構低成本的塊、對象、檔案存儲資源池,來承載備份和歸檔資料。

3.2.7 如何開始業務的上雲遷移

在各企業,許多雲遷移成功的案例都是先從一些較為簡單的應用開始遷移,然後再一步步把更多的應用和資料遷移到雲上。

對于要遷移上雲的應用和資料,制定一份詳細的計劃與時間表是必要的。遷移是一個很複雜的過程,可以先從最簡單的應用開始,然後再考慮複雜的、關聯度比較高的業務,以及一些個性化的企業應用等。

如圖3-6所示描述了企業進行上雲遷移的一般步驟,遷移是一個系統工程,從開始訪談調研到環境準備、架構設計和部署實施、優化診斷,以及上雲後的驗收結項,每一個步驟環節都需要認真對待,遷移過快往往将導緻成本的急劇上升、工期延期甚至失敗。

帶你讀《企業私有雲建設指南》之三:企業需求分析和私有雲資源規劃及設計第3章

上雲遷移的過程可以細化為五個步驟。注意這裡主要的場景是企業私有雲,其總結的步驟也隻适用于私有雲,對于遷移到公有雲并不是很實用。

(1)标準化、虛拟化

企業傳統的IT業務應用一般都建構在實體伺服器和儲存設備上,當開始進行雲遷移時,一般會采用标準化技術,對以往的伺服器及存儲資源進行整合。對已存在的老的要上雲的業務進行遷移評估,并根據資料中心的資源情況來制定詳細的解決方案是比較重要的;如果是新的應用系統,則配置設定相應的資源,直接部署在雲計算環境中即可。對于任何要上雲的業務,對其實作難度的評估是對應用系統進行雲化或改造風險與收益評估的重要手段。整個業務系統的雲化分析過程需要從包括硬體支撐環境改造、作業系統平台變更、平台軟體綁定分析、IP位址依賴性消除、API重構、子產品化改造、标準化改造、外部依賴條件等在内的多個層面和次元進行,準确評估業務資訊系統雲化改造的相關難點與痛點,才能對資訊系統雲化改造有充分的認識和準備。

當然,虛拟化和架構設計也是上雲業務系統進行現代化改造的一部分。上雲首先離不開架構設計,因為業務終究要被雲化,不管其遷移的過程長短,企業通常都會使用虛拟伺服器來代替實體伺服器,使用存儲資源池來統一後端的存儲。為了實作對異構儲存設備的管理,往往還會進行存儲的虛拟化和分布式改造。當然在這一步,有可能還會涉及業務改造的咨詢和方案的論證優化,還必須開始使用腳本或者自動化安裝工具來适當減少工作量。

(2)采購或自建及部署雲服務

虛拟化是企業上雲的第一步,接下來遷移的第二步是部署一套私有的雲管理平台。那麼是采購還是自建及部署雲服務呢?

從雲平台的成本和價值來看,VMware是商業軟體,其成熟度和穩定性經受了大量實際環境的考驗,但使用成本高。相對VMware的昂貴價格,OpenStack免費、開放的優勢還是很明顯的。相對來說,大型企業采購和使用VMware平台則更穩定和可靠,而使用OpenStack自建從長期來看比較節省成本。

建構一個私有雲需要詳細地規劃設計以及實施,很多時候面臨資源整合,也包括管理理念的整合和融入。在這一步也可以采購或使用一些公有雲服務,如一個或多個SaaS應用、開發測試服務、雲存儲等。混合雲融合了公有雲和私有雲,是近年來雲計算的主要模式和發展方向。我們知道私有雲主要是面向企業使用者,出于安全考慮,企業更願意将資料存放在私有雲中,但是同時又希望可以獲得公有雲的計算資源,以随需擴充,在這種情況下混合雲被越來越多地采用,它将公有雲和私有雲進行混合和比對,以獲得最佳的效果,這種個性化解決方案達到了既省錢又安全的目的。

(3)應用遷移和資料遷移

雲的基礎設施及服務部署完成之後,需要開始對現有的業務應用服務進行統一化或者更新。如前面所說,這一步可以先把一些較為簡單的應用遷移到雲中,然後再逐漸解決剩下的那些複雜應用。

應用遷移的過程不是簡單地點選幾個按鈕就大功告成,我們需要從雲平台的環境特點出發,對自身的産品做一定的适應性調整。比如,是否支援靜默安裝、磁盤空間的使用和參數設定應該由API還是CLI來完成、跟蹤和日志資訊通過腳本指令還是平台統一收集等。

雲計算資料中心業務應用系統遷移采用平台專用軟體并通過P2V實作。P2V技術通過對作業系統實作Volume Shadow Copy,在實體伺服器主機系統無修改的情況下,将系統資料、環境配置、應用軟體和業務資料整體以“快照”形式導入雲平台計算資源池中,轉換為以虛拟機方式運作。遷移過程分為系統備份、遷移測試、資料驗證和系統切換四個步驟。遷移過程中原有伺服器臨時中斷,待驗證新的虛拟機業務應用正常運作後進行系統切換。系統切換前需要停止原有業務應用的對外服務并進行一次資料同步。

遷移主要适用于業務應用的遷移,常見的作業系統大部分可通過遷移方式實作整體遷移。對資料庫伺服器和遷移失敗的應用伺服器,采用手動遷移方式進行。手動方式根據遷移系統的作業系統提前部署虛拟機,需要協調業務應用開發機關在虛拟機中通過重新安裝應用軟體和導入資料方式完成系統的遷移。帶有硬體加密狗的業務系統需要協調業務應用開發機關修改軟體授權方式後部署到新的計算資源池中。

遷移過程按照網絡拓撲和功能分區逐一進行,在保持現有網絡拓撲結構基本不變和業務應用不中斷前提下,首先完成應用伺服器和資料庫伺服器的遷移,然後完成資源共享業務的伺服器遷移。

資料遷移對于一個業務應用來說是最重要的,直接關系到業務上雲的成敗。資料遷移會将業務系統中很少使用或不用的檔案遷移到輔助存儲系統(如錄音帶或CD光牒)上,而把常用的資料遷移到優質存儲(如SSD或閃存陣列)上,類似分級存儲管理。通常為了保證資料的安全性和完整性,業務遷移工作一般會與備份政策相結合,并且對重要資料進行重點備份。還有的業務系統上雲後把Oracle替換成MySQL,那麼就會涉及SQL文法的适配、資料的轉換、新老系統的互動、應用的改造甚至重構等,挑戰比較大,這些都需要在遷移階段有充分的考慮。

資料遷移的實作可以分為3個階段:資料遷移前的準備、資料遷移的實施和資料遷移後的測試校驗。基于資料遷移的特點,大量的工作都需要在準備階段完成,充分而周到的準備工作是完成資料遷移的重要基礎。具體而言,要進行待遷移資料源的詳細說明(包括資料的存儲方式、資料量、資料的時間跨度);建立新舊系統資料庫的資料字典;對舊系統的曆史資料進行品質分析,以及新舊系統資料結構的差異分析;新舊系統代碼資料的差異分析;建立新舊系統資料庫表的映射關系,對無法映射字段進行處理;開發、部屬ETL工具,編寫資料轉換的測試計劃和校驗程式;制定資料轉換的應急措施。其中,資料遷移的實施是實作資料遷移的3個階段中最重要的環節。它要求制定資料轉換的詳細實施步驟流程;準備資料遷移環境;結束未處理完的業務事項,或将其告一段落;對資料遷移涉及的技術進行測試;最後實施資料遷移。

資料遷移後的測試校驗是對遷移工作的檢查,資料測試校驗的結果是判斷一個業務系統能否正式啟用的重要依據。可以通過品質檢查工具或編寫檢查程式進行資料校驗,通過試運作新系統的功能子產品,特别是查詢、報表功能,來檢查資料的準确性。

當然,保障資料遷移的品質和效率也離不開好的遷移工具。商業和開源的産品各自有不同的特點,選擇時還要根據具體情況進行分析。縱觀目前國内一些大型項目,在資料遷移時多是采用相對成熟的ETL産品,其實也可以看到這些項目的一些共同點,主要包括:遷移時有大量的曆史資料、允許的當機時間很短、面對大量的客戶或使用者、存在第三方系統接入、一旦失敗所産生的影響面将很廣。

目前,許多資料庫廠商也都提供相應的資料抽取工具,如Informix的InfoMover、Microsoft SQL Server的DTS和Oracle的Oracle Warehouse Builder等。這些工具在一定範圍内解決了資料的提取和轉換,但是這些工具基本都不能自動完成資料的抽取,使用者還需利用這些工具編寫适當的轉換程式來提高效率。

再有就是企業的複雜應用由于業務耦合度高,對傳統架構依賴性強,一般都需要大量的改造開發,比如你想替換特定的中間件和資料庫及商業套裝軟體,可能需要幾年的時間來完成該步驟。由于時間周期比較長,不可控的風險太多,是以需要謹慎地對現有系統從投資回報以及可行性方面進行詳細遷移評估。

(4)全面自動化

在企業中,當大量業務應用都遷移上雲後,使用雲管理平台進行業務系統的自動化配置、審批、服務傳遞、更新改造及監控就變得比較重要了。不斷地對現有IT流程進行自動化改造至關重要,我們希望盡量把每一個業務上雲的流程都自動化,從虛拟機及應用的線上資源預訂到其傳遞,這樣可以大大縮短部署時間,減少人工成本,提高系統配置的準确性及一緻性。雖然在标準化和統一化階段就已經開始進行基本的自動化了,但到了全面自動化階段則需要把大量的腳本、應用安裝程式、自動化工具引入一個流程編排系統,在該系統中使用雲管理平台進行服務及工作流的設計。

(5)安全性、備援性及運維可持續性

傳統業務上雲一般需要經過資源供給、傳遞服務、運維及安全流程等若幹環節的審批,因為在雲服務完成及上線之前,很多流程都需要進行改造,自動化傳遞則需要IT安全人員對虛拟機模闆、軟體化網絡、存儲資源、作業系統、應用平台等預先進行授權或準許。該階段還需要考慮備援性及伸縮性,包括伺服器、虛拟機、應用及雲管理平台在資料中心部分或者完全失效的情況下的可持續運作能力。安全操作及IT治理在該階段也必須完全建立,最終這五個步驟的雲遷移計劃将把公司帶到一個全面雲運維的狀态。

業務上雲是一個複雜系統的工程,無論是舊的應用還是建構新的應用,遷雲團隊都需要仔細考慮成本與營運是否與平台模式比對。從現階段來看,應用分階段遷移可能是唯一的選擇。目前一些公司已經成功地用這種分階段方法改變了他們的傳統應用,并使風險最小化的同時受益于雲計算,這也許是未來一段時間雲化的主題。

3.2.8 裝置的利舊

裝置利舊是雲計算中心建設方案的重頭戲,好的方案設計可以提高使用者原有裝置的利用效率。利舊可分為兩部分,一部分可加入資源池,為應用提供服務;另一部分較舊的裝置可以作為應用冷備份、資料備份管理端、平台管理端來使用。

為了避免現有裝置投資浪費,原有伺服器、儲存設備利舊方案主要包括:

□伺服器利舊

原有部分高端伺服器可納入雲技術平台的伺服器資源池中,作為生産資源利用;原有的中低端伺服器,若能夠支援硬體虛拟化技術,可作為資源池測試環境使用。

□儲存設備利舊

除了配置過低和使用年限已過保的裝置以外,其餘均可由雲技術平台的存儲虛拟化控制器納入統一的存儲資源池中,根據需求作為生産或測試環境使用。

3.3 小結

本章從企業私有雲建設的需求分析開始,結合私有雲的規劃設計和業務上雲遷移等方面,闡述了企業私有雲建設在具體場景中的設計與問題,以幫助讀者更好地了解企業私有雲建設。