摘要：政企資料中心部署雲資源池後，網絡架構變得複雜，如何在資料中心内無縫內建雲資源池、如何協同雲上業務和雲下傳統業務的互通、如何解決雲上業務的安全合規等新問題出現。
本文分享自華為雲社群《【華為雲Stack】【大架光臨】第11期：政企上雲網絡适配複雜，看華為雲Stack有妙招》，作者：華為雲Stack網絡架構師 姚博；華為雲Stack網絡技術專家 朱娜。
背景
雲計算所擁有的超大規模、虛拟化、高可擴充、安全性、按需服務、靈活性等特點，為客戶業務創新群組織整合提供了強大的技術基礎，當下雲計算技術已經成為政企IT基礎設施的标準配置，政企資料中心部署雲資源池後，網絡架構變得複雜，如何在資料中心内無縫內建雲資源池、如何協同雲上業務和雲下傳統業務的互通、如何解決雲上業務的安全合規等新問題出現，華為雲Stack作為國内領先的雲解決方案，能夠為政企客戶提供滿足各種業務訴求的網絡技術，幫助業務平滑上雲。
業務的正常運作離不開網絡，當企業業務運作在傳統資料中心時，網絡互通和網絡安全由資料中心的硬體裝置來提供，如下圖典型資料中心組網所示：傳統實體組網中的東西向流量二三層轉發由spine/leaf，新型資料中心也有多層Clos架構來承載，東西向流量的安全防護由旁挂在border leaf的防火牆完成；傳統硬體負載均衡器部署在資源池内，給業務提供進階網絡服務；南北向流量轉發集中到資料中心出口接入區完成，出口接入區的裝置除了出口路由器做流量轉發外，還會部署一些安全裝置如防火牆/WAF等來保證資料中心内業務安全。
圖1：企業傳統資料中心典型網絡架構
企業客戶在本地自建雲後，從整個資料中心組網來看，雲平台是以一個獨立的資源池內建到客戶資料中心的全局網絡中，是資料中心的一部分。
圖2：企業傳統資料中心內建雲平台資源池組網
業務上雲後，對于網絡的通信和安全訴求沒有改變，隻是網絡承載體由實體硬體裝置換成了雲廠商提供的先進的軟體/硬體結合的網絡服務。綜合來看，雲平台提供的網絡服務，需要幫助客戶解決這些網絡問題：
1， 業務上雲過程中，一部分業務在雲下，一部分業務在雲上，如何實作雲上雲下高速互聯？
2， 業務如何使用雲上的網絡服務，實作快速平滑上雲？
3， 雲上業務的安全如何控制，才能滿足安全合規訴求？
4， 雲上業務如何使用傳統硬體裝置提供的進階能力，滿足業務個性化訴求？
華為雲Stack基礎網絡雲服務憑借國内政企市場的豐富客戶經驗積累，深入了解客戶業務上雲過程中對于雲網絡的訴求，提供了一系列以客戶網絡為中心、以客戶習慣為中心、以客戶業務為中心的網絡服務和能力。
雲資源池網絡平滑對接資料中心網絡
企業IT雲化過程中，雲資源池隻是資料中心的一部分，華為雲Stack的網絡部署架構可以平滑接入到資料中心内，和資料中心網絡無縫內建，并且雲上雲下網絡互通可以靈活比對不同分區網絡規劃。
使用L3GW服務實作客戶雲上雲下一張網
如之前文章《高性能雲網關，打通雲内外業務互通的任督二脈》中所講，客戶業務上雲是一個漸進的過程，在這個過程中，客戶的網絡是覆寫雲上雲下的混合組網，對于政企客戶來說，傳統的資料中心網絡規模比較龐大，一般會分多個實體網絡分區，連接配接不同的網絡：
• 資料中心互聯區，用于同城跨資料中心互聯；
• 廣域網接入區，接入企業骨幹網，用于異地多資料中心互聯；
• 網際網路接入區，用于連接配接公網；
• 外聯網接入區，用于公司的合作夥伴接入。
每個業務根據服務的對象不同而要求接入不同的網絡分區，有的業務隻接入一個網絡分區，有的業務會接入多個網絡分區。這些業務上雲之後，對外提供的服務不會變化，連接配接網絡分區的訴求也不會變化，而客戶雲下實體分區的組網和配置是全局規劃的，不能因為業務上雲後适配雲平台的組網和外部網絡類型而調整雲下的組網，造成雲下網絡管理和雲平台網絡管理有明顯的差異，加大了網絡管理和維護的難度。
華為雲Stack網絡L3GW服務，可以實作雲上雲下一張網，雲上的業務網絡通過L3GW服務作為一個業務區平滑的接入到傳統資料中心的網絡，保證客戶資料中心現有的網絡架構無需改動。
圖1：通過L3GW服務實作雲上雲下業務一張網
承載L3GW服務的L3GW網關作為雲上雲下互通的邊界網關，一邊連接配接客戶資料中心傳統網絡，一邊連接配接雲上的虛拟網絡。考慮到客戶資料中心的組網方式多種多樣，L3GW支援多種組網方式，比如堆疊組網、VRRP組網、雙活口字型組網以及雙活交叉組網等，這幾種組網下雲平台L3GW服務都能實作L3GW網關的配置自動化下發，另外還支援客戶自定義組網，滿足客戶個性化訴求，實作客戶資料中心網絡不需要改造，也可以使用L3GW服務。對于自定義組網，虛拟網絡的配置也是雲平台L3GW服務自動化下發的，客戶隻需要配置自定義部分的網絡即可。
傳統業務上雲，網絡規劃方案不變
華為雲Stack可以支援業務上雲後，網絡管理者繼續使用上雲前的網絡規劃和配置習慣，平移上雲。
使用VPC服務實作業務網絡平移上雲
VPC是華為雲Stack提供的雲上的安全隔離的虛拟私有網絡，可以了解成傳統實體網絡的虛拟版本：
• 它是一個完全由客戶自己掌控的網絡，包括子網配置，網關配置，路由配置等，通過VPC實作業務東西向互通訴求；
• 它支援豐富的連接配接，可以連接配接到其它VPC，也可以連接配接到客戶本地資料中心，也可以連接配接到其它Region的VPC，由客戶按需定制，通過豐富的連接配接實作業務南北向通信訴求；
• 它也是一個安全隔離的網絡，安全隔離能力可以做到和傳統網絡裝置vlan隔離級别一樣。
客戶雲上的業務都是運作在VPC裡，雲上業務使用的VPC分兩種場景，一種是大量小規格的VPC，另一種是少量大規格的VPC。大量小規格VPC場景，是類公有雲的一種用法，各個業務部門有自己的賬号，自助在雲上申請根據業務類型申請VPC和自定義VPC網絡，雲的特點天然能支援這種多VPC的場景。比較有挑戰的是少量大規格VPC的場景，這種場景是企業客戶由于傳統業務網絡分區規劃方式，固有組織流程，合規要求等因素，希望業務平移上雲的普遍訴求。
如上文所說，傳統的資料中心網絡一般會分多個實體網絡分區，有資料中心互聯區、廣域網接入區、網際網路接入區、外聯網接入區。網絡管理者根據業務規模以及增長趨勢預先給每個分區規劃獨立的網段池子，業務上線的時候，網絡管理者基于業務的互通訴求從對應的分區網段池子下配置設定子網給業務使用，而不用感覺業務類型給每個業務預先規劃網段池子。
業務上雲後，為了保留這種網絡管理方式，雲上的VPC根據網絡分區規劃，比如規劃成内網VPC，網際網路VPC，外網VPC等，每個VPC裡的子網劃分還是保留上雲前的配置設定方式，那業務規模的大小決定了VPC子網規格，以及VPC下IP個數。以内網VPC舉例，假設網絡管理者規劃的内網網段為1個B類位址，每次配置設定給業務使用為24位掩碼子網，那麼内網VPC下的子網個數為256個，可用IP個數高達6w左右。雲上VPC要能支援大規格子網和大規格IP才能滿足客戶保留網絡管理習慣，業務平移上雲。
VPC下子網和IP個數越多，雲平台管控面壓力越大，因為同一個VPC下所有IP預設是可以互通，高可用訴求下的業務反親和部署，虛機會打散部署在資源池内所有主機上，導緻VPC内不同的IP覆寫不同的計算節點，當有新的IP配置設定給業務使用後，VPC覆寫的所有計算節點都要處理新IP，下發IP對應的ARP表，控制器需要通知所有計算節點處理新IP上線，控制器的處理資料量随着VPC規模變大而變大；還有一種考驗控制面性能的場景是虛機遷移場景，尤其是虛機并發遷移到新的主機上，新的主機要下發VPC下全量子網資訊對應的路由表項，全量IP資訊對應的ARP表項，表項越多，耗時越長，遷移導緻的網絡零中斷越難保證。
華為雲Stack的 VPC控制器，采用分布式系統架構，管控層和資料層分離，管控層controller通過狀态外置到nosql，實作彈性橫向擴容；通過MQ，實作消息分發和流量削峰；資料層通過agent元件接收controller的配置消息，轉換成資料面的配置，幫助資料面屏蔽業務資訊，讓資料面更簡單可靠。controller和agent之間的消息推送采用push-pull機制，controller無需感覺agent的狀态，邏輯簡單；agent減少無效輪詢，配置快速生效。
基于這種軟體架構，華為雲Stack 單VPC支援的大規格子網和大規格IP，可以滿足絕大部分企業客戶，保留原有的網絡管理習慣的訴求，業務網絡平移上雲。
使用網絡ACL服務解決業務安全配置平移上雲
資料中心的網絡安全防護必不可少，安全防護一般由安全部門負責。資料中心内部是私有環境，相對安全，業務之間互相通路，通過在硬體防火牆配置ACL規則防護即可，網絡管理者給每個業務分區規劃硬體防火牆，業務上線的時候，給安全部門提要求，安全部門根據業務的訴求，在硬體防火牆上配置對應的ACL規則。業務下線的時候，再把安全規則從硬體防火牆上移除。業務規模大的時候，硬體防火牆上配置的ACL規則會非常多。我們曾經遇到一個金融客戶，單個網絡分區的硬體防火牆上配置了60w條ACL規則。
網絡雲化後，相比傳統網絡，安全邊界發生變化，雲下硬體防火牆規則需要平移到雲上網絡ACL，基于傳統安全配置管理習慣，安全規則跟着業務上雲，雲上提供的網絡ACL服務必須支援大量的規則才能滿足訴求。
雲上的網絡ACL服務，業界常見實作方式是分布式，ACL規則下發到各個主機上，而不是傳統的集中式的方式。ACL是有狀态的，ACL規則越多，建立連接配接逐條規則比對，性能就越低，是以單個ACL執行個體下規則數一般不會很大，大多數友商都小于200條。這對于業務規模比較大，或者是有安全合規要求的行業比如金融行業是遠遠不夠的。
華為雲Stack網絡ACL服務，優化了網絡ACL比對算法，解決了ACL規則多帶來的建立連接配接數低的影響，單個網絡ACL規則從200條，提升到1w條，建立連接配接沒有任何影響。基于這個優化，華為雲Stack單個網絡ACL執行個體支援的ACL規則數1w條（按照IP和Port展開計算），業務上雲過程中，安全配置管理還是保留原有的習慣，平移上雲。
雲上業務繼續使用傳統進階網絡裝置
華為雲Stack可以支援業務上雲後，繼續使用傳統的進階網絡裝置，業務不需要改造。
使用L2BR服務內建第三方負載均衡器
客戶在傳統資料中心部署的業務，可能會使用到硬體負載均衡裝置提供的某些特性，而這些特性雲平台提供的負載均衡服務短期内無法支援，這類業務上雲，如果使用雲平台提供的負載均衡服務，需要對業務進行改造，改造成不使用雲平台不支援的特性，業務改造尤其是生産業務改造帶來的代價和風險是不可預知的，是以很難落地；還有一種場景，客戶由于使用習慣、技術儲備、裝置利舊和已有資産保護等原因，要求雲上的業務可以繼續使用傳統的第三方硬體負載均衡裝置。
解決這兩個問題的常見思路是在雲上手動部署負載均衡裝置的虛拟化版本，手動部署對客戶的網絡技能要求很高，并且管理和運維複雜度大大提升，可靠性也比較低。而華為雲Stack IaaS網絡L2BR服務支援內建第三方硬體負載均衡裝置，遷移到雲上的業務還可以像在雲下一樣使用傳統的負載均衡裝置，應用零改造上雲。
圖2：L2BR內建硬體LB應用場景
如上圖所示，傳統硬體LB旁挂在L2BR網關上，硬體LB上配置LB執行個體提供LB服務，LB執行個體所在子網通過L2BR執行個體接入到雲内VPC，後端server運作在雲上，client可以在雲外，也可以在雲上。雲上多個VPC可以共享硬體LB，也支援跨VPC通路LB執行個體。客戶可以根據業務訴求按需靈活組網，既可以使用硬體裝置的進階功能，也可以保持原有的操作習慣和體驗。