天天看點

揭秘2017雙11背後的網絡-雙11的網絡産品和技術概覽

<a href="https://yq.aliyun.com/articles/272122" target="_blank">揭秘2017雙11背後的網絡-一張圖讀懂2017雙11中的網絡産品和技術</a>

<a href="https://yq.aliyun.com/articles/241272" target="_blank">揭秘2017雙11背後的網絡-雙11的網絡産品和技術概覽</a>

揭秘2017雙11背後的網絡-直面雙11洪峰的負載均衡SLB

揭秘2017雙11背後的網絡-全球最大混合雲架構

下面分别對雙11中的主要網絡産品-專有網絡VPC,負載均衡SLB,NAT網關,高速通道以及混合雲架構進行介紹

專有網絡VPC(Virtual Private Cloud)是使用者在雲上的一個隔離,安全的網絡環境,就像是使用者在雲上的一個私有的網絡容器,這個容器和其它使用者邏輯上是徹底隔離的,有了這個網絡容器後,就可以在這個容器中“放置”需要的雲産品和資源,比如負載均衡SLB,RDS等等。

VPC是使用者在雲上具備網絡管理能力的基礎,如選擇IP位址範圍、劃分子網、配置網關、實作多低于私網互通以及和雲下IDC的互通等,都需要依賴VPC。有了VPC後,使用者就能掌控自己的網絡。

公共雲平台是很多使用者共享的平台,雙11電商核心的交易、訂單、物流等都是在公共雲平台上,為了保證雙11交易的安全,使用了專有網絡VPC進行租戶隔離。

如下圖所示,雙11使用了公共雲平台上的一個VPC,這個VPC和其它VPC都是隔離的,禁止通信的。

揭秘2017雙11背後的網絡-雙11的網絡産品和技術概覽

專有網絡VPC使用隧道技術進行邏輯隔離,比經典網絡更安全。這麼說可能有點抽象,打個比方,VPC使用的隧道技術就好比是在同一條公路上開辟不同的隧道,每個使用者有自己獨有的隧道,和其它使用者的隧道是完全隔離的,而經典網絡的安全隔離技術就好比是在同一條公路上有不同的車道,車道之間用隔離帶進行隔離,相比而言,沒有隧道隔離那麼安全。

如下圖所示,隧道ID 100和隧道ID 200就對應兩個不同使用者的VPC,兩個VPC中分别有VM1,VM3和VM2,VM4,這2個VPC的VM在各自的隧道上通信,和其它隧道的VM是隔離的。

揭秘2017雙11背後的網絡-雙11的網絡産品和技術概覽

大家可能會問,一個VPC容量夠不夠?能不能存下這麼多ECS?這個無需擔心,公共雲平台上有的使用者單個VPC已經超過20000台ECS了,在容器環境下,單VPC也有容納超5W容器的VPC,可從容應對業務的資源需求。

負載均衡SLB産品支援對多台ECS進行流量分發,以提升應用系統的服務能力,長期以來都是關鍵業務系統的入口。雙11億萬使用者通路的流量洪峰需要大量的ECS伺服器進行處理,而這些ECS的排程都需要依賴負載均衡SLB,負載均衡SLB接收到使用者的請求,智能排程到後端的ECS進行處理,并将處理後的結果傳回給使用者。如下圖所示

揭秘2017雙11背後的網絡-雙11的網絡産品和技術概覽

可以說,雙11的流量洪峰能不能扛住,使用者溝通體驗是不是流暢,負載均衡SLB是關鍵因素。對于負載均衡來說,最關鍵的是處理能力和排程效率,轉換成具體的技術名額有如下:

每秒峰值流量

每秒建立連接配接數CPS

最大并發連接配接數MaxConn

每秒查詢數QPS

可排程的後端ECS數量

那麼,雙11負載均衡SLB的表現是怎樣的呢,下面是其中一個執行個體的相關資料

名額項

資料

10G

10W

300W

後端ECS數量

超過1000台

要說明的是,這僅僅是一個執行個體的資料,雙11中負載均衡SLB使用了很多執行個體。SLB叢集根據規模大小有不同的處理能力,常見的公有雲叢集單個叢集可提供超過1億的最大連接配接數,超過1000W的每秒建立連接配接數,叢集總帶寬640Gbps。

那麼,這些資料的背後,雙11的負載均衡執行個體采用了什麼樣的配置呢?負載均衡叢集又做了哪些優化呢? 推薦閱讀 揭秘2017雙11背後的網絡-直面雙11洪峰的負載均衡SLB

NAT 網關産品支援SNAT和DNAT功能。SNAT功能即為VPC内無公網ECS提供通路Internet的能力,也支援通過DNAT将公網IP位址映射給VPC ECS,使得VPC ECS可以面向Internet提供服務。

雙11中NAT網關主要提供的是SNAT服務,為什麼說NAT網關是雙11中支付成功的關鍵呢? 如下圖,當使用者選擇了自己看中的寶貝後,點選“送出訂單”

揭秘2017雙11背後的網絡-雙11的網絡産品和技術概覽

即會跳轉到支付寶進行付款,這個時候就需要通過NAT網關去調用支付寶的支付接口,這就是NAT網關的SNAT功能,參見如下示意圖

揭秘2017雙11背後的網絡-雙11的網絡産品和技術概覽

雙11支付寶交易峰值達到25.6W筆/秒,其中每一筆的支付都需要NAT網關,這就需要NAT網關具備超大規模的帶寬和超大并發連接配接,當然還需要具備超強的容災能力。整個雙11期間,其中一個NAT網關的最大連接配接數就高達300W。

混合雲将公共雲和雲下資料中心通過專線互通,雲上雲下連成一體,這就是混合雲。混合雲既可以保護原有線下IDC的投資,又可以充分利用雲的彈性,尤其适合雙11這樣的促銷場景。可以說,雙11發展到第九年,其意義早已超越消費和零售領域,更是史無前例的社會化大協同,成為商業、經濟、科技變革的最大實驗場,是以,雙11也是全球最大規模混合雲架構的極好實踐,在這朵雲上,商品浏覽,訂單支付,客戶服務,物流查詢等等,很多系統調用頻繁在公共雲和雲下資料中心之間進行,已經成為一個緊密的整體,這些雲上雲下系統調用的背後都依賴混合雲網絡通道,這就是高速通道。

如下圖所示,高速通道有兩個重要的功能,一是專線,即将線下IDC和雲上VPC連接配接起來,二是VPC互聯,即将不同的VPC[跨地域]連接配接起來。

揭秘2017雙11背後的網絡-雙11的網絡産品和技術概覽

那麼,雙11中高速通道支撐下的混合雲架構又是怎樣的呢?推薦閱讀  揭秘2017雙11背後的網絡-全球最大混合雲架構

除了網絡産品本身,網絡更是雙11其它任何系統或産品的基礎設施,比如雙11中的資料庫,其處理峰值達到4200萬次/秒,就依賴底層的網絡技術。又如雙11晚會的視訊直播,再如說彈性計算ECS的網絡性能,更依賴存在于主控端上的無名英雄-虛拟交換機,等等。可以說網絡是雙11背後千百個系統的基礎,是基礎的基礎,核心的核心。那麼,雙11背後的虛拟網絡系統又是怎樣的呢? 這裡簡單介紹下阿裡雲飛天(Apsara)的虛拟網絡系統-洛神,後續将更多的介紹洛神系統。

揭秘2017雙11背後的網絡-雙11的網絡産品和技術概覽

洛神分為控制平面,資料平面和營運平面,控制平面主要是利用SDN的思想和技術對網絡進行管理和控制,比如開通VPC ECS 就需要通過控制平面進行。資料平面主要是指資料轉發,比如EC2 要通路Internet或者其它ECS,再如上文提到的ECS網絡性能,就需要依賴資料平面的相關子產品。齊天(QITAN)是網絡智能分析平台,負責對整個虛拟網絡系統進行智能分析,實時監控,并且有智能機器人提供服務。

可以說,網絡無處不在,但網絡之于雙11的最高境界是購物狂歡中感覺不到網絡的存在,平穩,絲滑的購物體驗就是網絡的最大意義。

繼續閱讀