天天看點

2684億!阿裡CTO張建鋒:不是任何一朵雲都撐得住雙11

2684億!阿裡CTO張建鋒:不是任何一朵雲都撐得住雙11

“不是任何一朵雲都能撐住這個流量。中國有兩朵雲,一朵是阿裡雲,一朵叫其他雲。”11月11日晚,阿裡巴巴集團CTO張建鋒表示,“阿裡雲不一樣,10年前我們從第一行代碼寫起,建構了中國唯一自研的雲作業系統飛天。”

2684億!阿裡CTO張建鋒:不是任何一朵雲都撐得住雙11

阿裡巴巴集團CTO、阿裡雲智能總裁張建鋒

2019天貓雙11再次重新整理世界紀錄,訂單創新峰值達到54.4萬筆/秒,單日資料處理量達到970PB。今年阿裡巴巴核心系統100%上雲,撐住了雙11的世界級流量洪峰。

“阿裡巴巴是一架高速飛行中的飛機,我們成功在此過程中換上了全新的引擎。”張建鋒說,用公共雲來承載這樣一個萬億規模的核心系統,阿裡雲是第一個做到的,“很多雲廠商自己的業務系統,不在自己的雲上,今後阿裡全部系統都在阿裡雲上。”

阿裡巴巴是全球首家将核心系統100%運作在公共雲上的大型網際網路公司。

附:張建鋒演講核心觀點

從去年開始,我們決定把整個阿裡巴巴核心系統全部上雲,上雲還要加一個定語,是上“阿裡雲”,并不是上任何一朵雲都能撐得住這個流量。在中國,我們經常說中國有兩朵雲,一朵叫做“阿裡雲”,還有一朵叫做“其它雲”。

為什麼講阿裡雲跟其它雲不一樣?因為在中國隻有阿裡雲是完全從頭研發的一朵雲,從頭是從每一行代碼,從十年前開始寫,今年是阿裡雲的第10年,是以我們的雲有一個特别的名字,叫做“飛天作業系統”,當初王堅博士創辦阿裡雲的時候,對我們這個雲下面的排程系統,整個雲的基礎平台,取名叫做“飛天作業系統”。

我們的雲完全是中國自研的一朵雲,其它很多雲從開源軟體改造過來的,這是非常大的不一樣。

第二個,今年雙11,阿裡仍然是一家在高速飛行中的飛機,我們成功的在這個過程中換上了全新的引擎。以前大家把非核心負載放在雲上,現在阿裡巴巴最核心的系統放在了雲上。現在我們的雲把原來專用的技術變成公共雲,大家都可以來享受普惠服務。我們有最好的系統,你們也可以在上面跟我們一樣使用。

阿裡雲承載阿裡巴巴自己100%的核心系統,這個是我們全球第一個做到的。很多雲廠商自己也有業務系統,但是自己的系統不在自己的雲上。我們以後所有阿裡系統全部都在阿裡雲的飛天作業系統上面。

大家一定會想,這是一個簡單的替換還是技術上非常大的一個進步、非常大的挑戰?我簡單說一下,我們有幾個方面做得非常好,它不是簡單的替換,上雲之後性能有了一個非常大的提高。

2684億!阿裡CTO張建鋒:不是任何一朵雲都撐得住雙11

今天大家可能有感覺,我們前十分鐘,基本上消費者沒有感受到任何抖動,大家購物非常順暢。

第一、我們在核心虛拟機系統上,自研神龍架構,用自研的伺服器來做虛拟化。一般的伺服器随着壓力增長,最終負載能力會慢慢下降,它不是線性的。我們神龍伺服器壓力越大,輸出也是非常線性的,這是非常難做到的。

第二、我們自研了雲原生的資料庫。今年有兩個資料庫,一個是自研的OceanBase,大家知道我們在TPC-C測試裡面拿下了全球第一。第二是PolarDB,也廣泛用在這次雙11上,沒有任何問題,我們每秒峰值也是遠遠超越于原來Oracle這樣傳統的資料庫。

2684億!阿裡CTO張建鋒:不是任何一朵雲都撐得住雙11

第三、我們的計算與存儲做了分離,現在阿裡巴巴存儲是有一個地方專門存資料。資料都是從遠端存取的,是以存儲可以很友善的擴容,因為它有一個專門的池。原來做不到。因為原來遠端存儲,通路網絡速度就跟不上。

第四、之是以現在能夠做到在遠端存儲,能夠比本地讀寫磁盤更快,是因為我們做了RDMA網絡,這是全球第一個大規模做RDMA網絡的公司。

我們這四個方面都做了核心突破。

今天,飛天作業系統能夠在10萬台級别以上的伺服器裡面做排程,今天雙11有非常多的應用,但是它并不是說每一個時間點,所有應用負載都是一樣的。我們在零點把大部分計算機資源配置設定給交易等應用,過了一點之後,我們把資料配置設定給資料處理系統。資料處理今年創了一個新高,2017年當天處理了300PB的資料,2018年處理了600PB的資料,今年要處理970P左右的資料。

大家可能沒有概念,一個P到底有多少資料,我上次跟央視的人交流,央視拍了這麼多年電視新聞節目,幾十年下來他存了大概80P的資料。雙11一天,我們要處理970P的資料,非常大的量,沒有一個先進的系統是撐不住的。

第二個是非常實時,大家看到了,今天在秒殺,在會場全部都是個性化、千人千面的,這裡的資料不僅是大,而且是要做到非常實時。到目前為止,我們菜鳥物流系統已經産生了超過10億筆的物流單,這個資料還在很快的上漲,這些都需要依靠阿裡雲背後大量的計算能力。

我們今年的資料,除了批處理之外,還有流處理,就是實時處理所有資料,就像你們看到的交易資料,每分鐘、每秒鐘都在變,它并不是從資料庫裡面統計出來的,它是每生成一筆訂單,系統自動一層層把資料彙集上來。我們這個系統每秒能處理25億筆記錄,這是流式的系統。

我們這麼多伺服器,要把它全部管理起來,除了飛天系統之外,還要管理所有的消息流轉,是以我們自己開發了一個叫做MQ的消息系統,這也是全球目前最大的一個消息系統。

今天,從飛天系統、大資料處理平台到智能化應用,這些技術疊加起來打造了一個新的分布式的基于雲的平台,才使得阿裡整個經濟體所有核心應用都能夠跑在上面。

最後,我們今年釋出了自研的晶片含光800。明年雙11,阿裡大量人工智能應用都會跑在自研晶片上面。

今天從飛天雲作業系統到神龍伺服器、資料庫、交換機、交換機作業系統、RDMA網絡,全部是阿裡自研的。我們今天已經積累了非常豐富、非常強的能力,從硬體、資料庫、雲計算作業系統,到上面的核心應用平台,四位一體,這是這次雙11跟往年最大不一樣的地方。
2684億!阿裡CTO張建鋒:不是任何一朵雲都撐得住雙11

**所有不可想象,終将化作尋常;

我們相信“相信”,一切都是新的。

雙11快樂!**