天天看點

騰訊雲高可用雲主機性能提升團隊:風口浪尖,淡然處之,也無風雨也無晴

導語:記 2017 上半年公司級技術突破獎金獎團隊「 騰訊雲高可用雲主機性能提升項目 」背後的故事

說起來也算幸運,每次聊起雲計算,我們都能以一個行業從業者的自豪挺起胸膛,就像小時候作為少先隊員,每次給國旗敬禮都會覺得胸前的紅領巾更紅一點。

說起來也挺幸福,我們能夠在騰訊雲實驗室拿到最先進的黑科技産品,那種興奮不亞于一個女人買到了全球限量的包包,實在不了解那些看起來都一樣的鞋子和包包有什麼好發朋友圈的,明明我手裡的這根記憶體和硬碟的結合體看起來屌100倍啊。

說起來也不知道是不是幸運,每天睜開眼都要瞅一眼今天的科技頭條,哪家的雲服務又被測評了,然後想一想我們的資料,反思一下我們有沒有被後浪拍死在沙灘上。

說起來我們應該是工作後從事的工作和專業契合度最高的工種,産品小妹的案頭書都是《計算機網絡》《圖解TCP/IP協定》……畢業了,大學教材不用賣,帶來工位,保證你工作幾天就想再回回爐,心中升起對算法和資料結構老師的無限思念 。

這些就是騰訊雲iaas基礎研發團隊的日常。

在一個成長的行業, 如果你站在一個第三方的視角,你會看到行業裡風起雲湧的競争,不斷得有廠商被淘汰,也不斷得有黑馬進來,情節跌宕起伏,大家争當武林霸主;而身處其中的我們,其實隻有最樸實的願望,把可用性做好,把客戶服務好,争取在這個領域把性能做到最高。談不上風雨,也談不上彩虹,低頭做事,而已。

從2013年9月9日,qcloud公測上線開始,我們在公有雲市場上的賽跑就從來沒有停過,競争對手不給你機會喘息,行業不給你機會休息,客戶更不會坐在門口等你長大……我們在市場上售賣的每一款産品,也許就跑在競品的測試環境裡,無時無刻不在對比着,你主機的單線程性能,多線程性能怎麼樣,你的網絡吞吐,虛拟機時延,都是完全公開,容不得半點美化,如果我們提供的主機性能比競品落後,随時會被揪出來公開吊打,要想反擊,隻有拿出我們的硬實力,拿出實際的測試資料說話,在這一點上實際的測試資料無法PS,比得就是硬實力。

是以我們才要在短短幾年時間内,不斷推出二代伺服器,三代伺服器,GPU、FPGA等異構服務,尤其是今年7月推出的3代雲伺服器,skylake+smartnic+25G 網絡,CPU性能提升30%,網絡性能相比上一代提升4倍。在正式推出前,還沒有正式環境的情況下,研發同學手工虛拟化壓測,一點一點調優,當廠商提供的驅動和kernel版本不比對時,我們還有大量的patch回合的工作,既要保證性能比上一代更優,還要保證現網所有功能不受影響,(時間有多短,我就不說了,畢竟,這也是我們的競争力)。

産品小妹每天盯着性能資料比看天氣預報還上心,查現網營運資料,着急了幹脆用python寫腳本自己去資料庫摟,讓開發哥輪刮眼眶……

在這個行業,原地踏步,就是退步,一切都要用資料說話。

現在大家都有一個感受,丢手機比丢錢包還嚴重。我們的衣食住行幾乎都可以靠手機解決,你買東西可以上購物app,吃飯前上各種美食推薦網站搜一下,存錢理财可以用網際網路銀行,而這些我們時時都在用的app, 有的就是我們自己的客戶。也就是說我們面對的客戶有可能是比我們還要專業的運維和研發。

客戶對我們要求越來越高,我們要想辦法比客戶走得更快一點。

在彈性高可用的底層,是成千上萬的實體機,而實體機不可能沒有故障,實體機有故障,不能影響客戶業務,一旦客戶業務中斷,帶來的有可能是幾千萬的損失,想想,如果你是遊戲玩家,突然服務連接配接中斷,你會不會罵人? 這個時候就要用到雲的彈性能力,熱遷移。在客戶服務不斷的情況下,将客戶的主機從有隐患的機器上遷移到健康的機器上,保證使用者使用穩定的高性能服務。遷移這兩個字,說起來容易,做起來有多難,誰做誰知道。要保證資料一緻性,保證遷移速率,要預測母機負載,不能影響客戶原有服務性能。近一年來,我們向KVM社群貢獻了10個核心patch, 來源于社群,同時又回饋社群,我們做到了。

說到團隊裡的同學,實在不知道該怎麼去描述這一群被我“摧殘”的兄弟們。

他們是一群很無趣但也非常有趣的動物。

T恤,短褲,運動鞋,一年365天固定造型,(冬天可能會穿個長褲)。

頭發剪沒剪,其實也不大看得出來,畢竟剪了跟沒剪也沒多大差别,除非哪天燙了個頭大變形象來上班,(沒準是前兩天剛整出一個突發受刺激了)。

周末不出去浪,坐在萬利達調代碼,别說看過淩晨4點的萬利達,他能給你講出淩晨三點、四點和五點的萬利達有什麼差別……

可是就這麼一群無趣的開發哥,也能輕輕松松得跑個半馬;午休的時候抱起吉他來一首指南針樂隊的歌;甚至在知乎上洋洋灑灑寫出連載文章,嬉笑得把周遭調侃一遍,收獲迷妹無數;當然還有他們經常自娛自樂的其實不怎麼好笑的冷笑話。

就是這麼一群人,二半夜爬起來接告警,處理故障;周末懷裡還抱着娃,電話會議說開就開;大半夜做演習,為了幾ms的優化吵個不停;迎面走過來的某個低調眼鏡哥,maybe就是活躍在社群裡的頭号大牛,在社群粉絲無數;不過從他們那,我聽過最動聽的話還是:dandan, 可以提測了……

随着大資料,AI的行業應用,除了在計算、網絡底層能力上不斷深挖,高性能網絡、異構計算服務等為客戶打造極緻使用者體驗;同時,我們還會在PAAS和中間件服務上探尋更多可能性,為行業和使用者提供更多前瞻性服務。

下一代iaas指日可待,未來已來,努力就在當下。

感謝所有的兄弟團隊,陪伴我們無數個淩晨變更,7*24小時線上服務客戶,堅守每一個地域的釋出,一遍一遍得驗證價格配置是否正确……執手相看淚眼,竟無語凝噎。感謝所有的基礎研發團隊,我們通力合作,才能給客戶提供完整的産品需求;感謝來自各個行業的客戶,你們的信任,也催促着我們成長,我們會繼續努力,讓你們願意來,願意留下,願意和我們一同成長。

僅以此文,獻給現在還在萬利達碼代碼、寫需求的各位,目标尚未達到,同志仍需努力。