天天看點

道與術丨華為雲資料庫戰略啟示錄

摘要:圍繞資料庫産業趨勢及華為戰略,華為資料庫基礎研究方向,GaussDB商業實踐及生态建設,與華為雲資料庫首席架構師馮柯、華為雲資料庫副總經理丁晨進行了一場深入交流。

本文分享自華為雲社群《DTCC 2021 | 華為雲資料庫戰略啟示錄》,作者: GaussDB 資料庫 。

不知不覺,華為攜GaussDB正式産業化運作已經有兩年多了。這兩年,國内資料庫市場在多元度發生着巨大的變化,國際局勢、疫情、數字化轉型、信創等加速了全社會對國産資料庫的認知和接受程度,而GaussDB自身也變化極大。

2019年5月15日,華為正式推出GaussDB資料庫,。

2020年5月初,華為GaussDB做了戰略更新,覆寫關系型、非關系型資料庫以及生态工具類産品,聚焦客戶業務,打造全場景雲資料庫服務。

2020年6月30日,華為正式将GaussDB單機主備能力開源到openGauss社群,鼓勵有能力的合作夥伴打造基于openGauss的自有品牌商業資料庫。

……

這些變化與調整的背後意味着什麼?顯然,是華為對資料庫的思考在變化,随之而來的是發展政策也有所調整。GaussDB為什麼會并入華為雲?華為為什麼要開源openGauss?openGauss與GaussDB是怎樣的關系?GaussDB未來将如何發展?這些就成為外界關注的焦點。

道與術丨華為雲資料庫戰略啟示錄

華為雲資料庫首席架構師馮柯

帶着很多問題及想法,圍繞資料庫産業趨勢及華為戰略,華為資料庫基礎研究方向,GaussDB商業實踐及生态建設,與華為雲資料庫首席架構師馮柯、華為雲資料庫副總經理丁晨進行了一場深入交流。

現在談論資料庫不可回避的需要讨論的另一個話題,就是雲計算。

雲計算給今天的中國資料庫産業帶來的不僅是技術上的更新,更重要的是商業模式的重塑。在雲化大潮下,作為資訊系統核心軟體的資料庫發展出了雲資料庫的技術路線。

Gartner預測,雲将主導資料庫市場的未來,到2021年,雲資料庫在整個資料庫市場中的占比将首次達到50%;到2022年,75%的資料庫将被部署或遷移至雲平台。

馮柯表示,這幾年我們能夠越來越深刻地感受到整個行業在全面走向雲化,即使是一些傳統的政企企業,它的整個數字化也在不斷加速。這當中我們也看到了很多客戶,他們已經完成了從ON Cloud到IN Cloud的轉變,可以說如今業務是真正生于雲、長于雲。

中國雲計算産業已經逐漸進入下半場,馮柯指出,進入下半場一個很明顯的特征是大中型金融政企的應用加速雲化,而這将主導雲資料庫市場高速增長。

道與術丨華為雲資料庫戰略啟示錄

華為預測,大中型金融政企客戶在雲資料庫方面的支出會占到整個中國雲資料庫市場的3/4,其中OLTP類型資料庫市場空間為60%,OLAP為23%,NoSQL為17%。

馮柯強調,華為對于整個中國資料庫市場是堅定長期看好的,是以,會持續戰略投入去做。而基于對整個行業的趨勢的判斷,華為對資料庫進行了戰略聚焦,即把雲資料庫作為華為在資料庫方向上的主賽道,雖然馮柯并沒有直接回答,但老魚認為,這或許就是為什麼GaussDB會并入華為雲的主要原因。

華為資料庫發展戰略,用一句話總結即“發揮軟硬體全棧優勢,共建開放生态,打造GaussDB全場景雲服務”。

資料庫是一個非常有黏性的行業,因為資料是核心資産,牽一發而動全身,直接影響客戶業務,是以一旦上去,基本就很難下來。資料庫行業發展的這40年來,以Oracle、SQL Server為首的主流資料庫占據了大量的資料庫市場,但也帶來了很多問題。尤其是這兩年來和A國的科技戰,卡脖子問題,是以無論是國産化,還是行業,都需要開放的生态,不能從一個傳統封閉生态再走向另一個封閉生态。

而華為開源openGauss,其核心主要兩點,其一、華為在擁抱MySQL等開放生态的同時,也會以openGauss開源生态為主體,打造開放的資料庫生态。其二、支援客戶多樣化(非雲)的訴求。

基于新需求、新場景、新技術,最終,華為選擇了六大資料庫領域基礎研究方向來構築競争力,這是此次大會上,華為透露出的另外一個要點。也就是說,未來華為在資料庫上将在這六個方向重點投入,打造根技術的競争力。

高可用是目前大多數金融政企客戶首要關注的問題,特别是對于多地、多中心容災有要求的客戶。馮柯表示,針對這樣的客戶,華為雲資料庫已經提供了多種解決方案,如支援同城雙活、異地容災、兩地三中心的解決方案,支援同城雙活強同步的解決方案,支援異步資料複制、多地多活的高可用解決方案。

在這當中,華為兩地三中心的高可用解決方案已經在國有大行,從A類到D類全類業務進行了驗證,滿足金融監管的要求。基于雙叢集RPO=0的方案,華為也即将迎來正式投産。在所有的解決方案當中,華為既提供通過軟體機制本身來實作高可用解決方案,也提供基于華為企業級存儲,通過軟硬協同實作的高可用解決方案,以不同的解決方案來滿足不同行業、不同客戶對于高可用的需求。

面向未來,華為也在探讨實體距離在一千公裡以上,真正具備全球部署能力的多活架構。

得益于華為從晶片、伺服器、存儲、網絡、作業系統、資料庫全棧軟硬體能力,華為雲GaussDB可以實作軟硬體垂直整合,提升性能和高可用能力。

首先,資料庫的持久化邏輯,深度整合到了計算與存儲分離的技術底座中,基于這樣一個公共技術底座,華為雲資料庫全系列産品都可以獲得在容量、彈性、擴充性方面的巨大提升,同時能提供給客戶一緻的體驗。

其次,據馮柯透露,華為這兩年的投入重點是把資料庫裡的各種計算邏輯,從計算節點解除安裝下來,下推到存儲當中去,特别是對一些複雜的查詢處理,同時疊加并行處理能力,使得這些計算邏輯能充分利用下面整個存儲池的能力,同時最關鍵的是能做到對業務透明。

第三,就是高性能,高性能的實作除了IO聚合之外,單條交易的本質就是網絡的時延和處理的時延。是以,網絡對于分布式資料庫的時延(性能)影響是巨大的。

總而言之,軟硬協同帶給我們的不僅僅是性能擴充方面的優勢,更是可以通過軟硬協同打造真正企業級的可靠性。

為什麼會将混合負載(HTAP)作為華為雲資料庫根技術方向之一,這樣選擇的背後有着怎樣的思考?馮柯表示,這是因為性能對今天的金融政企客戶來說,有兩層重要的現實含義:

第一層:性能提升能夠真正降低業務遷移的風險,過去一直在談怎樣降低業務遷移風險,談怎麼提高産品的相容性,怎麼保證資料遷移的品質,可是會有怎樣的風險比性能不足而導緻業務必須在架構上做重大變更所帶來的風險更大呢?使用者增長已經非常确定的說明了這一點,這是第一層含義。

第二層:對分布式資料庫而言,在分布式資料庫上性能意味着什麼?意味着成本。在很多實踐中,華為發現一個規律和問題,就是當把客戶基于主機或者基于小機的業務下移到開放式的分布式系統中,很多時候客戶成本反而上升了,這是非常有意思的話題。

通過對這些問題反思,華為明白了一個道理,這個行業最終還是要回到對于資料庫本身能力的關注上。

單一架構其實并不能解決今天行業所碰到的所有問題,這兩年,華為也在打造另外一款基于雲原生的多主架構,希望通過這種架構能夠解決兩個階段的問題,馮柯說。

第一個問題,是高可用的問題,華為希望能基于多主架構,能解決切換時業務中斷的問題。

第二個問題,是擴充性的問題,華為希望基于多主架構,融合軟硬協同的進展,真正能在計算節點以下,在巨大冰山水面以下的部分持續提升這個産品性能和彈性,最終,華為希望提供給行業客戶另一種選擇,一種不需要通過資料拆分也可以獲得透明擴充能力的選擇,進而更好的比對另外一些行業客戶,特别是一些傳統的政企客戶的模型。

不久前,華為也釋出了基于多主架構的路線圖。據了解,華為計劃到今年年底或者明年年初,會正式将基于這種架構的第一代産品投入商用。

當今世界,每個組織,每個國家,每個人都在關注安全、合規和隐私的問題,幾年前資料無保護随意使用的紅利是不可能了,這也促進了技術的進步和落地。

未來,全行業都會面臨越來越嚴格的對于可信安全方面的要求。

全密态是華為資料庫為了提升隐私保護能力研制的一項關鍵技術,全密态跟以前談論的脫敏加密不同,資料存儲和傳輸過程中是匿名性存在的脫敏加密,全密态支援資料在整個計算過程中同樣是以密鑰形式存在的,這就實作了讓整個敏感資料在全生命周期當中都得到保護。華為希望通過全密态的技術能夠給對于安全可信,有更高要求的應用場景更多選擇。

如果把雲資料庫看成是一種基礎專利,這種基礎專利供給方和需求方之間不需要事先建立可信關系,就可以達成服務契約,華為希望通過這樣的技術,通過在整個安全可信方面的投入來拓展今天的雲資料庫,整個雲基礎設施的業務邊界,這是華為想做的事情。

雲計算所帶來的規模化挑戰,在運維側的複雜度和營運成本是今天所有雲服務提供商面臨的共同挑戰。

另一方面,由于分布式資料庫自身架構決定,在開發側,運維側複雜度的增加,這種複雜度會反過來阻礙架構實踐在行業進一步的應用,而解法就一個智能化。

華為在智能化進展展現在2個主要運維場景,其一,參數自調優,通過深度學習/強化學習與全局調優算法,已經覆寫了500+重點參數。相比DBA人工根據經驗調優,性能提升30%的同時,耗費時間從天縮短到分鐘級。

其二、智能索引推薦,通過啟發式推薦算法,實作了語句級和負載級智能索引推薦,将效率從小時級提升到秒級,并在benchmark測試中實測性能提升了約40倍。

同時,GaussDB還在分布列推薦、慢SQL發現與診斷、負載趨勢預測與異常檢測等領域,引入AI技術,大幅提升管理效率。

華為這兩年正在持續将AI技術融入資料庫核心中,實作資料庫自動優化與調優等功能。

在馮柯看來,華為雲資料庫的競争力有三個方面:

其一,研發投入,華為在資料庫研發投入上是世界領先的,布局了全球7大研究所來建構資料庫研發能力,包括(愛爾蘭研究所、歐洲德國研究所、以色列研究所、俄羅斯研究所、印度研究所、中國深圳、北京、上海、西安研究所、加拿大多倫多研究所)。長期的戰略投入保證華為在資料庫專家人才方面儲備充足。根據了解,目前華為荟聚了全球1000+的資料庫專家人才。

其二、技術戰略布局,華為在整個基礎軟硬體的基礎上,如晶片、存儲、網絡、作業系統、資料庫有着完整的軟硬體布局。這意味着華為可以通過軟硬的全棧系統,來打造全場景的雲服務。

其三、生态,資料庫生态是資料庫重要的一環,也是華為今天最大的優勢,馮柯說, GaussDB從一開始就注重生态和社群的建構。華為做生态是認真的且富有經驗的。馮柯強調,最關鍵的一點是,華為把生态當做業務來做,而且首先需要解決生态中怎樣實作商業利益共享,華為願意去跟夥伴分享市場機會。目前,已經有12家DBV基于openGauss社群版釋出了自己的品牌資料庫。

雲資料庫上半場,是線上市場(公有雲)之争,目前大局已定,雲資料庫之戰逐漸進行到下半場,即線下市場(私有雲、混合雲)之争。

線下市場之争,華為雲又将如何應對?馮柯強調,華為戰略聚焦雲資料庫,雲資料庫包括公有雲服務,也包含專有雲、混合雲服務。華為舍棄的隻是線下純軟體(CD光牒)銷售和傳遞,而非雲部署方式。華為雲資料庫副總經理丁晨也強調,華為并沒有舍棄線下市場,而是通過華為雲Stack+GaussDB部署到客戶資料中心,為客戶提供與華為雲一緻的服務體驗。

線下市場對于有着ToB基因的華為無疑是優勢領域,IDC2020《中國關系型資料庫軟體市場跟蹤報告》顯示,華為雲Stack在中國政務雲,金融雲市場長期保持市場佔有率第一。GaussDB資料庫在中國關系型資料庫本地部署市場中,國産第一。

面向金融政企市場,華為雲Stack+GaussDB,為客戶提供符合政策監管要求本地部署的雲服務。目前,華為雲GaussDB已經在助力國有大行核心交易與數倉系統分布式改造,并已經在4家國有大行和多家股份制銀行商用,并通過聯創攻克關鍵核心技術。

最後,丁晨強調,國産資料庫完全能滿足企業核心業務需求,隻不過相對Oracle而言,國産資料庫還沒有那麼完美,這需要時間,現在最欠缺的是信心,而信心是需要時間來培養的。

點選關注,第一時間了解華為雲新鮮技術~