天天看點

李飛飛:新技術變革時代的資料庫産業

近日,阿裡雲智能資料庫事業部負責人李飛飛在媒體溝通會上發表了“新技術變革時代的資料庫産業”主題演講。

李飛飛說,雲資料庫已經成為資料庫最重要的發展方向,從國際國内資料庫産業的發展來看,這個趨勢已經非常明顯。在他看來,在新技術大變革時期,中國資料庫市場也一定會發生一系列顯著的變化。

具體到阿裡雲的發展政策,他表示,作為中國排名第一的資料庫廠商,阿裡雲已經做好了全面服務政企市場的準備,并會在這個市場上持續發力。

李飛飛:新技術變革時代的資料庫産業
以下為演講的核心内容:

資料庫的未來:雲原生+分布式

首先回顧整個資料庫的發展曆程。

過去幾十年,IT基礎設施的規模正在發生巨變,從早期的大型機、小型機,再到X86伺服器,到網際網路,再到雲+端的演進,底層的裝置數量出現了從幾十台到幾百萬台指數級的增長。

這種基礎設施的變化,為上層資料庫的演進提供了堅實的基礎。就像物種會随着環境的變化而演進一樣,當基礎設施——計算、存儲、網絡這些基礎的計算資源不斷演進的時候,這些基礎設施之上的資料庫系統,也需相應地持續演進。

不同的基礎設施對應了不同的應用場景,以及資料庫發展的不同曆史階段。

過去幾十年,資料庫經曆了從早期的關系型資料庫,到後來的資料倉庫和關系型資料庫配合,OLTP和OLAP兩個領域的細分,到後面開源資料庫,再到今天雲資料庫的一個發展曆程。

DB-Engines對資料庫領域有深入的跟蹤分析。目前,這個網站上有近400款不同的資料庫的産品,這個數字直白地說明資料庫市場競争非常激烈。

DB-Engines網站上的資料庫分為不同類型,有關系型資料庫、圖、文檔、分析型資料庫等,分别對應不同行業特點和客戶需求的細分市場。除了傳統商業化資料庫,開源社群的資料庫發展也非常迅猛。

DB-Engines有一個指數——Popularity Trend,這是通過各種名額計算出的。該指數顯示開源資料庫和商業資料庫之間的流行差距已經快速縮小。

李飛飛:新技術變革時代的資料庫産業

這一切都表明了資料庫行業正在發生新的變化。權威市場研究機構Gartner在相關報告中闡述了幾個非常重要的趨勢:

第一,資料規模爆炸性增長。我們處在一個大資料時代,毋庸置疑。

第二,資料的生産和處理的實時化需求越來越強。這也是為什麼阿裡雲今天提出雲原生資料庫2.0,提供一站式資料管理與服務。

第三,生産和資料處理的智能化。現在使用者對資料的處理不再停留在傳統的事務處理、交易以及簡單或聚合類的分析查詢,而是希望能從資料中得到更多洞察,利用資料驅動智能的業務決策。這對我們資料庫後續的發展也提出了新的挑戰。

最後,資料在加速上雲。這是非常明顯的行業趨勢,雖然有公共雲、混合雲、私有雲等各種形态,但是各行業對雲化的部署方式已是深信不疑。根據Gartner預測,到2023年,全世界75%的資料庫都會以雲的方式在運作。

資料庫系統架構也在快速演進。最早資料庫是單節點架構,傳統的商業資料庫和開源資料庫都是這個架構。

在實際的應用部署中,這種資料庫的優點是部署簡單,開發簡單。但是也有缺點,首先無法提供高可用能力、主備的運維、高可用切換、非常複雜且面對非常大的技術挑戰;其次,無法快速擴容。就比如自己家後院的小倉庫,當資料量或者并發處理的要求超過容量的時候,沒有辦法快速擴容。

為了解決彈性擴充、高可用等問題,業界衍生出兩個核心技術路線,一個是雲原生的技術路線,一個是分布式資料庫的技術路線。

雲原生到底是什麼?

雲原生的本質就是将資源池化,就像以前家家戶戶在後院挖個水井,今天不會再在後院挖個水井,而是會打開水龍頭,按需按量使用,彈性計費使用水的資源,有一個大的池子,這就叫資源池化,其實和雲計算使用計算存儲網絡資源是一樣的道理。

雲原生資料庫核心的理念就是利用雲計算的本質,運用虛拟化的技術,将資料庫裡面的核心資源進行池化處理,以此解決資源彈性、高可用的挑戰。這裡面還有一個核心的理念——存儲計算分離,通過将存儲和計算解耦,分别靈活彈性地滿足客戶業務需求。

除了雲原生,另一個技術方向是分布式。

通過分布式的方式,可以将計算和存儲進行水準拓展,滿足業務的大資料量以及高并發的需求。當然這也有挑戰,分布式的事務處理,資料庫仍需要滿足ACID原子性、一緻性、隔離性、持久性等特性。在分布式架構下,保證讀寫的高效處理非常有挑戰。

資料庫未來的發展趨勢一定是将雲原生能力和分布式能力合二為一,既提供分布式的水準拓展能力,也提供雲原生的彈性高可用能力。将兩者結合起來,也是阿裡雲以PolarDB為代表的雲原生資料庫,進一步去探索和發展的方向。

雲計算改變資料庫市場格局

阿裡雲資料庫在雲原生領域持續進行了多年的耕耘和積累,我們取得了一些進展。Gartner預測在2023年75%的資料庫都會以雲的方式來運作。

Gartner每年都會做魔力象限,對雲計算IT領域重要賽道進行評估。2013年之前,資料庫上司者象限基本是被傳統的幾個巨頭占據,Oracle、微軟、IBM的DB2,還有SAP。

到2020年,市場發生了翻天覆地的變化,在海外市場有一個明顯的特點是,除了傳統資料庫巨頭,AWS、谷歌、微軟等雲廠商也進入上司者象限。

值得一提的是現在的微軟和當年的微軟完全不同,微軟此次進入上司者象限是由于其雲資料庫的服務能力快速提升,極具競争力。結合其線下資料庫和雲資料庫兩個賽道的優勢,微軟已經實作了在整體市場佔有率上對Oracle的反超。

阿裡雲資料庫在2020年首次進入了全球資料庫上司者象限,這也是Gartner在産品成熟度、技術先進性、客戶滿意度,以及市場占有率等多個次元深度評估後給出的高度認可。

李飛飛:新技術變革時代的資料庫産業

圖檔來源:特大号  

上圖是十年前和2020年最新的全球資料庫市場佔有率排名對比。全球資料庫市場佔有率清單包含了雲資料庫的市場佔有率以及傳統線下資料庫的市場佔有率,兩者結合分析,過去Oracle一直占據第一,2020年微軟第一次反超Oracle。

這其實是微軟利用SQL Server以及Azure雲資料庫的快速成長,兩個賽道結合實作了對Oracle的反超,這是非常具有曆史意義的裡程碑事件,再次凸顯了雲資料庫在新的環境下,對各個廠商及資料庫市場的重要性。

另外,在過去幾年,阿裡雲的市場佔有率持續提升,已經到了全球第七位。如果隻看雲資料庫賽道,阿裡雲排名全球第四,位列AWS、微軟、谷歌之後。

資料庫産業的曆史新機遇

雖然資料庫是一個發展了四十年的賽道,但它并不是一個墨守成規的賽道。我認為在今天這個時間節點,資料庫還是一個非常有活力的賽道,孕育着大量新的市場機遇和新的爆發點。

第一,資料庫是基礎軟體類目的第一大賽道,基礎軟體有很多,但資料庫是基礎軟體裡最為核心的類目,也是市場體量最大的一個類目。

第二,從開發者的角度看,超過一半的開發者都需要使用資料庫,其重要性毋庸置疑。

李飛飛:新技術變革時代的資料庫産業

中國資料庫的産業發展有幾個新的機遇,可以稱之為四新——新政策、新面孔、新技術、新機遇。

第一,新政策。這主要是國家出台了系列政策,将對基礎軟體的重視程度提升到了前所未有的高度。國家非常鼓勵我們中國的企業,通過開放、公平的市場競争方式,提升國産資料庫的競争力,從技術水位、市場佔有率來看,國家也提供了非常好的環境。

第二,新面孔。傳統的上一代國産資料庫廠商叫四小龍,衍生到今天國産資料庫的賽道百花齊放,出現了更多的新面孔,包括以阿裡雲為代表的雲服務廠商,還有專門做企業級資料庫軟體的廠商等。

第三,新技術。今天之是以我們有這個機遇去挑戰傳統資料庫廠商市場第一的地位,并且實作了超越,本質上是我們所處的環境發生了巨大變化。

如同達爾文的《進化論》,物種要快速進化的前提是周圍的環境發生變化,新物種适應環境的能力比具有統治地位的老物種更快,它的進化速度就會更快。

新技術的産生,像雲原生、分布式、智能化,面向物聯網的多模資料的處理、安全可信、新硬體、以及開源,這些次元是今天以及未來很長一段時間,各個資料庫廠商會展開激烈競争的賽道。

最後,新機遇。越來越多的企業級使用者會選擇雲的部署方式,這個為我們進入傳統政企市場提供了非常好的機遇。

阿裡雲資料庫不僅在公共雲市場處于上司者地位,也做好了全面為線下傳統政企市場服務的準備,事實上我們已經服務了大量傳統政企客戶,并且用雲原生、雲計算的方式,為他們帶來了以前傳統部署方式享受不到的技術紅利,不僅僅是從IT降成本,保障穩定運作,更是帶來了新的業務價值,新的業務機遇。

雲原生資料庫2.0:一站式資料管理

回顧阿裡巴巴資料庫的發展曆程:

2005年-2009年,電商高速發展時期,阿裡巴巴集團擁有亞洲最大的Oracle叢集;

2010年-2013年,阿裡巴巴成功用自主開源的AliSQL替換了傳統商業資料庫;

2014年,阿裡巴巴開始布局自研資料庫,因為業務推着我們往前走,比如雙十一電商場景,有異地多活、熱點打卡、秒殺的需求,讓我們看到了自研資料庫的價值,于是我們堅定投入到資料庫這個基礎軟體的自主研發中去;

2017年到今天,通過多年積累的資料庫技術,我們提供了豐富的資料庫的服務,比如雲資料庫的托管服務RDS、雲原生資料庫PolarDB和分布式版本PolarDB-X、以及雲原生資料倉庫AnalyticDB,這些核心産品形成了我們資料庫産品和服務的矩陣。

通過技術疊代,雲原生資料庫2.0時代,我們希望提供一站式的資料管理與服務。

阿裡雲資料庫已經毫無争議的來到了中國資料庫市場第一的位置,在全球舞台上,具備了向更高台階、更高市場佔有率競争和挑戰的能力,進入了Gartner全球資料庫上司者象限。

另外,根據IDC最新的中國關系型資料庫市場佔有率的研究報告,公共雲加線下合起來統計,阿裡雲資料庫的市場佔有率占比28%,超越了第二名十個百分點。 在Forrester最新數倉報告中,雲原生數倉AnalyticDB也進入了全球的強勁上司者象限,在業界的标準基準測試裡面,取得多項性能及成本效益第一的結果。

我們不僅在商業市場上取得巨大的突破和成就,還得到了國家的高度認可。雲原生最核心的産品,雲原生資料庫PolarDB去年獲得中國電子學會的科技進步一等獎,這是中國電子學會最高的獎項。我們的資料庫也是唯一入選的資料庫的産品,展現了從國家層面,從科研的角度,對我們的新技術、新科研實力的認可。

雲原生數倉AnalyticDB也獲得了浙江省科技進步一等獎,我們進行了對x86、ARM等多種硬體以及作業系統的适配,這樣可以更好的服務中國的企業級市場和客戶。

李飛飛:新技術變革時代的資料庫産業

展望未來,我認為雲原生資料庫已經發展到了Gartner提到的市場發展階段,開始直面資料的實時性、線上交易分析一體化、資料智能化處理等新需求。

是以,我們提出雲原生資料庫2.0,提供一站式資料管理與服務的能力,通過資料生産和內建,到資料實時處理、存儲,再到資料分析和發現,最後到資料開發和管理,提供全鍊路資料生命周期的管理。

在這個基礎上,我們為客戶提供面向行業的解決方案,也就是面向不同客戶且能産生行業價值的解決方案,最後聯合我們的生态合作夥伴一起服務客戶,從分銷生态到ISV被內建,再到服務生态,再到開發者,形成一整套的資料全鍊路的管理和服務的能力。

李飛飛:新技術變革時代的資料庫産業

最後感謝我們的客戶,我們的客戶分布在各行各業,從泛網際網路行業,到傳統的政企,包括交通、能源、電力、銀行、保險、證券等行業。

我們非常自豪可以通過阿裡雲資料庫産品和服務,以及不斷的疊代創新,創造客戶價值。通過為客戶提供優質的資料庫服務,幫助客戶取得業務上的進展和成功,我們的客戶再去服務千家萬戶,最終為整個社會的發展做出貢獻。