天天看點

阿裡雲釋出“自動駕駛”級資料庫平台DAS,讓資料庫從“手動”進入“自動駕駛”新時代

雲栖号資訊:【 點選檢視更多行業資訊

在這裡您可以找到不同行業的第一手的上雲資訊,還在等什麼,快來!

談到資料庫行業近幾年的重大變化,我們很容易想到從傳統資料庫向雲資料庫的變遷。而另一個正在悄然發生的變化不太被人提及,盡管其意義同樣非常重大,這就是資料庫的“自治”。實際上,資料庫實作“自治”,也就是系統自我管理,是資料庫行業又一個劃時代的變遷。

如果把從傳統資料庫向雲資料庫的轉變比喻成“汽車換馬車”的話,那麼資料庫的“自治”就是從“手動”到“自動”,更準确地說是到“自動駕駛”。而阿裡雲4月22日釋出的資料庫自治服務DAS(Database Autonomy Service)就是這一變遷的一個重要标志。

給“汽車”加上自動駕駛引擎

近幾年來,随着雲計算的普及,以服務形式呈現的雲資料庫應運而生,如阿裡雲的PolarDB、AnalyticDB等。雲資料庫天生具有的可擴充性、靈活性、高成本效益等優勢使得其在與傳統資料庫的競争中赢得了先機,得到了市場廣泛認可,代表了資料庫的未來。Gartner預計,到2021年雲資料庫在整個資料庫市場中的占比将首次達到50%。而到2023年,75%的資料庫要跑在雲平台之上。

雲資料庫大大減輕了資料庫管理者(DBA)的工作,包括資源彈性、高可用、備份、監控等基本運維工作。不過,資料庫的運維終究是一件非常複雜的工作,資料庫上雲之後還有很多非常複雜的工作要人來做。

“上雲之後,讓資料庫發揮最優的效能,對于大部分應用開發者和資料庫管理人員而言,需要很多資料庫專業領域知識,依然充滿挑戰。” 阿裡雲資料庫資深技術專家、DAS産品線負責人李廣望表示。

如故障診斷,短時間内快速發現問題、找出原因并解決問題;還有資料庫的持續調優等、SQL Review等,過去這些通常要DBA來參與,效率低,而且嚴重依賴DBA個人的經驗。另外,規模化運維也是當下很多企業面臨的一個現實問題。當企業的業務快速發展,需要運維成百上千的資料庫叢集,保證其穩定性、伸縮性的挑戰會成指數型增長,如果還是依賴人工的優化和運維,人力成本很快就成為企業難以承受之重。是以,資料庫走向自治就成為一個必然趨勢。

實際上,随着人工智能、機器學習技術的快速發展,利用它們來優化資料庫核心以及資料庫運維、管控等一系列動作已經成為資料庫行業的共識。阿裡雲此次推出的資料庫自治服務DAS就是一種基于人工智能和機器學習技術實作的、能自動且主動幫助使用者消除資料庫管理的複雜性及人工操作引發的服務故障,有效保障資料庫服務的穩定、安全及高效。

“從傳統資料庫到雲原生資料庫,相當于從馬車時代進入汽車時代,但這個汽車還需要駕駛員,而今天我們的資料庫自治服務就相當于給雲原生資料庫加上了自動駕駛引擎,讓現代化的汽車還具備自動駕駛的能力,能夠以非常輕盈的方式、非常便捷而且更穩定、更安全、更經濟地用好資料庫。”李廣望表示。

自感覺、自修複、自優化、自安全

阿裡雲的DAS由阿裡雲及達摩院聯合研發,可提供自感覺、自修複、自優化、自安全的全鍊路資料庫管控能力,無需人工幹預,讓企業像體驗“自動駕駛”一樣使用資料庫,資料庫管理成本降低90%。

資料庫有四大核心訴求,即高性能、高穩定性、高安全和低成本。阿裡雲DAS以其智能異常診斷、SQL自動限流、SQL自動優化、AutoScale、智能壓測、智能調參等六大自治特性,很好地滿足上述四大核心訴求。

“DAS就像一個不需要休息而且計算能力超強的夥伴,幫助企業去守護資料庫,確定其安全、健康和高性能。” 阿裡雲資料庫産品專家胡航麗表示。

其實,資料庫的“自治”并不是一個新詞,幾年前市場已經有自治資料庫出現,不過作為一個獨立的資料庫自治服務,阿裡雲DAS是業内第一個。

“與内置在資料庫引擎中的自治能力相比,我們從設計第一天開始就作為資料庫‘自動駕駛’級平台存在,我們是要把自治能力、自動駕駛能力賦能給所有的資料庫,包括RDS、PolarDB、ADB、Redis等OLTP/OLAP/NoSQL資料庫都要全面支援。”李廣望表示。

由于是平台模式,其對資料庫無侵入,使得其更易于推廣到其他資料庫、甚至線下的資料庫。同時,阿裡雲DAS還在技術上實作了重大創新和突破,包括首個全局綜合自治引擎、首個外置式Cost-based SQL診斷引擎、基于全局Workload的優化技術、基于機器學習的實時異常發現與預測等。

這些突破性的技術使得阿裡雲DAS具有了業内領先的自治能力。阿裡雲參考自動駕駛的級别将資料庫的自治能力分為5級:從全靠人的零級(Level-0)到僅僅提供基礎監控、告警等資訊的第1級(Level-1),到提供診斷或者優化建議但由人來決策是否使用的第2級(Level-2),到部分場景實作完全自治的3級(Level-3)以及全部實作自治的第4級(Level-4)。目前,阿裡雲DAS的自治能力已突破第3級(Level-3),也就是絕大多數工作完全不需要人參與,正在邁向最進階,即完全的自動駕駛。

”阿裡雲DAS覆寫的絕大部分場景基本上可以由DAS來決策。不過,使用者可以決定到底要開哪個特性,比如在負載增高的時候要不要我們主動幹預它,或者系統自動去優化它。”胡航麗介紹說。

基于阿裡雲DAS強大的自治能力,DBA可以從繁瑣的日常運維工作中解脫出來,這讓DBA可以将更多精力放到業務創新和發展上,發揮更大的價值。比如系統出現故障時,DAS可以幫助快速定位。更為重要的是,阿裡雲DAS能預先發現問題,在故障真正發生之前就解決,DBA甚至是無感覺的。

世界級的業務壓力成就了世界級的産品

和阿裡雲的很多産品/服務一樣,阿裡雲DAS也是首先來自阿裡自己的需求,産品成熟後經過阿裡自己的驗證才對外輸出。

DAS産品最早源于2014年的CloudDBA,是一個服務于内部的研發人員工具。2016年,阿裡雲對它進行了更新和産品化,作為雲服務推向了市場。從2017年開始阿裡雲在其中加入自治功能,并利用阿裡巴巴的場景和技術不斷驗證和完善,一直持續到2019年年底,正式更名為DAS。

阿裡雲釋出“自動駕駛”級資料庫平台DAS,讓資料庫從“手動”進入“自動駕駛”新時代

阿裡雲DAS的演進曆程

目前,阿裡雲DAS已大規模應用于阿裡巴巴内部業務場景,阿裡巴巴集團内部85%資料庫執行個體已實作自動駕駛,累計優化超4200萬 SQL、回收超4 PB空間,并服務了大量電商、金融、遊戲等領域的企業。

在整個研發過程中阿裡集團豐富的場景和案例起到了關鍵作用。“幾乎所有機器學習的前提,就是擁有足夠多的資料和标注案例,而這也是阿裡巴巴的優勢。阿裡巴巴自己有海量業務,包括電商、本地生活等不同業務場景,同時也是國内最大的雲平台。我們建立了一套線下的DAS實驗室,對接應用日志、監控告警、以及使用者工單系統等,可實作日志事件和異常的自動關聯,進而實作自學習、持續優化的自治引擎能力。”李廣望介紹說。

正是世界級的業務壓力才能造就出世界級的資料庫産品。以“雙11”為例,2019年“雙11”天貓實時成交額創出新高,達到2684億元人民币。阿裡旗下的自研雲原生資料庫PolarDB表現穩定:PolarDB TPS最高峰達到8700萬次/秒,創下資料庫的新記錄,其中自然也有DAS的一份功勞。

應該說,阿裡雲DAS是阿裡多年在資料庫領域深厚技術積澱的一個展現,更是阿裡雲資料庫成長過程的一個縮影。今天在資料庫領域,阿裡雲除了賦予資料庫智能化、自動駕駛的能力,以幫助使用者用好資料庫之外,同時還在緻力于雲原生資料庫的研發,比如PolarDB、ADB,并且取得了亮眼的成績。

2018年,阿裡雲作為第一家且唯一一家中國公司進入Gartner資料庫魔力象限。在Forrester釋出的資料庫評估報告《The Forrester Wave: Database-As-A-Service,Q2 2019》中,阿裡雲資料庫PolarDB也跻身“強勁表現者”陣營。根據阿裡雲的官方資料,目前已有約40萬個資料庫遷移到阿裡雲上,穩居國内雲資料庫市場佔有率第一。

在阿裡雲不斷推出資料庫産品的過程中,阿裡雲資料庫的技術也得到廣泛認可。阿裡雲資料庫相關研究成果多次入選國際資料庫頂級會議。在資料庫的頂級會議VLDB、SIGMOD上都有阿裡雲相關論文入選。

“雲計算的最大魅力是它給了我們一個平台,将我們過去的實踐和技術普惠化,技術價值最大化,過去3年我們在阿裡巴巴内部實作的資料庫自動駕駛能力,通過阿裡雲平台能夠幫助到所有的應用開發者。我相信,未來三年,所有雲上資料庫的80%将會實作自動駕駛能力;讓所有的應用開發者更專注于自己的業務創新,将資料庫交給DAS,讓DAS加持下的資料庫,承載您的業務持續飛馳在快車道! ”李廣望表示。

【雲栖号線上課堂】每天都有産品技術專家分享!

課程位址:

https://yqh.aliyun.com/live

立即加入社群,與專家面對面,及時了解課程最新動态!

【雲栖号線上課堂 社群】

https://c.tb.cn/F3.Z8gvnK

原文釋出時間:2020-04-26

本文作者:鄒大斌

本文來自:“

至頂網

”,了解相關資訊可以關注“