天天看點

阿裡雲ODPS更新為一體化大資料平台 滿足使用者多元化資料計算需求

作者:杭州消費

2022雲栖大會上,阿裡巴巴集團副總裁、阿裡雲計算平台事業部負責人賈揚清表示,為滿足使用者多元化資料計算需求,阿裡雲ODPS更新為一體化大資料平台。

更新後的ODPS支援大規模批量計算、實時分析等服務,提供實時流式計算、機器學習等多種計算能力,可同時排程超10萬台以上伺服器規模進行并行計算。ODPS也是目前中國唯一自研、應用最為廣泛的一體化大資料平台。

阿裡雲ODPS更新為一體化大資料平台 滿足使用者多元化資料計算需求

ODPS更新:存儲、排程、中繼資料一體化融合

随着資料技術和資料應用的發展,催生了多元計算需求。賈揚清介紹,例如交通領域,需要實時資料計算,來做城市大腦裡面人流車流的優化;科研方面,需要AI算法輔助傳統實體化學生物研究創新;保險領域,需要大量資料聚合來進行更準确的風險精算。 ODPS實作了存儲、排程、中繼資料管理上的一體化架構融合,支撐上述各類資料的高效處理。

自2009年誕生以來,ODPS從突破單叢集規模到通過多租戶隔離打造金融級雲上安全,為突破業界難攻的技術難點而不斷更新架構。2017年,ODPS将大規模批處理引擎MaxCompute以獨立産品形式對外提供服務。2019年,應對資料實時互動分析的需求,互動式計算引擎Hologres正式上線。

在剛剛公布的TPC-H 30000GB基準測試中,ODPS-Hologres重新整理世界紀錄,分數超過2786萬分,領先第二名23%。ODPS-MaxCompute則在TPCx-BB 100TB标準測試中,連續6年保持性能和成本效益第一。

大資料和AI走向融合 小鵬汽車AI訓練提速170倍

“大資料平台和AI平台正在走向融合”,賈揚清表示,不論是大模型生産應用、AI for Science、還是傳統的搜推廣服務,典型的AI應用場景背後,都離不開資料的高效流轉和分析。

阿裡雲ODPS更新為一體化大資料平台 滿足使用者多元化資料計算需求

例如小鵬汽車與阿裡雲合作,建設了大資料AI一體化平台,實作從海量路采資料的傳輸存儲分析、到AI模型訓練推理的全流程提效。此外,基于軟硬體協同優化技術,小鵬汽車自動駕駛核心模型訓練提速近170倍,訓練性能較開源方案提升30%。

自釋出大資料+AI一體化産品體系“阿裡靈傑”以來,阿裡雲不斷推動資料智能在産業中廣泛應用。機器學習平台PAI持續夯實AI工程能力,實作深度學習架構和計算硬體的多樣化相容,以彈性且穩定的雲原生AI平台服務,支撐自動駕駛、生命科學、金融等領域創新。此外,達摩院基于阿裡靈傑,推出模型開放生态 ModelScope 和 AI 開放服務平台 OpenMind,進一步推動AI普惠。

阿裡雲ODPS更新為一體化大資料平台 滿足使用者多元化資料計算需求

繼續閱讀