DataWorks V3.0釋出
• 釋出版本:DataWorks V3.0
• 釋出時間:2019年12月18日
• 釋出範圍:全球所有已開通DataWorks的地域
• 釋出内容:DataWorks V2.0僅支援MaxCompute計算引擎,DataWorks V3.0全新更新了多引擎架構,在MaxCompute的基礎之上,全新支援了開源大資料引擎E-MapReduce、實時計算(Flink)、互動式分析、圖計算服務(Graph Compute)。同一個工作空間支援多個引擎執行個體,友善對業務、任務和表進行統籌管理。同時支援跨地域任務依賴排程,任務排程更加靈活,友善跨地域業務之間協同工作。
DataWorks V3.0 核心特性
1. 支援多種計算引擎
DataWorks V3.0全新更新了多引擎插件化架構,在V2.0版本僅支援MaxCompute計算引擎的基礎之上,在MaxCompute的基礎之上,全新支援了開源大資料引擎E-MapReduce、實時計算(Realtime Compute)、互動式分析、圖計算服務(Graph Compute)。
• MaxCompute:大資料計算服務MaxCompute(原名ODPS)是一種快速、完全托管的EB級大資料計算引擎,是大規模離線資料倉庫的核心引擎。DataWorks支援的最早的也是支援的最成熟完備的計算引擎,目前幾乎已經覆寫了MaxCompute的所有能力。
•
E-MapReduce:E-MapReduce(Elastic MapReduce,簡稱EMR)是建構于阿裡雲雲伺服器ECS上,基于開源的Apache Hadoop和Apache Spark,讓您可以友善地使用Hadoop和Spark生态系統中的其他周邊系統(例如Hive)來分析和處理自己的資料的大資料引擎服務。DataWorks V3.0全面支援了EMR引擎(限DataWorks标準版及以上版本,目前還需要通過白名單開通),包含中繼資料、資料地圖、資料血緣、資料開發、任務排程、任務運維監控、資料品質控制等能力。
• 實時計算:實時計算(Realtime Compute)是一套基于Apache Flink建構的一站式、高性能實時大資料處理平台。DataWorks V3.0全面支援了實時計算引擎,推出了一站式實時計算開發平台Stream Studio,提供可視化拖拽式建構Flink任務的能力,即DAG開發模式。同時支援DAG與Flink SQL互相轉換,大大降低了Flink任務開發門檻,提高了開發效率。同時提供了實時任務運維和智能診斷。
• 互動式分析:互動式分析(Interactive Analytics)是一種全面相容PostgreSQL協定并與大資料生态無縫打通的實時互動式分析産品,支援對萬億級資料進行高并發低延時多元分析透視和業務探索,可讓您快速對接現有BI工具。DataWorks V3.0全新推出了一站式OLAP開發平台Holo Studio,提供标準化、無門檻的開發管理服務和一站式實時數倉建構服務以及高效、便捷的研發服務,進而提升研發效率。
• 圖計算服務:圖計算服務(Graph Compute,簡稱GCS)是新一代一站式圖資料管理和分析平台,具有資料加載快、規模可擴充、查詢延時低(毫秒級)和離線上混合引擎與共享存儲等優勢。DataWorks V3.0全新推出了圖計算開發平台Graph Studio,為圖應用開發者提供了執行個體模組化、資料導入、資料查詢(Gremlin)、可視化分析等一站式的研發服務。
2.資料分析子產品釋出
資料分析主要提供表格模式的MaxCompute表操作、電子表格協同編輯和統計分析、可視化報表搭建和分享等核心功能。憑借簡單易用的操作界面,使資料變化所見即所得,可視化完成資料的修改和分析、報表的搭建和分享,支援電子表格、可視化報表、維表三種分析形式。
DataWorks資料分析子產品全新釋出,快速的資料智能洞察平台
點選檢視3.自定義節點插件
DataWorks V3.0已經官方支援了豐富的計算引擎,同時推出了自定義節點插件體系(限
DataWorks 企業版),允許你以插件的形式自主接入自定義的計算服務或者資料庫查詢服務,您建立的自定義節點可以享受到與官方提供的節點同樣的智能編輯器、任務排程編排、運維監控等開發體驗。
4.支援多個引擎執行個體
DataWorks V2.0的一個工作空間隻能支援一個引擎執行個體(例如對于MaxCompute引擎,一個工作空間隻支援建立一個MaxCompute Project),DataWorks V3.0的一個工作空間支援建立或綁定多個引擎執行個體(限
DataWorks專業版及以上版本),讓你可以更靈活對業務所需的計算引擎、計算任務、資料表進行統一管理。
5.支援跨地域排程依賴
DataWorks V2.0僅支援同一地域(Region)的任務依賴,DataWorks V3.0支援了同一主賬号下(租戶)跨地域(限國内地域)的任務依賴(限
),極大了友善了分布在不同地域業務之間進行任務的協同依賴排程。
6.批量上雲功能增強
批量上雲對于使用者來說一個非常快捷的支援現有資料庫遷入阿裡雲的工具,此次改進增強了易用性,覆寫更多的遷移場景,操作也更加具備靈活性。
DataWorksV3.0 批量上雲功能增強