阿裡雲大資料産品9月月刊

歡迎閱讀本刊，了解 2021年9月 阿裡雲大資料産品 最新釋出功能。

大資料計算服務 - MaxCompute

1、大資料計算服務 - MaxCompute 支援讀取 OSS 上 Hudi、Delta Lake 格式檔案 

适用客戶

基于OSS 建構實時資料湖的客戶，可以通過 MaxCompute 查詢到實時資料，即時洞察業務資料變化。

釋出功能

Delta Lake 和 Hudi是資料湖方案中常用的存儲機制，為資料湖提供流處理、批處理能力。MaxCompute 基于阿裡雲 DLF、OSS産品提供了支援 Delta 或 Hudi 存儲機制的湖倉一體架構。您可以通過 MaxCompute 查詢到實時資料，即時洞察業務資料變化。

檢視文檔

2、大資料計算服務 - MaxCompute 支援通路開啟 Kerberos 認證授權機制的 Hadoop 叢集 

(1) 已經基于 Hadoop、阿裡雲 EMR 叢集搭建資料平台，并開啟 Kerberos 認證授權機制的客戶；

(2) 對叢集資源彈性有需求，希望利用 MaxCompute 的彈性與大規模機器學習能力，快速疊代創新業務

(3) 企業有多個 Hadoop 叢集，需要各個叢集之間資料打通，利用 DataWorks 建構企業資料中台

大部分企業的 Hadoop 的生産叢集開啟了 Kerberos 認證授權機制，本次功能更新能夠利用 MaxCompute 通路開啟 Kerberos 認證授權機制的 Hadoop 叢集，極大的擴充了湖倉一體對接 Hadoop 的适用範圍。

3、大資料計算服務 - MaxCompute 在華南1金融雲（深圳）正式開服

開放區域

MaxCompute新增開通華南1金融雲（深圳）區域，經過金融雲認證的賬号可以在産品售賣頁按需開通

申請連結

DataWorks

1、資料治理中心全新釋出

基于 DataWorks 和 MaxCompute 搭建資料平台，具備對資料存儲、任務計算、代碼開發、資料品質或資料安全等次元進行治理訴求的客戶

(1) 用于事前環節的資料治理問題預防

(2) 用于事後環節的資料治理存量問題自動發現

(3) 資料治理整體量化評估

産品文檔 上海Rgion試用位址

2、DataStudio支援使用者通過擴充程式對頁面功能進行卡點 

使用DataWorks OpenAPI 以及擴充程式開發的使用者

DataStudio支援的擴充點包括檔案釋出、檔案送出、檔案删除

3、資料服務API資産全面納入資料地圖管理範疇 

已經基于DataWorks和各類資料源搭建資料平台，日常有資料接口API的開發工作，并需要進一步對各類資料源下的資料接口API進行全局查找、盤點和納管的客戶。

資料服務API資産（向導、腳本、注冊等類型API）已接入資料地圖，支援企業場景和全局範圍的資料接口查找及管理，包括全局API檢索、熱門API統計、獨立API詳情頁、各資料源下的API分布等産品功能。

産品文檔1 産品文檔2

互動式分析（Hologres）

1、增強企業級運維能力，透出慢查詢日志，幫助使用者快速定位SQL問題 

網際網路行業（電商、教育、遊戲等），有大規模實時數倉建設、互動式分析大屏、智能營銷、風控等場景需求的客戶；金融行業（證券、保險、銀行等），有海量資料精細化分析、基于MaxCompute建構全棧資料倉庫的客戶； 能源、交通行業，有海量資料實時分析需求的客戶；政務行業，有資料集中化、細粒度權限管控、平台賦能需求的客戶；已搭建MaxCompute集中數倉，有互動式分析需求的客戶。

慢查詢日志用來記錄在 Hologres 中執行時間超過指定時間的查詢語句。通過慢查詢日志，可以查找出哪些查詢語句的執行效率低，以便進行優化。慢查詢日志是排查問題的 SQL 語句，以及檢查目前 Hologres 性能的一個重要功能。從Hologres V0.10版本開始，系統提供了慢查詢日志。慢Query的查詢與分析可以幫助您對系統中發生的慢Query或失敗Query進行診斷、分析和采取優化措施。

2、優化列存預設采用AliORC壓縮格式，存儲壓縮比提高30%~50% 

網際網路行業（電商、教育、遊戲等），有大規模實時數倉建設、互動式分析大屏、智能營銷、風控等場景需求的客戶； 金融行業（證券、保險、銀行等），有海量資料精細化分析，基于MaxCompute建構全棧資料倉庫的客戶； 能源、交通行業，有海量資料實時分析需求的客戶； 政務行業，有資料集中化，細粒度權限管控，平台賦能需求的客戶；已經搭建MaxCompute集中數倉，有互動式分析需求的客戶。

從Hologres V0.10版本開始，行存表的存儲格式全面更新為AliORC，存儲壓縮比提高30%~50%。