天天看點

在嗎?0代碼加速查詢MaxCompute請查收!

HoloStudio是基于互動式分析的一站式開發平台,深度內建于DataWorks上,可将資料無縫對接到DataWorks的資料服務API、資料內建、排程等子產品,完成對資料的進一步加工和探索。(關于HoloStudio與互動式分析的關系,可以參見 《互動式分析六脈神劍》之HoloStudio初體驗

互動式分析與MaxCompute在底層打通,能直接查詢MaxCompute資料,實作秒級互動式反應。今天小編就為大家介紹,如何快速開通使用HoloStudio,并利用HoloStudio實作0代碼加速查詢MaxCompute。

具體操作步驟如下

開通互動式分析執行個體

在使用HoloStudio之前,需要至

互動式分析官網

購買一個執行個體,目前互動式分析正在火熱公測中,可免費購買。

在嗎?0代碼加速查詢MaxCompute請查收!

建立/綁定項目空間

執行個體開通完成之後,可在

管控台

檢視目前執行個體的資訊和開通狀态。使用HoloStudio之前,需要将執行個體綁定至DataWorks工作空間。

在嗎?0代碼加速查詢MaxCompute請查收!
  • 無DataWorks工作空間

若您無DataWorks項目空間,需要在管控台建立工作空間。

管控台左側菜單了選擇工作空間清單,單擊建立工作空間,填寫基本配置

在嗎?0代碼加速查詢MaxCompute請查收!

選擇計算引擎:因需要加速查詢MaxCompute資料,是以也建議開通MaxCompute計算引擎(若您之前已開通MaxCompute服務,可不選擇)

在嗎?0代碼加速查詢MaxCompute請查收!

填寫完工作空間資訊,單擊建立工作空間即可完成建立。

在嗎?0代碼加速查詢MaxCompute請查收!
  • 有DataWorks工作空間

若您在此之前已開通DataWorks工作空間,可使用該工作空間綁定互動式分析執行個體。

進入DataWorks,單擊左上角小扳手工作空間配置--計算引擎資訊--互動式分析--增加執行個體,填寫執行個體資訊。第一次綁定資料庫請使用postgres(互動式分析執行個體購買成功後系統會預設生成一個名叫postgres的資料庫,該資料庫資源小,可在綁定後建立資料庫。)測試連通性顯示通過表明已成功将互動式分析執行個體綁定至該工作空間下,可前往HoloStudio進行使用。

在嗎?0代碼加速查詢MaxCompute請查收!

0代碼加速查詢MaxCompute資料

在HoloStuido中支援一鍵建立外部表,直接查詢MaxCompute表資料。具體操作步驟如下:

1.準備MaxCompute資料源

可直接搜尋資料地圖中的表進行查詢,也可使用建表語句建表,示例選用MaxCompute

示例建表

,并導入資料。其語句如下:

CREATE TABLE IF NOT EXISTS bank_data
(
 age             BIGINT COMMENT '年齡',
 job             STRING COMMENT '工作類型',
 marital         STRING COMMENT '婚否',
 education       STRING COMMENT '教育程度',
 card         STRING COMMENT '是否有信用卡',
 housing         STRING COMMENT '房貸',
 loan            STRING COMMENT '貸款',
 contact         STRING COMMENT '聯系途徑',
 month           STRING COMMENT '月份',
 day_of_week     STRING COMMENT '星期幾',
 duration        STRING COMMENT '持續時間',
 campaign        BIGINT COMMENT '本次活動聯系的次數',
 pdays           DOUBLE COMMENT '與上一次聯系的時間間隔',
 previous        DOUBLE COMMENT '之前與客戶聯系的次數',
 poutcome        STRING COMMENT '之前市場活動的結果',
 emp_var_rate    DOUBLE COMMENT '就業變化速率',
 cons_price_idx  DOUBLE COMMENT '消費者物價指數',
 cons_conf_idx   DOUBLE COMMENT '消費者信心指數',
 euribor3m       DOUBLE COMMENT '歐元存款利率',
 nr_employed     DOUBLE COMMENT '職勞工數',
 y               BIGINT COMMENT '是否有定期存款'
);           

2.HoloStudio查詢MaxCompute資料

互動式分析要查詢MaxCompute中的資料需要先建立外部表,同時需要保持外部表的字段與MaxCompute表一一對應,該步驟的目的是使MaxCompute的表與外部表做映射。但有時MaxCompute中的表字段多,若是用SQL建外部表,比較麻煩且容易出錯。HoloStudio支援在PG管理中使用UI建表的方式建外部表,隻需輸入MaxCompute表名,自動解析出字段和SQL代碼,簡單易操作。

在嗎?0代碼加速查詢MaxCompute請查收!

單擊送出表後,單擊資料預覽,即可檢視到查詢的表資料。

在嗎?0代碼加速查詢MaxCompute請查收!

若有時不需要查詢表的全部字段,可直接在這張外部表中勾選需要查詢的字段,并送出表即可,無需drop外部表再建立外部表。

在嗎?0代碼加速查詢MaxCompute請查收!
在嗎?0代碼加速查詢MaxCompute請查收!

無需任何SQL代碼,即可實作MaXCompute資料加速查詢。若資料量過大,可将資料導入到互動式分析中進行查詢。兩者區分的場景如下:

  • 直接加速查詢使用場景:資料量小于100GB。(100GB是指經過分區過濾後,命中分區的大小。與查詢相關字段的大小無關。一個query查詢的表加起來不能超過100GB)
  • 導入查詢使用場景:單表查詢大于100GB、複雜查詢、含索引的查詢、資料需更新、insert操作。

需要注意的是,直接查詢資料仍然存儲在MaxCompute中,導入查詢資料最終存在互動式分析中。

導入查詢的操作步驟可以參見

MaxCompute導入查詢

HoloStudio基于互動式分析,可提供可視化的UI建表操作,真正實作0代碼也能查資料!大家趕緊用起來吧。

關于HoloStudio的更多用法,可以參見往期文章:

《什麼?你還不會使用DataWorks排程?》 《互動式分析加速查詢MaxCompute封裝API最佳實踐》

若有疑問,歡迎進群開撩小編。

在嗎?0代碼加速查詢MaxCompute請查收!