天天看點

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

精彩視訊回看請點選: MaxCompute規格詳解

以下為精彩視訊内容整理:

在使用者使用MaxCompute之前,都會考慮成本和業務兩大問題。有些企業處在快速的發展期,在業務上對性能的要求比較高,例如計算業務對資源的需求是彈性的,要求峰谷明顯,一段時間對資源的要求非常高,另一段時間對資源的要求是比較低的,這種類型屬于業務優先于成本。還有一些企業對預算有嚴格的要求,例如進行合同制的企業,在前期必須要有明确的預算,但對性能的要求不是很高,隻需要在當天能夠完成任務。基于以上兩大場景MaxCompute推出了一系列格和計費方式。

服務模式

MaxCompute服務模式

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

MaxCompute的服務模式有兩種方式,按量計費和包年包月。開通MaxCompute相當于對服務進行注冊,同時産生有協定的訂單,訂單成功後即可使用該服務。按量計費是指整個訂單計費模式都為使用之後再按量計費,包括計算、存儲、下載下傳幾大塊主要功能。開通時為0元開通,開通後若不使用則無費用産生。包年包月是指訂單計費模式為混合模式,計算資源是按包年包月進行預付費,存儲和下載下傳則為使用之後在按量計費。開通時需要預先對計算資源進行付款。

MaxCompute計費方式

MaxCompute費用由三部分組成,存儲費用、計算費用和下載下傳費用。

  • 存儲費用按存儲的資料容量大小進行階梯計費,包年包月套餐中有固定的存儲量,超出部分按量計費。
  • 計算費用包含SQL任務、MapReduce任務、Lightning任務及Spark任務。
  • SQL任務在按量付費時,如果是标準版,根據計算輸入資料量及SQL的複雜度進行計算。如果是開發者版,根據計算輸入量進行計算。在購買完包年包月的計算資源後,無需額外付費。
  • MapReduce任務在按量付費時,根據計算任務所消耗的計算時進行計費。在購買完包年包月的計算資源後,無需額外付費。
  • Lightning任務是根據查詢輸入量進行計算。
  • Spark任務在按量付費時,根據計算任務所消耗的計算時進行計算。在購買完包年包月的計算資源後,無需額外付費。
  • 下載下傳費用按公網下載下傳的流量進行計費。對上傳、内網的下載下傳不産生費用。

規格介紹

按量計費

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

按量計費-标準版

按量計費包括标準版和開發者版,标準版的計算資源為極緻的彈性計算資源,資源池為共享型,計算任務按需搶占,不可指定使用量也無使用限制。包括SQL(含UDF)、MapReduce、Spark、互動式分析(Lightning)、Graph等計算類型資源。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載下傳資料資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。

針對标準版的計費說明,計算資源(CU)收費按各計算類型任務使用量計費。目前僅SQL、MR、Spark、互動式分析幾類計算任務有計費。存儲收費隻收表(Table)存儲的容量費用。且容量大小是壓縮後的資料。資料上傳、下載下傳收費指資料上傳至MaxCompute為免費;僅對通過公網下載下傳進行按量收費。

按量計費-開發者版

開發者版的計算資源資源池為共享型,計算任務按需搶占資源,不可指定使用量,隻提供MaxCompute SQL(支援使用UDF)、PyODPS計算資源;一個region隻能有一個項目選擇使用開發者版資源;每個項目最大作業并發數為5個;單作業最多隻能占用10CU計算資源。存儲資源的資源池為共享型,按需存儲。每個項目最大存儲量限制在500GB(含臨時資料大小),超過500GB将無法存入。這兩個因素的限制使得開發者版資源不适合作為生産資源。上傳、下載下傳資料資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。

針對開發者版的計費說明,計算資源(CU)收費:計算作業按照資料掃描量計費。每個月贈送價值100元的免費計算量,即每月可免費執行掃描666GB資料的作業量,超出部分将按量計費。存儲收費:每個項目空間可免費且隻能存儲500GB資源。資料上傳、下載下傳收費:資料上傳至MaxCompute為免費;僅對通過公網下載下傳進行按量收費。

包年包月

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

包年包月-标準計算資源

計算資源包含計算資源單元和非預留計算資源兩種。計算資源單元即為預留計算資源,是必選資源。資源池為獨享型,按購買CU量固定配置設定資源。非預留計算資源為非必選資源,資源數量在[0,購買量]區間内且不可獨享。計算任務隻能占用預留和非預留計算資源。資源可以執行SQL(含UDF)、MapReduce、Spark、Graph等計算類型任務。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載下傳資料資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。

針對标準計算資源的計費說明,計算資源(CU)收費:服務開通生成訂單時就需要預先付費,按CU量和購買時長進行收費。預留和非預留資源單價不一樣。存儲收費:隻收表(Table)存儲的容量費用。且容量大小是壓縮後的資料。資料上傳、下載下傳收費:資料上傳至MaxCompute為免費;僅對通過公網下載下傳進行按量收費。

包年包月-套餐版

針對計算資源,套餐中的預留計算資源為獨享資源,按購買套餐固定配置設定計算資源。非預留計算資源為非必選資源,資源數量在[0,購買量]區間内且不可獨享。計算任務隻能占用預留和非預留計算資源。資源可以執行SQL(含UDF)、MapReduce、Spark、Graph等計算類型任務。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載下傳資料資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。

針對套餐版的計費說明,計算資源(CU)收費:服務開通生成訂單時就需要預先付費,按套餐和購買時長進行收費。預留和非預留資源單價不一樣。存儲收費:隻收表(Table)存儲的容量費用。且容量大小是壓縮後的資料。每日按購買的套餐提供固定的存儲量,超出的量另行計費。資料上傳、下載下傳收費:資料上傳至MaxCompute為免費;僅對通過公網下載下傳進行按量收費。

包年包月-非預留計算資源

針對計算資源,資源數量為[0,購買量]範圍内的彈性資源池。購買後系統不預留資源,任務發起後,系統會在總資源池搶占并配置設定空閑資源。如果總資源池中空閑資源充足則可能為您配置設定所購買的最大CU量;如果總資源池繁忙則可能為您配置設定0CU。MaxCompute可保障您購買的非預留計算資源全天50%的計算力(一天計算力:資源數量*24小時)。資源可以執行SQL(含UDF)、MapReduce、Spark、Graph等計算類型任務。存儲資源的資源池為共享型,按需存儲,無使用限制。包括表(Table)和資源(Resource)等存儲。上傳、下載下傳資料資源的資源池為共享型,按需搶占,不可指定用量也無使用限制。主要包括Tunnel的Upload、Download資源。

針對非預留計算資源的計費說明,計算資源(CU)收費:服務開通生成訂單時就需要預先付費,按CU量和購買時長進行收費。存儲收費:隻收表(Table)存儲的容量費用。且容量大小是壓縮後的資料。資料上傳、下載下傳收費:資料上傳至MaxCompute為免費;僅對通過公網下載下傳進行按量收費。

選擇和使用

計算資源的選擇

如何選擇生産計算資源,就要從計算資源需求的場景來考慮。對于極緻的彈性計算資源需求,資源為按量計費标準版,計算資源彈性使用,按量付費,其中SQL單價為0.3元/GB/1複雜度。規格優勢在于資源不受限,峰值有保障,劣勢在于費用不受控,目前有消費監控告警。對于重預算、重基線的場景需求,資源類型為包年包月預留計算資源,獨享計算資源,購買後系統固定預留CU。包年包月标準版和套餐中的計算資源單元均為預留計算資源。其中标準版預留計算資源單價為150元/CU/月。規格優勢在于資源獨享,預算可控,劣勢在于資源受限不利于超高峰值任務。

對于重預算、輕基線的場景需求,資源類型為包年包月非預留計算資源,預付彈性計算資源池,購買後使用時可獲得[0,購買量]的彈性資源,單價為40元/CU/月。資源優勢在于價格低廉,預算可控,劣勢在于資源不可獨享,忙時不能保障峰值。

資源類型的使用

  • 按量付費使用
MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

對于按量付費中的計算資源使用,開通按量計費模式以後,就擁有了共享資源池的使用權,同時建立一個或多個project,就可以指定的使用資源池。MaxCompute會配置設定共享資源池作為預設資源組,建立MaxCompute project時隻要選擇按量計費模式,project都是綁定這個預設公共資源組。當project裡發起task,則按需占用該資源池資源。它的優勢在于使用靈活,無需對資源進行管理,隻需要按業務進行項目規劃。重點提醒的是需要配置好相關消費監控告警,避免預料外的高額賬單。

對于按量付費中的存儲資源使用,無使用限制,無需關注存儲資源,隻需要按業務需求進行資料存放。重點提醒的是管理好資料生命周期,存在多project時,在滿足業務需求的同時集中存放資料。

  • 包年包月預留資源使用

購買預留計算資源時,開通包年包月模式,選擇“标準計算資源”,同時非預留計算資源為0;或者選擇3種套餐中的任何一種,同時非預留計算資源為0。

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

使用非預留計算資源時,購買包年包月計算資源後,系統預設給配置設定一個資源組,其中隻包含預留計算資源。可以在MaxCompute管家中建立二級quota組細分資源,如果不細分,則隻有1中的預設quota組。Project指定使用包年包月計算資源(預設quota組)後,到MaxCompute管家指定具體quota組。Project中單個task按業務需求可通過quota tag功能指定到其他二級quota組執行。

  • 包年包月非預留資源使用

購買非預留計算資源時,目前僅在國内上海、北京、杭州、深圳4個region可購買,其他地區的region沒有開放。購買時有兩種方式,組合購買和單獨購買,同時也要根據自己的業務需求購買。

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

組合購買,即标準計算資源或套餐購買的同時加購非預留計算資源。通過購買100CU和300ECU後,系統預設給配置設定一個資源組。可以在MaxCompute管家中建立二級quota組細分資源,一組為預設100CU,另一組為300ECU。Project指定使用預設quota組後,到MaxCompute管家指定具體quota組。Project中單個task按業務需求可通過quota tag功能指定到其他二級quota組執行。如果沒有進行細分,這種方式會優先使用預留資源,通過細分預留資源可以進行一些重要的任務,非預留資源可以進行一些峰值高、對性能要求不是很高的任務。

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

單獨購買,即隻購買使用非預留計算資源。購買300ECU後,預設quota組中會有300ECU,project中的所有任務都會使用預設quota組的計算資源。

所有的規格在不同的模式中都是可以切換使用的,比如剛開始使用的是開發者版,也可以切換成标準版來使用,但是不可以将标準版切換成開發者版。使用包年包月時,開通後隻能選擇一個規格,當有需求時也可以通過更新和降配的頁面切換成另外的規格。Project建立時,剛開始選擇按量付費,在使用過程中也可以切換成包年包月資源,或者剛開始選擇包年包月,在使用過程中也可以切換成按量付費。

  • 包年包月和按量計費混合使用

在實際使用時,也可以按業務需求,同時開通兩種模式,混合使用。比如,任務的業務資料量很大但是時間要求不高,按量計費不劃算可以使用包年包月資源慢慢執行。再比如,任務需要重點保障時間,且峰值很高,包年包月按峰值數量購買的話很多時間又閑置不劃算,買少了又不能保障峰值和時間,可以放到按量計費資源執行。

示例

案例一:MaxCompute按量計費

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

如上圖所示,此案例的需求特點是業務處在需要快速發展階段,對資料基線要求高,叢集使用率低,業務計算閑時占比大于50%,計算峰值是平均水位的大于2倍。這時,推薦規格為按量付費,業務處在高速發展期,使用MaxCompute相比于IDC自建叢集,可以省掉叢集運維成本,同時靈活的彈性資源可以滿足爆發式分析資源需求。

案例二:MaxCompute包年包月

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

此案例的需求特點是成本控制嚴格,特别關注低品質SQL對計費的影響,如果是預算合同制,通過按量不容易估算成本。在前期可評估每天平均作業量和資料量,計算峰值所需核數是平均水位的5倍,但對生産性能要求不高。這時,推薦規格為包年包月的預留資源加非預留預付。如上圖所示,通過獨占計算資源和非預留系統搶占式計算資源的方式,以預留獨享計算資源保障重要業務,非預留作為非保障業務峰值擴充資源。

大家如果對MaxCompute有更多咨詢或者建議,歡迎掃碼加入 MaxCompute開發者社群釘釘群,或

點選連結

申請加入。

MaxCompute規格詳解--合理的選擇讓您花更低的成本獲得更高的業務價值服務模式規格介紹選擇和使用示例

繼續閱讀