存儲計費:按照存儲在 MaxCompute 的資料的容量大小進行階梯計費。
計算計費:MaxCompute 分按量後付費和按 CU 預付費兩種計算計費方式。
按量後付費:按量後付費方式針對 SQL 任務和 MapReduce 任務進行計費。
SQL 任務按量後付費:即 SQL 任務按 I/O 後付費。
MapReduce 按量後付費:即 MapReduce 任務按量進行計費。
按 CU 預付費:此方式僅在阿裡雲大資料平台提供。
下載下傳計費: MaxCompute 将按照下載下傳的資料大小進行計費
注意是對公網下載下傳收費,内網下載下傳不收費
1,無事務控制
2,暫時不支援update/delete
3,不支援修改字段類型,不支援删除字段
4,不支援 select from 多表
5,其他hive對标函數,官方文檔沒有的暫時不支援
更多參考
<a href="https://help.aliyun.com/document_detail/50985.html?spm=5176.doc27862.6.757.lSC74f">https://help.aliyun.com/document_detail/50985.html?spm=5176.doc27862.6.757.lSC74f</a>
select 最大顯示10000行
想導出大于10000行參考
<a href="https://help.aliyun.com/document_detail/53093.html?spm=5176.7751065.6.751.iLm6hF">https://help.aliyun.com/document_detail/53093.html?spm=5176.7751065.6.751.iLm6hF</a>
2,string字段最大8M
更多其他限制參考
<a href="https://help.aliyun.com/document_detail/51823.html?spm=5176.doc53093.6.618.R37r8p">https://help.aliyun.com/document_detail/51823.html?spm=5176.doc53093.6.618.R37r8p</a>
使用者經常問:
本地測試正常,在送出到odps後失敗,代碼一毛一樣
<a href="https://help.aliyun.com/document_detail/27967.html?spm=5176.doc51823.6.647.Rt0efa">https://help.aliyun.com/document_detail/27967.html?spm=5176.doc51823.6.647.Rt0efa</a>
原因:
處于安全考慮,對一些第三方jar包做了限制
一般是fastjson這個包比較常見,
由于java沙箱限制,對一些第三方jar包由限制,fastjson的jar包被限制因為安全沙箱的原因無法使用。
<a href="https://help.aliyun.com/document_detail/27967.html">https://help.aliyun.com/document_detail/27967.html</a>
建議用gson
import com.google.gson.Gson;這個包試下
其他的jar的限制使用者遇到類似報錯可以送出工單咨詢
下圖是常見報錯例子
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiIn5GcuAjMmJDZjdTYmRjNyYGN3EWZ2gDMjN2YwgDNyETY1IjNvwVbvNmLj5Wat4Wd5lGbh5iY1BXLn1WauU3bop3ZuFGat42YucWbp1iMhRXYvw1LcpDc0RHaiojIsJye.png)
若想使用新資料類型,需在 SQL 語句前加語句:set odps.sql.type.system.odps2=true;
目前情況是需要加這個set,後續會省掉
<a href="https://help.aliyun.com/document_detail/27821.html?spm=5176.doc27967.6.546.XhnAGU">https://help.aliyun.com/document_detail/27821.html?spm=5176.doc27967.6.546.XhnAGU</a>
新資料類型,以及新函數、函數傳回值是新資料類型都需要set
如果沒有set,報錯現象
com.aliyun.odps.OdpsException: ODPS-0130071:[1,8] Semantic analysis exception - function or view udtf_recom cannot be resolved
找不到函數或者方法
1,檢查是否按照文檔授權
<a href="https://help.aliyun.com/document_detail/45389.html?spm=5176.doc27821.6.691.5g0yGt">https://help.aliyun.com/document_detail/45389.html?spm=5176.doc27821.6.691.5g0yGt</a>
2,報錯類似
DDL syntax error:ODPS-0130071:Semantic analysis exception - unrecognized option 'EXTERNAL'.
檢查:是否引用了新類型,也需要set
3,如果建表後查詢失敗
檢查使用者oss或者ots資料量是否巨大,
oss的object數量是否很多
單個object是否很大
報錯例子 沒有授權
連接配接用戶端/通路域名先看下域名
<a href="https://help.aliyun.com/document_detail/34951.html?spm=5176.doc48950.6.572.58H50H">https://help.aliyun.com/document_detail/34951.html?spm=5176.doc48950.6.572.58H50H</a>
項目名稱
Ak資訊
如果報錯找不到java類什麼的
一般是用戶端java環境(暫時不支援java9),建議java 7和8
1,如果是按量付費,請送出工單,如果是預付費,可以先看下cu對應的項目是否有大量作業或者比較大的作業,長期沒有執行完。
可以使用主賬戶執行指令: TOP INSTANCE;這種方式檢視目前正在運作的任務(在用戶端(版本為0.29.0或以上)運作。)
您也可以通過這個工具檢視項目下運作任務的狀态
<a href="https://yq.aliyun.com/articles/247739?spm=5176.8091938.0.0.7Sf007">https://yq.aliyun.com/articles/247739?spm=5176.8091938.0.0.7Sf007</a>
如果是預付費cu使用者可以使用這個工具檢視cu使用情況
<a href="https://help.aliyun.com/document_detail/66565.html?spm=a2c4g.11186623.6.713.QARDJv">https://help.aliyun.com/document_detail/66565.html?spm=a2c4g.11186623.6.713.QARDJv</a>
2,資料傾斜
<a href="https://help.aliyun.com/document_detail/51020.html?spm=5176.doc34951.6.754.iMKNUT">https://help.aliyun.com/document_detail/51020.html?spm=5176.doc34951.6.754.iMKNUT</a>
有對大資料技術感興趣的,可以加筆者(已從阿裡離職)的微信 wx4085116
目前開了一個大資料線上教育訓練班。有興趣的加我。