天天看點

MaxCompute常見問題總結以及排查方案

存儲計費:按照存儲在 MaxCompute 的資料的容量大小進行階梯計費。

計算計費:MaxCompute 分按量後付費和按 CU 預付費兩種計算計費方式。

按量後付費:按量後付費方式針對 SQL 任務和 MapReduce 任務進行計費。

SQL 任務按量後付費:即 SQL 任務按 I/O 後付費。

MapReduce 按量後付費:即 MapReduce 任務按量進行計費。

按 CU 預付費:此方式僅在阿裡雲大資料平台提供。

下載下傳計費: MaxCompute 将按照下載下傳的資料大小進行計費

注意是對公網下載下傳收費,内網下載下傳不收費

1,無事務控制

2,暫時不支援update/delete

3,不支援修改字段類型,不支援删除字段

4,不支援 select from 多表

5,其他hive對标函數,官方文檔沒有的暫時不支援

更多參考

<a href="https://help.aliyun.com/document_detail/50985.html?spm=5176.doc27862.6.757.lSC74f">https://help.aliyun.com/document_detail/50985.html?spm=5176.doc27862.6.757.lSC74f</a>

select 最大顯示10000行

想導出大于10000行參考

<a href="https://help.aliyun.com/document_detail/53093.html?spm=5176.7751065.6.751.iLm6hF">https://help.aliyun.com/document_detail/53093.html?spm=5176.7751065.6.751.iLm6hF</a>

2,string字段最大8M

更多其他限制參考

<a href="https://help.aliyun.com/document_detail/51823.html?spm=5176.doc53093.6.618.R37r8p">https://help.aliyun.com/document_detail/51823.html?spm=5176.doc53093.6.618.R37r8p</a>

使用者經常問:

本地測試正常,在送出到odps後失敗,代碼一毛一樣

<a href="https://help.aliyun.com/document_detail/27967.html?spm=5176.doc51823.6.647.Rt0efa">https://help.aliyun.com/document_detail/27967.html?spm=5176.doc51823.6.647.Rt0efa</a>

原因:

我們處于安全考慮,對一些第三方jar包做了限制

一般是fastjson這個包比較常見,回複口徑:

由于java沙箱限制,對一些第三方jar包由限制,fastjson的jar包被限制因為安全沙箱的原因無法使用。

<a href="https://help.aliyun.com/document_detail/27967.html">https://help.aliyun.com/document_detail/27967.html</a>

建議用gson

import com.google.gson.Gson;這個包試下

其他的jar的限制使用者遇到類似報錯可以送出工單咨詢

下圖是常見報錯例子

MaxCompute常見問題總結以及排查方案

若想使用新資料類型,需在 SQL 語句前加語句:set odps.sql.type.system.odps2=true;

目前情況是需要加這個set,後續會省掉

<a href="https://help.aliyun.com/document_detail/27821.html?spm=5176.doc27967.6.546.XhnAGU">https://help.aliyun.com/document_detail/27821.html?spm=5176.doc27967.6.546.XhnAGU</a>

新資料類型,以及新函數、函數傳回值是新資料類型都需要set

如果沒有set,報錯現象

com.aliyun.odps.OdpsException: ODPS-0130071:[1,8] Semantic analysis exception - function or view udtf_recom cannot be resolved

找不到函數或者方法

1,檢查是否按照文檔授權

<a href="https://help.aliyun.com/document_detail/45389.html?spm=5176.doc27821.6.691.5g0yGt">https://help.aliyun.com/document_detail/45389.html?spm=5176.doc27821.6.691.5g0yGt</a>

2,報錯類似

DDL syntax error:ODPS-0130071:Semantic analysis exception - unrecognized option 'EXTERNAL'.

檢查:是否引用了新類型,也需要set

3,如果建表後查詢失敗

檢查使用者oss或者ots資料量是否巨大,

oss的object數量是否很多

單個object是否很大

報錯例子 沒有授權

MaxCompute常見問題總結以及排查方案

連接配接用戶端/通路域名先看下域名

<a href="https://help.aliyun.com/document_detail/34951.html?spm=5176.doc48950.6.572.58H50H">https://help.aliyun.com/document_detail/34951.html?spm=5176.doc48950.6.572.58H50H</a>

項目名稱

Ak資訊

如果報錯找不到java類什麼的

一般是用戶端java環境(暫時不支援java9),建議java 7和8

1,如果是按量付費,請送出工單,如果是預付費,可以先看下cu對應的項目是否有大量作業或者比較大的作業,長期沒有執行完。

可以使用主賬戶執行指令: TOP INSTANCE;這種方式檢視目前正在運作的任務(在用戶端(版本為0.29.0或以上)運作。)

您也可以通過這個工具檢視項目下運作任務的狀态

<a href="https://yq.aliyun.com/articles/247739?spm=5176.8091938.0.0.7Sf007">https://yq.aliyun.com/articles/247739?spm=5176.8091938.0.0.7Sf007</a>

如果是預付費cu使用者可以使用這個工具檢視cu使用情況

<a href="https://help.aliyun.com/document_detail/66565.html?spm=a2c4g.11186623.6.713.QARDJv">https://help.aliyun.com/document_detail/66565.html?spm=a2c4g.11186623.6.713.QARDJv</a>

2,資料傾斜

<a href="https://help.aliyun.com/document_detail/51020.html?spm=5176.doc34951.6.754.iMKNUT">https://help.aliyun.com/document_detail/51020.html?spm=5176.doc34951.6.754.iMKNUT</a>