天天看點

這樣才能正确解鎖MaxCompute用戶端

大資料計算服務(MaxCompute,原名ODPS)是一種快速、完全托管的TB/PB級資料倉庫解決方案。MaxCompute向使用者提供了完善的資料導入方案以及多種經典的分布式計算模型,能夠更快速的解決使用者海量資料計算問題,有效降低企業成本,并保障資料安全。MaxCompute主要服務于批量結構化資料的存儲和計算,可以提供海量資料倉庫的解決方案以及針對大資料的分析模組化服務。随着社會資料收集手段的不斷豐富及完善,越來越多的行業資料被積累下來。資料規模已經增長到了傳統軟體行業無法承載的海量資料(百GB、TB、乃至PB)級别。在分析海量資料場景下,由于單台伺服器的處理能力限制,資料分析者通常采用分布式計算模式。但分布式的計算模型對資料分析人員提出了較高的要求,且不易維護。使用分布式模型,資料分析人員不僅需要了解業務需求,同時還需要熟悉底層計算模型。MaxCompute的目的是為使用者提供一種便捷的分析處理海量資料的手段。使用者可以不必關心分布式計算細節,進而達到分析大資料的目的。MaxCompute已經在阿裡巴巴集團内部得到大規模應用,例如:大型網際網路企業的資料倉庫和BI分析、網站的日志分析、電子商務網站的交易分析、使用者特征和興趣挖掘等。MaxCompute的開發工具有三種方法,本文介紹MaxCompute用戶端的安裝、配置、測試方法以及可能遇見的問題。odpscmd是MaxCompute基礎用戶端,可以通過它通路MaxCompute的項目空間并使用各項功能。

安裝步驟:

第一步:下載下傳安裝JDK(1.7或以上版本)

因為odpscmd是基于JAVA開發的,是以需配置JAVA運作環境。JDK大家可以在網上查找下載下傳,我提供一個下載下傳連結,僅供參考。

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Windows版本和Mac OS版本選擇下載下傳,下載下傳完成之後,大家按照流程安裝即可。

第二步:配置JDK

Windows版本:

1.右鍵選擇 計算機→屬性→進階系統設定→進階→環境變量

2.系統變量→建立

變量名:JAVA_HOME

變量值:變量值填填寫JDK的安裝目錄,例如本人是

這樣才能正确解鎖MaxCompute用戶端
這樣才能正确解鎖MaxCompute用戶端

3、在系統變量中找見Path變量,選擇編輯,再選擇建立,輸入

這樣才能正确解鎖MaxCompute用戶端

最後确認就OK了。

這樣才能正确解鎖MaxCompute用戶端

4、檢查是否安裝完成。

在系統自帶cmd工具輸入檢測版本指令:java –version 當出現下面内容,則配置完成。

這樣才能正确解鎖MaxCompute用戶端

這個1.8.0_171是安裝的版本。

Mac OS版本:

Mac OS配置環境變量這篇文章講的很清楚,大家參考一下:

https://blog.csdn.net/vvv_110/article/details/72897142

第三步:下載下傳odpscmd用戶端安裝包

https://help.aliyun.com/document_detail/27971.html

點選上面的連結,找見下面的内容即可下載下傳。

這樣才能正确解鎖MaxCompute用戶端

第四步:解壓安裝包

大家把安裝包下載下傳到合适的硬碟當中後,下載下傳下來的都是zip檔案,自帶的電腦壓縮工具應該都可以解壓,如果不可以解壓,大家下載下傳一個zip解壓工具就好。解壓之後,就會出現四個檔案夾bin、conf、lib、plugins。

這樣才能正确解鎖MaxCompute用戶端

第五步:配置用戶端

編輯conf檔案夾中的odps_config.ini檔案,對用戶端進行配置,如下所示:

access_id=*

access_key=*

Accesss ID及Access Key是使用者的雲賬号資訊,可登入阿裡雲官網,進入管理控制台accesskeys頁面進行檢視。

project_name=my_project # 指定使用者想進入的項目空間。

end_point=

https://service.odps.aliyun.com/api

# MaxCompute服務的通路連結。

tunnel_endpoint=

https://dt.odps.aliyun.com

# MaxCompute Tunnel服務的通路連結。

log_view_host=

http://logview.odps.aliyun.com

當使用者執行一個作業後,用戶端會傳回該作業的LogView位址。打開該位址将會看到作業執行的詳細資訊。

https_check=true #決定是否開啟HTTPS通路

因為.ini檔案電腦預設打開的是txt的應用,電腦自帶的文本文檔打開之後是一長溜,不利于觀看,大家可以自行下載下傳一些txt檢視工具,比如notepad什麼的,利于觀看。

因為開通服務的地區不同,需要根據自己開通Regoin情況以及資料所在Regoin進行end_point和tunel_endpoint配置,可參考官方文檔:

https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN
這樣才能正确解鎖MaxCompute用戶端

配置完儲存即可。

第六步:運作用戶端

修改好配置檔案後,便可運作bin目錄下的MaxCompute用戶端(Linux系統下運作./bin/odpscmd,Windows下運作./bin/odpscmd.bat)

這樣才能正确解鎖MaxCompute用戶端
這樣才能正确解鎖MaxCompute用戶端

第七步:測試是否安裝完成

可在用戶端中運作測試語句,示例如下:

create table tbl1(id bigint);

insert overwrite table tbl1 select count(*) from tbl1;

select 'welcome to MaxCompute!' from tbl1;

如果出現以下結果,則表明安裝正确。

這樣才能正确解鎖MaxCompute用戶端

可能碰見的問題:

1、沒有安裝JDK,沒有配置環境變量,直接運作odpscmd報錯。

2、檢視系統80端口,一般是打開的。端口關閉也會導緻運作報錯。

3、config配置檔案沒有配置正确,特别注意空間名稱以及endpoint,導緻用戶端無法正常使用。

4、如碰見其他問題,可MaxCompute開發者社群群内咨詢。

歡迎加入“MaxCompute開發者社群2群”,點選連結申請加入或掃描二維碼

https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
這樣才能正确解鎖MaxCompute用戶端