這樣才能正確解鎖MaxCompute客戶端

大數據計算服務(MaxCompute,原名ODPS)是一種快速、徹底託管的TB/PB級數據倉庫解決方案。MaxCompute向用戶提供了完善的數據導入方案以及多種經典的分佈式計算模型,可以更快速的解決用戶海量數據計算問題,有效下降企業成本,並保障數據安全。MaxCompute主要服務於批量結構化數據的存儲和計算,能夠提供海量數據倉庫的解決方案以及針對大數據的分析建模服務。隨着社會數據收集手段的不斷豐富及完善,愈來愈多的行業數據被積累下來。數據規模已經增加到了傳統軟件行業沒法承載的海量數據(百GB、TB、乃至PB)級別。在分析海量數據場景下,因爲單臺服務器的處理能力限制,數據分析者一般採用分佈式計算模式。但分佈式的計算模型對數據分析人員提出了較高的要求,且不易維護。使用分佈式模型,數據分析人員不只須要瞭解業務需求,同時還須要熟悉底層計算模型。MaxCompute的目的是爲用戶提供一種便捷的分析處理海量數據的手段。用戶能夠沒必要關心分佈式計算細節,從而達到分析大數據的目的。MaxCompute已經在阿里巴巴集團內部獲得大規模應用,例如:大型互聯網企業的數據倉庫和BI分析、網站的日誌分析、電子商務網站的交易分析、用戶特徵和興趣挖掘等。MaxCompute的開發工具備三種方法,本文介紹MaxCompute客戶端的安裝、配置、測試方法以及可能碰見的問題。odpscmd是MaxCompute基礎客戶端,能夠經過它訪問MaxCompute的項目空間並使用各項功能。html

安裝步驟:
第一步:下載安裝JDK(1.7或以上版本)
由於odpscmd是基於JAVA開發的,因此需配置JAVA運行環境。JDK你們能夠在網上查找下載,我提供一個下載連接,僅供參考。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Windows版本和Mac OS版本選擇下載,下載完成以後,你們按照流程安裝便可。java

第二步:配置JDK
Windows版本:
1.右鍵選擇 計算機→屬性→高級系統設置→高級→環境變量
2.系統變量→新建
變量名:JAVA_HOME
變量值:變量值填填寫JDK的安裝目錄,例如本人是 imageapi

image
三、在系統變量中找見Path變量,選擇編輯,再選擇新建,輸入 image
最後確認就OK了。
image
四、檢查是否安裝完成。
在系統自帶cmd工具輸入檢測版本命令:java –version 當出現下面內容,則配置完成。
image
這個1.8.0_171是安裝的版本。
Mac OS版本:
Mac OS配置環境變量這篇文章講的很清楚,你們參考一下:https://blog.csdn.net/vvv_110/article/details/72897142安全

第三步:下載odpscmd客戶端安裝包
https://help.aliyun.com/document_detail/27971.html
點擊上面的連接,找見下面的內容便可下載。
image服務器

第四步:解壓安裝包
你們把安裝包下載到合適的硬盤當中後,下載下來的都是zip文件,自帶的電腦壓縮工具應該均可以解壓,若是不能夠解壓,你們下載一個zip解壓工具就好。解壓以後,就會出現四個文件夾bin、conf、lib、plugins。
imageoracle

第五步:配置客戶端
編輯conf文件夾中的odps_config.ini文件,對客戶端進行配置,以下所示:
access_id=*
access_key=* 
Accesss ID及Access Key是用戶的雲帳號信息,可登陸阿里雲官網,進入管理控制檯accesskeys頁面進行查看。
project_name=my_project # 指定用戶想進入的項目空間。
end_point=https://service.odps.aliyun.com/api # MaxCompute服務的訪問連接。
tunnel_endpoint=https://dt.odps.aliyun.com # MaxCompute Tunnel服務的訪問連接。
log_view_host=http://logview.odps.aliyun.com 
當用戶執行一個做業後,客戶端會返回該做業的LogView地址。打開該地址將會看到做業執行的詳細信息。
https_check=true #決定是否開啓HTTPS訪問
由於.ini文件電腦默認打開的是txt的應用,電腦自帶的文本文檔打開以後是一長溜,不利於觀看,你們能夠自行下載一些txt查看工具,好比notepad什麼的,利於觀看。
由於開通服務的地區不一樣,須要根據本身開通Regoin狀況以及數據所在Regoin進行end_point和tunel_endpoint配置,可參考官方文檔:
https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN
image
配置完保存便可。分佈式

第六步:運行客戶端
修改好配置文件後,即可運行bin目錄下的MaxCompute客戶端(Linux系統下運行./bin/odpscmd,Windows下運行./bin/odpscmd.bat)
image
image工具

第七步:測試是否安裝完成
可在客戶端中運行測試語句,示例以下:
create table tbl1(id bigint);
insert overwrite table tbl1 select count(*) from tbl1;
select 'welcome to MaxCompute!' from tbl1;
若是出現如下結果,則代表安裝正確。
image開發工具

可能遇見的問題:
一、沒有安裝JDK,沒有配置環境變量,直接運行odpscmd報錯。
二、查看系統80端口,通常是打開的。端口關閉也會致使運行報錯。
三、config配置文件沒有配置正確,特別注意空間名稱以及endpoint,致使客戶端沒法正常使用。
四、如遇見其餘問題,可MaxCompute開發者社區羣內諮詢。測試

 

 

原文連接

本文爲雲棲社區原創內容,未經容許不得轉載。

相關文章
相關標籤/搜索