MaxCompute Studio 使用入門

MaxCompute Studio 是MaxCompute 平臺提供的安裝在開發者客戶端的大數據集成開發環境工具，是一套基於流行的集成開發平臺 IntelliJ IDEA 的開發插件，能夠幫助您方便地進行數據開發。下面咱們一塊兒來看一看Studio的簡單用法。

用戶登陸

Studio提供用戶登陸功能。常規登陸入口在Intellij toolbar中右上角的Sign In。登陸完成後可直接使用答疑機器人、添加D2項目、同步D2等功能。

答疑機器人

點擊右側「FAQ Robot」按鈕，進入答疑機器人頁面，以下圖所示。答疑機器人支持自助答疑和人工答疑兩種方式，支持圖片和文件上傳，若是對自助答疑的結果不滿意，能夠在聊天框發送「人工」呼叫ODPS值班同窗。或者直接發送圖片或文件喚起人工服務。

資源管理

Studio 的一大核心功能就是瀏覽 MaxCompute 項目空間（Project）的資源，包括 Table、UDF、Resource 等。爲了可以在 Studio 中訪問它們，以及其它不少功能，咱們首先須要在新建項目鏈接。在Project Explorer中點擊"+"添加鏈接，目前Studio支持同步D2項目和經過accessId/Key添加項目鏈接。

創建項目空間鏈接後，能夠瀏覽Table&View、Function、Resource等項目資源，雙擊對應的元素能夠在Intellij中查看資源詳情。

Table

雙擊打開某個table，以下圖所示。有兩個tab頁面，「表信息」頁面以下如所示，該頁面展現table的基本信息、schema信息，提供數據預覽功能。

選擇對應的分區，設置預覽行數，點擊「預覽」按鈕能夠進行數據預覽。同時，右鍵點擊表頭支持數據導入/導出功能。

「分區信息」頁面以下所示，顯示分區的詳細信息，提供分區的查詢、刷新功能。同時提供導出分區信息、分區數據導入導出等功能。

在project explorer中右鍵點擊某張表，能夠看到建表、改表、數據操做等一系列比較實用的功能。

在Studio中不光能夠經過寫SQL進行DDL相關的操做，也能夠經過可視化界面建立和修改table：Project Explorer中右鍵點擊項目名稱或者「Table & Views」選擇「Create a new table」進行建表操做。

右鍵點擊某個table選擇「open table editor」能夠對錶信息進行相應修改，以下圖所示，Studio能夠將用戶操做轉化爲對應的SQL語句。

Functions

 Functions分爲BuiltIn Function和UserDefied Function, 雙擊對應的function能夠展開詳情：

 能夠經過以下途徑添加Function:

Resources

雙擊對應的resource，能夠在editor中打開文件。對於UDF文件數大於5的狀況，只打開前5個class。

能夠經過以下途徑添加resource：

SQL編輯器與做業提交

如何幫助用戶高效愉快的編寫SQL是MaxCompute studio的核心使命，下面就讓咱們來一塊兒看一下SQL編輯器的使用。首先須要建立一個MaxCompute Script Module，以下圖所示：

Module建立完成後，新建SQL腳本文件以下圖所示。

最後雙擊SQL文件就能夠進行咱們的腳本開發了，這裏能夠本身設置模式(單句模式|腳本模式)、系統類型（舊有系統類型|MaxCompute系統|Hive系統）、編譯器類型（默認編譯器|實驗性編譯器）等。右上角須要選擇對應的project。

下圖所示三個按鈕分別表示將SQL同步到D2，在Cosonle中打開ODPS CMD，打開SQL History。

SQL編輯完成後，點擊下方的graph tab按鈕，能夠顯示該SQL的執行計劃，雙擊Task節點會展開對應的Operator級別的信息。

點擊綠色的提交按鈕，Studio會先編譯腳本，編譯經過後提交Server後顯示運行信息並打開Job分析頁面，以下圖所示：

做業詳情

上面咱們說到了如何編輯SQL和提交做業，接下來一塊兒看看如何查看做業詳情。做業詳情頁能夠經過多條路徑打開，好比上面說到的提交做業，會自動打開做業詳情頁。其次經過Job Explorer也能夠打開做業詳情頁，再有就是若是已經知道logview，能夠經過logview打開做業詳情頁，以下圖所示：

做業詳情頁面分爲兩部分，左側是做業的一些基本信息，右側包含多個tab頁，包含graph信息、時序圖、詳情、腳本、摘要、結果、分析等內容。下面對graph圖、時序圖、詳情頁和做業分析進行進一步介紹。

graph頁面

graph頁面展現做業的Job|Task|Operator三層結構。點擊左上角的導航可切換不一樣level的視圖，雙擊Job節點進入Task視圖，雙擊Task節點進入Operator視圖。

graph頁面用戶能夠經過鼠標滾輪或者左側縮放按鈕對圖像進行縮放，同時提供鷹眼和拖拽等功能。點擊task節點顯示task級別信息，點擊task之間連線顯示schema信息。

 

在task level視圖中右鍵點擊節點，選擇"expand all"展開全部的operator。

同時，單擊table節點會顯示table的基本信息和分區信息，雙擊table節點會跳轉到對應的table詳情頁。

時序圖

時序圖畫的是全部Fuxi Instance的甘特圖，經過時序圖能夠對做業的運行時間等進行詳細的分析，左側的Filter能夠對instances進行過濾，鼠標懸停到對應的instance上會顯示對應的信息，雙擊則會跳轉到"詳情」tab頁並選中對應的instance，對用戶分析十分方便。同時時序圖支持縮放功能。

詳情頁

詳情頁展現的是Task級別和Instance級別的詳細信息。

做業分析頁面

做業分析頁面提供做業分析的結論，好比長尾節點、數據傾斜等。並提供散點圖、長尾圖和數據傾斜圖供用戶分析。

做業隊列

Maxcompute 做業從提交到開始執行以前，須要經歷不少狀態，如：執行編譯、優化、排隊等待資源等。做業隊列提供了查看當前詳細狀態的功能。對於正在排隊等待調度的做業，可也從隊列窗口中查看排隊位置和前序做業等信息。點擊"Job Explorer"打開做業隊列頁面，該頁面提供了項目名稱、狀態、日期等Filter，選擇對應的條件後會獲得對應的做業隊列，雙擊某一個做業會打開對應的做業詳情頁面。

原文連接