MaxCompute問答整理之7月

本文是基於本人對MaxCompute產品的學習進度，再結合開發者社區裏面的一些問題，進而整理成文。但願對你們有所幫助。

問題1、DataWorks V2.0簡單模式和標準模式的區別？
公司數倉的數據上雲後，在使用MaxCompute計算引擎時，須要一個穩定、可靠的調度系統，將自身數據生產任務（代碼）按照所需依賴關係、運行時間來調度運行，那麼DataWorks就派上了用場。DataWorks提供簡單模式和標準模式兩種工做空間模式。
簡單模式指一個DataWorks工做空間對應一個MaxCompute項目，沒法設置開發環境和生產環境，只能進行簡單的數據開發。標準模式指一個DataWorks工做空間對應兩個MaxCompute項目，能夠設置開發和生產環境，提高代碼開發規範。兩個模式還存在項目、用戶和權限的不一樣。你們能夠經過學習官方文檔或者是實操來增強認知。
https://help.aliyun.com/document_detail/85772.html

問題2、用數據集成新增數據源時，測試連通性失敗，是什麼緣由？
當須要新增數據源時，首先要確認本身的數據源類型、網絡類型、是否支持測試連通性。當新增數據源沒法支持測試連通性時，能夠嘗試用獨享資源組來解決數據集成問題。

具體數據源的區別能夠參考文檔查看：https://help.aliyun.com/knowledge_detail/72964.html
舒適提示：配置數據源時記得檢查帳號密碼。

問題3、數據源配置中數據過濾條件如何填寫？
數據過濾是同步數據的刪選條件，能夠經過SQL語法填寫where過濾語句，通常都是經過日期字段來刪選數據。DataWorks的參數配置功能能夠知足業務場景的需求，目前參數分爲系統參數和自定義參數（推薦）兩大類。關於數據源和參數配置能夠參考如下文檔來詳細學習：
數據源配置：https://help.aliyun.com/knowledge_list/72788.html
參數配置：https://help.aliyun.com/document_detail/74450.html

問題4、UDF如何加入項目函數列表？
用戶能夠經過自定義函數來知足不一樣的計算需求，MaxCompute的UDF支持跨項目分享。UDF的發佈能夠經過DataWorks界面來完成。能夠參考產品文檔來操做：https://help.aliyun.com/document_detail/107615.html

問題5、若是我買30個CU時（預付費形式）是否是隻能用30個Core來運行任務，當公有云裏面資源空閒時，系統會不會像掃描按量付費那樣，自動調用30Core之外的空閒資源，來加速個人任務運行？
預付費的資源池是獨享的，按購買CU（1CU=1核CPU+4G內存）量固定分配資源，計算任務只能佔用獨享的資源。可是當在同個區域，已經開通一個預付費規格的狀況下，能夠經過升級和降配資源方式開通其餘規格。若是任務量較大，能夠考慮對於消耗資源少的任務採起預付費，資源較大的任務採起按I/O後付費，這樣能夠保證任務運行時一直有CU資源。

問題6、想寫Spark處理MaxCompute上的表數據，可是彷佛並不能像寫Sql同樣在DataWorks上去寫Spark程序，應該在哪裏寫Spark程序，MaxCompute Studio能夠嗎？
目前MaxCompute Spark支持三種運行方式：Local模式、Cluster模式和DataWorks中執行模式。三種模式須要進行不一樣的配置，請參考以下文檔：
https://help.aliyun.com/document_detail/102430.html

問題7、MaxCompute是否支持MD5函數？
支持，MxCompute能夠經過內建函數和UDF來實現業務計算需求，常見的日期函數、數學函數、字符串函數等，MaxCompute都是支持的，能夠參考以下文檔： 
https://help.aliyun.com/document_detail/96342.html

問題8、日誌記錄的各項信息表明什麼如何查看？
我理解日誌記錄其實就是MaxCompute產品裏的Logview，Logview是MaxCompute Job提交後查看和Debug任務的工具。能夠經過Logview能夠看到一個Job的運行狀態、運行結果和具體細節以及每一個步驟的進度。
具體功能組件含義請參考以下文檔：https://help.aliyun.com/document_detail/27987.html

問題9、MaxCompute 2.0裏的數據類型使用須要set設置，是否能夠在DataWorks裏面運行？
使用數據類型系統時，須要進行設置：set odps.sql.type.system.odps2=true;或setproject odps.sql.type.system.odps2=true; ，語句是能夠在DataWorks新建表的DDL模式下執行操做。
舒適提示：記得關注數據類型轉換。

問題10、decimal數據類型精度溢出如何解決？問題實例以下圖。

能夠進行set設置：set odps.sql.decimal.odps2=true;

原文連接 本文爲雲棲社區原創內容，未經容許不得轉載。