MaxCompute問答整理之8月

本文是基於對MaxCompute產品的學習進度，再結合開發者社區裏面的一些問題，進而整理成文。但願對你們有所幫助。

問題1、經過數據源數據增量同步後，如何查看某一條數據具體被同步到MaxCompute中的時間？
不支持，查看不了，能夠看錶元數據的LastModifiedTime時間，但具體某個記錄看不到時間。

問題2、開發的數據處理腳本可否在不一樣地區項目空間遷移？
跨項目克隆只能同帳號同region，因此不一樣地區之間可使用項目備份恢復來完成。
可參考官方文檔操做：https://help.aliyun.com/document_detail/95940.html
舒適提示：此功能現階段支持恢復文件大小必須是30M如下大小，後續會更新版本，請你們持續關注。

問題3、建立工做空間時，會碰到客戶端顯示project不存在，或者切換空間顯示project不存在，這是什麼緣由？
通常這種問題，是由於開通帳號以後，在建project時沒有選擇MaxCompute計算引擎服務致使的。
能夠從新建project來解決問題。正確選擇以下。

舒適提示：按量付費和包年包月選項是須要購買服務才能夠。開發者版本可免費試用。
開發者版開通地址：https://promotion.aliyun.com/ntms/act/cloud/maxcdeveloperfbh.html

問題4、若是把MaxCompute做爲大數據平臺，接入整個業務體系數據，有mysql,sqlserver等各類數據源。當源數據庫的表，字段變動了，有沒有好的監控手段。好比字段長度變長，表增長字段，等DDL操做。由於業務是變化的，這種若是監控不及時，整個調度流程是否是就會崩？
當前MaxCompute僅支持在DataWorks控制檯數據地圖中查看內部數據的變更以及監控。外部數據源的字段變化，當前是沒有辦法監控到。後續若有好的解決辦法，會社羣通知，請你們持續關注。

問題5、如何批量查詢表的元數據？
在8月13日，由阿里雲智慧事業羣產品專家曲寧直播阿里巴巴大數據產品最新特性介紹—MaxCompute，其中有一項Information Schema元數據服務，以視圖的形式提供準實時的元數據，包括Tables、PartitionsColumns、UDFs、Resources、Users、Roles、Packages、數據對象的受權信息、做業運行信息等。你們能夠經過提交工單進行新功能測試申請
提交方法可參考：https://help.aliyun.com/document_detail/128366.html

問題6、使用 Pyodps 統計一個表裏面某個字段的空值率的時候，是推薦用 execute_sql 來執行 SQL 語句來查詢， 仍是推薦用 DataFrame 來執行聚合操做。哪一個性能更高？
DataFrame聚合性能更高一些，因此推薦使用DataFrame來執行聚合操做。具體DataFrame如何聚合操做可參考
官方文檔：https://help.aliyun.com/document_detail/90458.html

問題7、MaxCompute常見錯誤信息如何理解，怎麼定位問題？
MaxCompute的常見報錯信息編號有規範定義，異常編號：通用描述 - 上下文相關說明。其中SQL、MapReduce、Tunnel的錯誤信息是不同的。官方文檔中列舉了一些錯誤信息，
你們能夠查詢一一對應報錯信息：https://help.aliyun.com/document_detail/34636.html

問題8、DataWorks中如何跨業務流程依賴？
能夠經過節點方式解決，下游業務流程的第一個節點依賴上游業務流程的最後一個節點。

問題9、MaxCompute客戶端(odpscmd)在windows命令行下查詢中文亂碼如何解決？
odpscmd中出現中文亂碼是由於中文字符集的編碼方式不一致致使的，
能夠參考一篇實踐文檔來解決問題：https://yq.aliyun.com/articles/706600

問題10、MaxCompute Sql中如何判斷一個字段是否爲空？
IS NULL。MaxCompute Sql中包含關係運算符、算數運算符、位運算符、邏輯運算符。
可參考官方文檔：https://help.aliyun.com/document_detail/27861.html

 

本文做者：亢海鵬

原文連接

本文爲雲棲社區原創內容，未經容許不得轉載。