MaxCompute問答整理之6月

本文是基於本人對MaxCompute產品的學習進度，再結合開發者社區裏面的一些問題，進而整理成文。但願對你們有所幫助，下面我們正式開始。

一、什麼是MaxCompute呢？
MaxCompute是由阿里人自主研發的海量數據處理平臺，能夠稱它爲計算引擎。它主要提供針對TB/PB級數據、實時性要求不高的分佈式處理能力，主要服務於批量結構化數據的存儲和計算。簡單來講呢，就是數據要存到MaxCompute裏面，須要的時候再取出來。

二、爲何要使用MaxCompute呢？
MaxCompute的特色能夠簡單總結爲5點：
開箱即用在線服務，五分鐘便可開通大數據平臺。
高效能低成本，持續高效低成本的大數據引擎。
支持多種分佈式計算模型，知足不一樣場景下的技術需求。
生態融合，支持多樣數據源、生態工具和標準。
安全可靠，多租戶數據安全保障機制。

三、使用MaxCompute須要什麼專業技能？
JAVA、SQL、Python。

四、使用MaxCompute須要準備什麼開發工具呢？
這裏面的工具備三種：
Odpscmd：MaxCompute客戶端，喜歡用命令行的同窗能夠試試。
https://help.aliyun.com/document_detail/27971.html
由於odpscmd是基於JAVA開發的，因此記得配置JRE 1.7以上版本，建議使用JRE1.7/1.8。

MaxCompute Studio：是MaxCompute平臺提供的安裝在開發者客戶端的大數據集成開發環境工具，是一套基於流行的集成開發平臺IntelliJ IDEA的開發插件。
https://help.aliyun.com/document_detail/50889.html

DataWorks：是阿里雲重要的PaaS平臺產品，能夠提供數據集成、數據開發、數據管理、數據質量和數據服務等全方位的產品服務，擁有一站式開發管理的界面，DataWorks是基於MaxCompute爲核心的計算、存儲引擎，能夠提供海量數據的離線加工分析、數據挖掘等功能。
https://help.aliyun.com/product/72772.html

我想你們看完上面的內容以後，以及對MaxCompute有了初步的瞭解和認知，下面我根據MaxCompute開發者社區裏面你們遇見的問題作一個簡單的整理，我會從初級問題開始一步步整理，你們能夠隨時查閱。

問題一：怎麼獲取AccesskeyID和 Access key Secret？
使用MaxCompute服務前，咱們須要準備一個阿里雲帳號。
下面這篇文章能夠完美解決你們如何獲取AK密鑰。
https://help.aliyun.com/document_detail/27803.html

問題二：MaxCompute如何計費？
當咱們開通MaxCompute服務時都會遇見一個問題，如何選擇本身的計費方式，怎麼估算？MaxCompute的產品有兩種計費模型，按量付費（先使用再付費）和CU預付費（先購買資源），簡單來講就是資源共享和資源獨享的區別。
MaxCompute是以project爲計費單元，計費項包括存儲、計算、數據下載三類。就是分爲計算費用（可預付費和後付費）、存儲費用（按量後付費）、下載費用（按量後計費）。

問題三：嘗試把測試環境rds導入，結果遇到了相似分區，不知道怎麼查文檔解決？
當咱們在MaxCompute上面開始建表，查看分區等操做時，老是會遇見一些各類各樣的問題。不怕，我們有官方文檔，有很是詳細的解釋和介紹。
https://help.aliyun.com/document_detail/27829.html

問題四：EMR和MaxCompute的區別？
不少人都會問有了EMR，爲何還有MaxCompute？下面我給你們解釋一下，
EMR是構建在阿里云云服務器ECS上的開源Hadoop、Spark、Hive、Flink生態大數據PaaS產品，主要是提供用戶在雲上使用開源技術建設數據倉庫、離線批處理、在線流式處理、及時查詢、機器學習等場景下的大數據解決方案。
MaxCompute是阿里人自主研發的，對外不開源，封裝使用起來方便，並且運維成本比較低，二者在使用場景上基本沒有差異。

問題五：如何查看odps裏面sql執行所消耗的資源？
MaxCompute的計費方式有選擇，那咱們怎麼去查看呢？怎麼知道我一條SQL耗費了多少資源，下面這篇文章能夠給咱們很好的解答。https://help.aliyun.com/document_detail/106521.html

問題六：MaxCompute和DataWorks的權限關係？
經過MaxCompute的安全模型進行權限控制，並不會影響成員在DataWorks任何界面操做。而經過DataWorks的用戶角色分配，則有可能影響成員MaxCompute資源權限。
https://help.aliyun.com/document_detail/105012.html
也能夠經過視頻來了解二者的關係。
https://help.aliyun.com/video_detail/99890.html

問題七：須要從odps數據導入到mysql，可是受到數據保護，沒法導出，如何解決？
能夠經過關閉數據保護或者配置exception policy 來完成。
https://help.aliyun.com/document_detail/34605.html

問題八：如何賦予操做表的權限？
MaxCompute能夠經過受權方式對其中的表、任務、資源等客體的某種操做權限，包括讀、寫、查看等。
https://help.aliyun.com/document_detail/27935.html

 

本文做者：亢海鵬 

原文連接

本文爲雲棲社區原創內容，未經容許不得轉載。