【乾貨索引】阿里雲大數據計算服務MaxCompute與生態系統的融合

摘要： MaxCompute你們都不陌生，以前產品名稱叫ODPS，以後隨國際化而改名。從支持阿里集團內部99%數據業務到計算能力對外輸出，幫助政府、互聯網公司、金融等進行大數據項目服務，使得數據變現。不少開發者都會把MaxCompute和開源社區Hadoop、hive進行比較，此處不作過多評論，各有優點。

點擊查看原文

MaxCompute你們都不陌生，以前產品名稱叫ODPS，以後隨國際化而改名。從支持阿里集團內部99%數據業務到計算能力對外輸出，幫助政府、互聯網公司、金融等進行大數據項目服務，使得數據變現。不少開發者都會把MaxCompute和開源社區Hadoop、hive進行比較，此處不作過多評論，各有優點。可是不得不說MaxCompute這幾年在生態上向前走了一大步。

 

關於 MaxCompute2.0 對開源系統的支持與融合 的總體介紹及團隊規劃，詳見文檔。

最近，我也針對MaxCompute在生態融合上也進行了一些研究和拜讀，由於如今資料還比較零散，就把本身在過程當中遇到的好材料統一爲你們梳理以下，包括SDK、JDBC等。

 

MaxCompute SDK

首先咱們先來看SDK，想必不少有能力的互聯網公司都有大量的個性化需求，都會對SDK/API有一些需求，好比小黃車這樣的體量大的客戶，就基於MaxCompute SDK作了大量的應用。那具體SDK包括Java、Python、R以及PHP（PHP爲社區提供，並不是阿里雲官方出品，但均可以知足大部分需求）。

 

• Java SDK：MaxCompute團隊官方開發並維護，具體能夠詳見：官網文檔 和 SDK Java DOC

• Python SDK：MaxCompute團隊官方開發並維護的PyODPS，具體能夠詳見：官網文檔 和 雲棲社區博客。

更大強大的功能，你們能夠期待下團隊將在北京雲棲大會對外正式公測的python UDF，這將大大的提升python開發者對MaxCompute的開發效率和功能。

• R SDK：RODPS也較大知足開發者使用R作數據分析的需求，具體安裝及使用能夠詳見 雲棲社區博文
• PHP SDK：PHP SDK並不是MaxCompute團隊官方出品，由社區招募完成開發工做，具體有PHP需求的同窗也能夠參考PHP SDK文檔，能夠知足PHP開發的大部分需求。
• Ruby SDK：同PHP SDK由開源愛好者貢獻，具體詳見：https://github.com/aliyun-beta/aliyun-odps-ruby-sdk

MaxCompute JDBC 2.2 發佈說明

對接已有軟件並提供標準JDBC編程接口，MaxCompute JDBC 2.2正式版已於2017年2月24日正式發佈。

• github地址：https://github.com/aliyun/aliyun-odps-jdbc/releases/tag/v2.2
• V2.2詳細說明：https://yq.aliyun.com/articles/72791
• V2.0詳細說明：https://yq.aliyun.com/articles/59443

1. 經過Apache Zeppelin 快速實現數據可視化
2. 借力QlikView玩轉數據分析

Hive Proxy

提供Hive Thrift協議兼容接口，對接Hive社區已有的工具。Hive Proxy 部署在客戶端，將 Hive 的 thrift 請求轉換成 MaxCompute 的 Restful API 請求，能夠用來直接對接諸如 Tableau、Qlik 這樣不直接支持 JDBC 的 BI 工具，或者 HPL 這樣的 Hive 組件，詳見 博文。

• 示例1：複用Hive ODBC實現Tableau到MaxCompute的連通
• 示例2：複用Hive JDBC實現Beeline到MaxCompute的連通

具體詳見：https://yq.aliyun.com/articles/61262

ETL tool-數據上雲工具

• Kettle：［ETL實踐指南］基於Kettle的MaxCompute插件實現數據上雲
• sqoop：MaxCompute有一款是基於社區sqoop 1.4.6版本開發的Sqoop，增長了對MaxCompute的支持，能夠支持將數據從Mysql等關係數據庫和MaxCompute的導入和導出，也支持從Hdfs/Hive導入數據到MaxCompute的表中。 具體用法能夠參考：https://github.com/aliyun/aliyun-maxcompute-data-collectors/wiki/odps-sqoop
• OGG：主要適用於源庫爲Oracle，能夠經過其採集實時更新數據到DataHub中。 經過OGG將數據採集至MaxCompute/基於OGG Datahub插件將Oracle數據同步上雲
• Fluentd：該插件遵照Fluentd輸出插件開發規範，安裝方便，能夠很方便地將採集獲得的數據寫到DataHub。經過Fluentd將數據採集至MaxCompute
• Flume：Flume插件下載並安裝地址，基於Apache Flume Datahub插件將日誌數據同步上雲,點擊進入
• Logstash：Logstash是一種分佈式日誌收集框架，很是簡潔強大，常常與ElasticSearch，Kibana配置，組成著名的ELK技術棧，很是適合用來作日誌數據的分析。 經過Logstash將日誌數據採集至MaxCompute。

關於Logstash將日誌採集MaxCompute，而後作數據分析有詳細step by step 文檔，點擊進入。