Presto集羣部署

前言：

　　隨着大數據的普及，大部分企業的大數據查詢與統計漸漸出現瓶頸。雖然說存儲方面有分佈式的HDFS,HBSE,MongoDB等能夠應對，可是面對千萬級別（1x10^7）界別的數據量查詢時，以上組件也難免顯得力不從心。正所以，分佈式查詢引擎應運而生。而基於內存查詢的分佈式查詢引擎--Presto正是其中之一。不少人都說現代計算機技術的發展都是拼開源，拼社區。而Presto的社區也不小，國際化的Facebook，也有國內電商大頭京東。正所以，在通過實際嘗試與測驗以後決定簡要地介紹一下presto的部署方式，但願能給有須要的朋友提供一些參考。

 

1.  Presto集羣部署架構圖

2.安裝步驟

step1:系統環境準備：

1）JDK8

2）Hadoop2.x

 

step2:軟件準備

 presto-server-0.191.tar.gz

下載地址：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.191/presto-server-0.191.tar.gz

 

$ wget http:xxxx/a-b-xxx.gz

$ tar -zxvf http:xxxx/a-b-xxx.gz

$ ln -s a-b-xxx presto-server

step3:新建文件目錄

$PRESTO_INSTALL_HOME=/opt/prestodb

$PRESTO_INSTALL_HOME下面新建2個目錄：

presto_data

presto_server

 

step4:在presto_server添加配置文件

 

$mkdir etc

$find

./jvm.config

./catalog

./catalog/hive.properties

./catalog/jmx.properties

./node.properties

./config.properties

./log.properties

 

 

 

①　catalog/jmx.properties配置內容：

connector.name=jmx

 

 

 

②　catalog/hive.properties配置內容：

connector.name=hive-hadoop2 hive.metastore.uri=thrift://gzp210016clit01:9083   hive.config.resources=$HADOOP_HOME/core-site.xml,$HADOOP_HOME/hdfs-site.xml

 

注意：

connector.name配置的是當前集羣的hadoop版本，默認」hive-hadoop2」便可

hive.metastore.uri=hive元數據服務地址

hive.config.resources=core-site.xml和hdfs-site.xml的配置文件路徑

 

 

 

③　jvm.config

-server -Xmx16G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError

 

④　node.properties

node.environment=production node.id=ffffffff-ffff-ffff-ffff-ffffffffffff node.data-dir=/home/dev_chenjunhong/presto_data

 

 

注意：

node.id全局惟一，建議用本機的ip最後2位結尾

node.data-dir配置的數據目錄需提早建立

 

⑤　log.properties

com.facebook.presto=INFO

 

 

⑥　config.properties

主節點：

coordinator=true node-scheduler.include-coordinator=true http-server.http.port=18080 query.max-memory=5GB query.max-memory-per-node=1GB discovery-server.enabled=true discovery.uri=http://localhost:18080

 

從節點：

coordinator=false http-server.http.port=18080 query.max-memory=5GB query.max-memory-per-node=1GB discovery.uri=http://master:18080

 

step5:啓動測試

進入目錄

$ cd presto-server

啓動方式1:阻塞式啓動

$ bin/launcher run

啓動方式2:非阻塞式（後臺）啓動

$ bin/launcher start

 

 

step6：web界面訪問

 

 

 

 

附錄

1.官網的安裝說明 https://prestodb.io/docs/current/installation/deployment.html

2.客戶端鏈接測試

step1:下載jar包並建立快捷方式

$ wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.191/presto-cli-0.191-executable.jar

step2:鏈接服務

$ ln -s presto-cli-xxx.jar presto

$ ./presto --server server-ip:port --catalog hive --schema default