JStorm集羣的部署

 JStorm是一個相似Hadoop MapReduce的系統,不一樣的是JStorm是一套基於流水線的消息處理機制,是阿里基於Storm優化的版本,和Storm同樣是一個分佈式實時計算的系統,從開發角度來講,JStorm全部的概念和Storm都相同,全部的編程代碼一行不用改也能夠直接放到JStorm運行,也能夠作一些優化,JStorm比Storm更穩定、更強大、更快,去掉了不少耗費資源的代碼,在實際生產中表現更是很是突出,因此對於使用Storm計算的應用場景來講升級到JStorm更是簡單、低成本,如下使用3臺服務器說一下JStorm集羣的部署流程web

  這3臺服務器的主機名分別爲:bigdata1,bigdata2,bigdata3apache

  準備工做:編程

  一、主機名和hosts映射一一對應,設置無缺!vim

  二、防火牆關閉,保證通訊暢通tomcat

  三、Zookeeper集羣正常運行服務器

  四、Python 2.6以上(系統通常默認都存在)app

  五、JDK 推薦1.8webapp

  接下來在bigdata1上操做安裝:分佈式

  一、釋放storm安裝包並移動至指定目錄:oop

unzip jstorm-2.1.1.zip 
mv jstorm-2.1.1 /bigdata/jstorm/
cd /bigdata/jstorm/jstorm-2.1.1/

  如今安裝目錄是/bigdata/jstorm/jstorm-2.1.1/

  二、編輯配置文件,執行 vim conf/storm.yaml 打開配置文件

  配置storm.zookeeper.servers爲zookeeper地址

  

  storm.zookeeper.root爲jstorm在zookeeper的節點名稱

  

  去掉nimbus.host的註釋,配置nimbus節點爲bigdata1

  

  配置storm.local.dir,表示jstorm的臨時數據存放目錄

  

  去掉supervisor.slots.ports前面的註釋,設置supervisor節點執行worker使用的端口列表,默認爲68xx,而storm是67xx

  

  通常設置爲4個就夠了,當worker太多不夠時,再增長端口進行擴展

  配置完以上幾個配置,保存並退出配置文件,另外注意每一項配置必須對齊,這裏每一項前面都有一個空格

  配置成功以後,執行如下命令,將jstorm總體發送至其餘兩個節點:

scp -r /bigdata/jstorm/ bigdata2:/bigdata/
scp -r /bigdata/jstorm/ bigdata3:/bigdata/

  在當前機器,通常是nimbus,也就是提交jar包的機器上執行以下命令:

mkdir ~/.jstorm
cp /bigdata/jstorm/jstorm-2.1.1/conf/storm.yaml ~/.jstorm/

  建議儘可能拷貝storm.yaml配置文件過去,不然可能在啓動ui和supervisor以後出現找不到supervisor節點的狀況

  三、配置storm ui管理界面

  首先安裝好tomcat,而後將storm安裝目錄下的jstorm-ui-2.1.1.war複製到tomcat下的webapps中,就至關於tomcat容器中的一個web項目,能夠放個軟鏈給ROOT這樣jstorm的管理界面就變成tomcat默認項目了,這裏爲默認項目,進入tomcat的webapps下執行以下命令:

mv ROOT ROOT.old
ln -s jstorm-ui-2.1.1 ROOT

  而後啓動tomcat服務器: /usr/local/tomcat/apache-tomcat-8.0.30/bin/startup.sh  

  四、啓動nimbus和supervisor

  在主節點jstorm安裝目錄下執行: nohup bin/jstorm nimbus & 執行後再次執行回車回到命令行,執行 jps 能看到NimbusServer進程,則nimbus啓動成功:

  

  在其餘兩個節點分別執行: nohup bin/jstorm supervisor & 執行以後,執行 jps 能夠看到Supervisor進程,則supervisor啓動成功:

  

  訪問主節點ip查看管理界面,地址爲:http://192.168.0.187:8080/

  

  如今能夠看到集羣狀態,到這裏Storm就安裝成功而且可使用了

相關文章
相關標籤/搜索