storm集羣安裝與部署

storm集羣拓撲規劃

在搭建Storm集羣前，先看下下面的拓撲圖，在1.1.0版本中，支持 Nimbus的HA模式，Nimbus、Supervisor，須要使用Zookeeper做爲協同。

相關依賴

• jDK1.8
• zookeeper3.4.9 部署說明
• python2.6.6+

安裝包下載

wget http://mirror.bit.edu.cn/apache/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz

簡稱	IP	角色
A	192.168.2.149	Nimbus
B	192.168.2.150	Supervisor_01
C	192.168.2.151	Supervisor_02

Nimbus安裝配置

Nimbus能夠配置多臺，實現HA，這裏暫時就配置一臺
須要對外開放的端口：
6627: Nimbus 默認端口
8080: Storm UI Web端口
8000: LogView端口

配置文件

storm github提供的配置默認

https://github.com/apache/sto...

########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
     - "192.168.2.149"
     - "192.168.2.150"
     - "192.168.2.151"
nimbus.seeds: ["192.168.2.149"]

#配置數據存儲路徑
storm.local.dir: "/data/ms/storm-1.1.1/data"

##配置節點健康檢測
storm.health.check.dir: "healthchecks"
storm.health.check.timeout.ms: 5000
storm.local.hostname: "192.168.2.149"

#配置Storm UI
ui.port: 8080

啓動程序

./storm nimbus >/dev/null 2>&1 &
./storm ui >/dev/null 2>&1 &
./storm logviewer >/dev/null 2>&1 &

在瀏覽器訪問：http://192.168.2.149:8080, 查看Storm UI主頁

Supervisor安裝配置

Supervisor安裝的時候，只須要指定Nimbus地址，就能夠自動加入Storm集羣

配置文件

########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
     - "192.168.2.149"
     - "192.168.2.150"
     - "192.168.2.151"
# 
nimbus.seeds: ["192.168.2.149"]
#配置數據存儲路徑
storm.local.dir: "/data/ms/storm-1.1.1/data"
#
##配置節點健康檢測
storm.health.check.dir: "healthchecks"
storm.health.check.timeout.ms: 5000

storm.local.hostname: "192.168.2.150"

#配置supervisor： 開啓幾個端口插槽，就開啓幾個對應的worker進程
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

啓動程序

./storm supervisor >/dev/null 2>&1 &
./storm logviewer >/dev/null 2>&1 &

知識點

storm0.9版本後不在採用ZeroMQ

storm配置詳解

storm UI參數詳解

FAQ

• Storm UI 中顯示的Supervisor 的個數與實際的不符

刪除Supervisor中的 storm.local.dir 目錄的數據，以前拷貝到各個節點的時候，把這個目錄頁拷貝過去了。若是 storm.local.dir的目錄爲空的話，每一個Supervisor就會建立本身的ID

• Storm ui展現主機名

每臺storm這裏hostname配置本身的ip地址
storm.local.hostname: "192.168.2.150"

• 日誌連接連接失敗

需啓動LogView服務./storm logviewer >/dev/null 2>&1 &