Storm入門第三章 Storm安裝部署步驟

時間 2019-11-06

標籤 storm 入門第三安裝部署步驟欄目 Storm 简体版

原文原文鏈接

本文以Twitter Storm官方Wiki爲基礎，詳細描述如何快速搭建一個Storm集羣，其中，項目實踐中遇到的問題及經驗總結，在相應章節以「注意事項」的形式給出。 html

3.1 Storm集羣組件

Storm集羣中包含兩類節點：主控節點（Master Node）和工做節點（Work Node）。其分別對應的角色以下： java

1. 主控節點（Master Node）上運行一個被稱爲Nimbus的後臺程序，它負責在Storm集羣內分發代碼，分配任務給工做機器，而且負責監控集羣運行狀態。Nimbus的做用相似於Hadoop中JobTracker的角色。 python

2. 每一個工做節點（Work Node）上運行一個被稱爲Supervisor的後臺程序。Supervisor負責監遵從Nimbus分配給它執行的任務，據此啓動或中止執行任務的工做進程。每個工做進程執行一個Topology的子集；一個運行中的Topology由分佈在不一樣工做節點上的多個工做進程組成。 linux

Storm集羣組件 git

Nimbus和Supervisor節點之間全部的協調工做是經過Zookeeper集羣來實現的。此外，Nimbus和Supervisor進程都是快速失敗（fail-fast)和無狀態（stateless）的；Storm集羣全部的狀態要麼在Zookeeper集羣中，要麼存儲在本地磁盤上。這意味着你能夠用kill -9來殺死Nimbus和Supervisor進程，它們在重啓後能夠繼續工做。這個設計使得Storm集羣擁有難以想象的穩定性。 github

3.2 安裝Storm集羣

這一章節將詳細描述如何搭建一個Storm集羣。下面是接下來須要依次完成的安裝步驟： apache

1. 搭建Zookeeper集羣； oracle

2. 安裝Storm依賴庫； less

3. 下載並解壓Storm發佈版本； jsp

4. 修改storm.yaml配置文件；

5. 啓動Storm各個後臺進程。

3.2.1 搭建Zookeeper集羣

Storm使用Zookeeper協調集羣，因爲Zookeeper並不用於消息傳遞，因此Storm給Zookeeper帶來的壓力至關低。大多數狀況下，單個節點的Zookeeper集羣足夠勝任，不過爲了確保故障恢復或者部署大規模Storm集羣，可能須要更大規模節點的Zookeeper集羣（對於Zookeeper集羣的話，官方推薦的最小節點數爲3個）。在Zookeeper集羣的每臺機器上完成如下安裝部署步驟：

1. 下載安裝Java JDK，官方下載連接爲http://java.sun.com/javase/downloads/index.jsp，JDK版本爲JDK 6或以上。

2. 根據Zookeeper集羣的負載狀況，合理設置Java堆大小，儘量避免發生swap，致使Zookeeper性能降低。保守起見，4GB內存的機器能夠爲Zookeeper分配3GB最大堆空間。

3. 下載後解壓安裝Zookeeper包，官方下載連接爲http://hadoop.apache.org/zookeeper/releases.html。

4. 根據Zookeeper集羣節點狀況，在conf目錄下建立Zookeeper配置文件zoo.cfg：

tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888

其中，dataDir指定Zookeeper的數據文件目錄；其中server.id=host:port:port，id是爲每一個Zookeeper節點的編號，保存在dataDir目錄下的myid文件中，zoo1~zoo3表示各個Zookeeper節點的hostname，第一個port是用於鏈接leader的端口，第二個port是用於leader選舉的端口。

5. 在dataDir目錄下建立myid文件，文件中只包含一行，且內容爲該節點對應的server.id中的id編號。

6. 啓動Zookeeper服務：

java -cp zookeeper.jar:lib/log4j-1.2.15.jar:conf \ org.apache.zookeeper.server.quorum.QuorumPeerMain zoo.cfg

或者

bin/zkServer.sh start

7. 經過Zookeeper客戶端測試服務是否可用：

java -cp zookeeper.jar:src/java/lib/log4j-1.2.15.jar:conf:src/java/lib/jline-0.9.94.jar \ org.apache.zookeeper.ZooKeeperMain -server 127.0.0.1:2181

或者

bin/zkCli.sh -server 127.0.0.1:2181

注意事項：

因爲Zookeeper是快速失敗（fail-fast)的，且遇到任何錯誤狀況，進程均會退出，所以，最好能經過監控程序將Zookeeper管理起來，保證Zookeeper退出後能被自動重啓。詳情參考這裏。
Zookeeper運行過程當中會在dataDir目錄下生成不少日誌和快照文件，而Zookeeper運行進程並不負責按期清理合並這些文件，致使佔用大量磁盤空間，所以，須要經過cron等方式按期清除沒用的日誌和快照文件。詳情參考這裏。具體命令格式以下：java -cp zookeeper.jar:log4j.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n <count>

3.2.2 安裝Storm依賴庫

接下來，須要在Nimbus和Supervisor機器上安裝Storm的依賴庫，具體以下：

1. ZeroMQ 2.1.7 – 請勿使用2.1.10版本，由於該版本的一些嚴重bug會致使Storm集羣運行時出現奇怪的問題。少數用戶在2.1.7版本會遇到」IllegalArgumentException」的異常，此時降爲2.1.4版本可修復這一問題。

2. JZMQ

3. Java 6

4. Python 2.6.6

5. unzip

以上依賴庫的版本是通過Storm測試的，Storm並不能保證在其餘版本的Java或Python庫下可運行。

3.2.2.1 安裝ZMQ 2.1.7

下載後編譯安裝ZMQ：

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
sudo make install

注意事項：

若是安裝過程報錯uuid找不到，則經過以下的包安裝uuid庫：
sudo yum install e2fsprogsl
sudo yum install e2fsprogs-devel

3.2.2.2 安裝JZMQ

下載後編譯安裝JZMQ：

git clone https://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure
make
sudo make install

爲了保證JZMQ正常工做，可能須要完成如下配置：

正確設置 JAVA_HOME環境變量
安裝Java開發包
升級autoconf
若是你是Mac OSX，參考這裏

注意事項：

若是運行 ./configure 命令出現問題，參考這裏。

3.2.2.3 安裝Java 6

1. 下載並安裝JDK 6，參考這裏；

2. 配置JAVA_HOME環境變量；

3. 運行java、javac命令，測試java正常安裝。

3.2.2.4 安裝Python2.6.6

1. 下載Python2.6.6：

wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2

2. 編譯安裝Python2.6.6：

tar –jxvf Python-2.6.6.tar.bz2
cd Python-2.6.6
./configure
make
make install

3. 測試Python2.6.6：

python -V
Python 2.6.6

3.2.2.5 安裝unzip

1. 若是使用RedHat系列Linux系統，執行如下命令安裝unzip：

yum install unzip

2. 若是使用Debian系列Linux系統，執行如下命令安裝unzip：

apt-get install unzip

3.2.3 下載並解壓Storm發佈版本

下一步，須要在Nimbus和Supervisor機器上安裝Storm發行版本。

1. 下載Storm發行版本，推薦使用Storm0.8.1：

wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip

2. 解壓到安裝目錄下：

unzip storm-0.8.1.zip

3.2.4 修改storm.yaml配置文件

Storm發行版本解壓目錄下有一個conf/storm.yaml文件，用於配置Storm。默認配置在這裏能夠查看。conf/storm.yaml中的配置選項將覆蓋defaults.yaml中的默認配置。如下配置選項是必須在conf/storm.yaml中進行配置的：

1) storm.zookeeper.servers: Storm集羣使用的Zookeeper集羣地址，其格式以下：

storm.zookeeper.servers:
- 「111.222.333.444″
- 「555.666.777.888″

若是Zookeeper集羣使用的不是默認端口，那麼還須要storm.zookeeper.port選項。

2) storm.local.dir: Nimbus和Supervisor進程用於存儲少許狀態，如jars、confs等的本地磁盤目錄，須要提早建立該目錄並給以足夠的訪問權限。而後在storm.yaml中配置該目錄，如：

storm.local.dir: "/home/admin/storm/workdir"

3) java.library.path: Storm使用的本地庫（ZMQ和JZMQ）加載路徑，默認爲」/usr/local/lib:/opt/local/lib:/usr/lib」，通常來講ZMQ和JZMQ默認安裝在/usr/local/lib 下，所以不須要配置便可。

4) nimbus.host: Storm集羣Nimbus機器地址，各個Supervisor工做節點須要知道哪一個機器是Nimbus，以便下載Topologies的jars、confs等文件，如：

nimbus.host: "111.222.333.444"

5) supervisor.slots.ports: 對於每一個Supervisor工做節點，須要配置該工做節點能夠運行的worker數量。每一個worker佔用一個單獨的端口用於接收消息，該配置選項即用於定義哪些端口是可被worker使用的。默認狀況下，每一個節點上可運行4個workers，分別在6700、670一、6702和6703端口，如：

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

3.2.5 啓動Storm各個後臺進程

最後一步，啓動Storm的全部後臺進程。和Zookeeper同樣，Storm也是快速失敗（fail-fast)的系統，這樣Storm才能在任意時刻被中止，而且當進程重啓後被正確地恢復執行。這也是爲何Storm不在進程內保存狀態的緣由，即便Nimbus或Supervisors被重啓，運行中的Topologies不會受到影響。

如下是啓動Storm各個後臺進程的方式：

Nimbus: 在Storm主控節點上運行」bin/storm nimbus >/dev/null 2>&1 &」啓動Nimbus後臺程序，並放到後臺執行；
Supervisor: 在Storm各個工做節點上運行」bin/storm supervisor >/dev/null 2>&1 &」啓動Supervisor後臺程序，並放到後臺執行；
UI: 在Storm主控節點上運行」bin/storm ui >/dev/null 2>&1 &」啓動UI後臺程序，並放到後臺執行，啓動後能夠經過http://{nimbus host}:8080觀察集羣的worker資源使用狀況、Topologies的運行狀態等信息。

注意事項：