storm-環境搭建和第一個topology

從原理到操做，仍是有點距離 ：）

基於 Linux ubuntu 3.13.0-24-generic 

-------------

預備工做

* java

* python(>=2.6)

* zeromq

* jzmq

* zookeeper

下載(不需安裝)

wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip 

unzip storm-0.8.1.zip 

cd storm-0.8.1/

配置--vim conf/storm.yaml

------------------------------------

# zookeeper的集羣服務器地址(可多個)

storm.zookeeper.servers:

- "127.0.0.1"

# nimbus 服務器

# 各個Supervisor工做節點須要知道哪一個機器是Nimbus，以便下載Topologies的jars、confs等文件

nimbus.host: "127.0.0.1"

# Nimbus和Supervisor進程用於存儲少許狀態，如jars、confs等的本地磁盤目錄，須要提早建立該目錄並給以足夠的訪問權限

storm.local.dir: "/home/admin/storm/workdir"

# 對於每一個Supervisor工做節點，須要配置該工做節點能夠運行的worker數量。

# 每一個worker佔用一個單獨的端口用於接收消息，該配置選項即用於定義哪些端口是可被worker使用的。

# 默認狀況下，每一個節點上可運行4個workers

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

------------------------------------

啓動

bin/storm nimbus >/dev/null 2>&1 &

bin/storm supervisor >/dev/null 2>&1 &

bin/storm ui >/dev/null 2>&1 &

查看管理臺(還比較粗糙)

http://127.0.0.1:8080

 編寫topology

- 下載storm相關庫

* 在 http://storm.incubator.apache.org/downloads.html 下載

http://ftp.cuhk.edu.hk/pub/packages/apache.org/incubator/storm/apache-storm-0.9.1-incubating/apache-storm-0.9.1-incubating.tar.gz

- 在eclipse創建工程

* 導入上述storm庫

* 如 http://tianhailong.com/%E6%9C%AC%E5%9C%B0%E6%A8%A1%E5%BC%8F%E8%BF%90%E8%A1%8Cstorm%E7%9A%84demo.html 創建工程所需文件

* 導出工程爲jar

* 建立輸入文件 words.txt

* 放到先前 ubuntu 中，執行

     java -jar storm_wordcount.jar words.txt