安裝storm的一些很亂的筆記

下面是本身安裝和測試storm的一些筆記，比較亂，後續有時間在整理一篇。

storm jar all-my-code.jar com.storm.MyTopology arg1 arg2
這個命令會運行主類: com.strom.MyTopology, 參數是arg1, arg2。這個類的main函數定義這個topology而且把它提交給Nimbus。storm jar負責鏈接到Nimbus而且上傳jar包。

activate和deactivate是在spout被activate或deactivate時被調用，這兩個動做是由用戶從外部觸發的，Strom的命令行提供兩個命令activate和deactivate，容許用戶activate和deactivate一個Topology，當用戶執行deactivate時，對應Topology的spout會被deactivate，產生影響就是spout的nextTuple此後將不會被調用，直到用戶再調用activate。

Spout使用的collector是SpoutOutputCollector，Bolt使用的collector
Spout：拿數據，nextTuple（）
Bolt：處理數據，execute（）

 

本地安裝Sorm:
查找ifconfig命令在哪一個目錄：whereis ifconfig
把ifconfig命令目錄增長到環境變量：export PATH=$PATH:/sbin
ifconfig
切換root權限：su

chown -R admin tools
chmod -R 775 tools
vi /etc/yum.conf，增長代理:proxy=http://172.17.18.80:8080/
yum install unzip
su admin
tar -zxvf zookeeper-3.3.6.tar.gz
複製conf文件夾下的zoo_sample.cfg爲zoo.cfg
tickTime=2000
dataDir=/home/admin/liusen/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=localstorm:2888:3888
vi /etc/sysconfig/network
HOSTNAME=localstorm
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost ->127.0.0.1 localstorm localhost
hostname localstorm
cd到zookeeper的bin目錄：./zkServer.sh start
查看Zookeeper狀態：./zkServer.sh status
關閉Zookeeper：./zkServer.sh stop
查看哪一個結點被選做leader或者followe：echo stat|nc 127.0.0.1 2181
測試是否啓動了該Server，若回覆imok表示已經啓動：echo ruok|nc 127.0.0.1 2181
客戶端鏈接：./zkCli.sh –server 127.0.0.1:2181
查看Zookeeper配置：echo conf |nc 127.0.0.1 2181

tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
缺乏包uuid-dev：sudo yum install e2fsprogs-devel
從新編譯到制定位置：./configure --prefix=/home/admin/liusen/zeromq
make
make install

tar –jxvf Python-2.6.6.tar.bz2
./configure --prefix=/home/admin/liusen/python
make
make install

#cd /usr/bin
#ll |grep python //查看該目錄下python
#rm -rf python
#ln -s /home/admin/liusen/python/bin/python ./python //創建對應的軟連接
#python -V

unzip jzmq-master.zip
cd jzmq-master
./autogen.sh
./configure --prefix=/home/admin/liusen/jzmq
報錯：configure: error: cannot find zmq.h
export CPPFLAGS=-I/home/admin/liusen/zeromq/include/
export LDFLAGS=-L/home/admin/liusen/zeromq/lib/
./configure --prefix=/home/admin/liusen/jzmq --with-pgm
make
make install

unzip storm-0.8.1.zip
conf/storm.yaml
storm.zookeeper.servers:
- "localstorm"
storm.local.dir: "/home/admin/liusen/storm/workdir"
java.library.path:」/usr/local/lib:/opt/local/lib:/usr/lib:/home/admin/liusen/zeromq:/home/admin/liusen/jzmq」
nimbus.host: "localstorm"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

chown -R admin liusen
chmod -R 775 liusen
./storm nimbus >/dev/null 2>&1 &
./storm supervisor >/dev/null 2>&1 &
./storm ui >/dev/null 2>&1 &
(解析:dev啓動一個記錄日子文件,名爲null, 2是標準輸出,&1是錯誤輸出, &結束)

vi /usr/bin/yum
修改頭#!/usr/bin/python => #!/usr/bin/python2.4
yum remove system-config-network system-config-network-tui
yum install system-config-network system-config-network-tui

rpm -ivh system-config-network-tui-1.3.99.21-1.el5.noarch.rpm
rpm -ivh system-config-network-1.3.99.21-1.el5.noarch.rpm

yum search vim搜索vim
yum -y install vim* 安裝vim等
find / -name rhpl.translate

ls -l 查看包括軟連接地址
#rm -rf python
##ln -s /home/admin/liusen/python/bin/python ./python
#ln -s python2.4 ./python

neat 查看網絡設置界面
/etc/init.d/network restart 重啓網絡配置

chkconfig iptables off
service iptables stop
vim /etc/sysconfig/iptables
/etc/init.d/iptables status

1.windows xp的字體通常存放在c:\windows\fonts目錄下，copy你要的字體到linux下，也能夠直接下載，不過看着亂碼。。
2.把字體copy到/usr/share/fonts 目錄下，而後執行如下命令:
mkfontscale
mkfontdir //這兩條命令是生成字體的索引信息
fc-cache //更新字體緩存
cp /home/admin/liusen/tools/MSYHBD.TTF /usr/share/fonts
cp /home/admin/liusen/tools/MSYH.TTF /usr/share/fonts

關機：poweroff
shutdown –h now

storm jar /home/admin/liusen/tools/stormtest.jar com.DemoTopologyLocal
./storm jar /home/admin/liusen/tools/stormtest.jar com.DemoTopologyLocal

./storm jar /home/admin/liusen/testjar/ota-dip-et-1.0.0-SNAPSHOT.jar com.travelsky.topology.TopologyMain

storm kill storm-person
查看當前storm任務列表：storm list
jps

關閉nimbus相關進程:
kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep | awk '{print $2}'`
幹掉supervisor上的全部storm進程:
kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print $2}'`

來自http://lawson.cnblogs.com