Storm實戰常見問題及解決方案

安裝好JDK後，須要配置環境變量，一般狀況下出於經驗，咱們每每會修改/etc/profile的值進行環境變量配置，但這在安裝JDK以及後面安裝的storm集羣、zookeeper集羣以及metaq集羣時會出問題，這時候咱們須要在/etc/.bashrc文件中加入環境變量，否則安裝的Java和ZK集羣等就沒法使用，尤爲這個問題在我用shell寫調度腳本去啓動storm集羣的時候就遇到過，若是沒有將java的環境變量配置在/etc/.bashrc文件中，就會報一個錯，這個問題在後面我會提到。

1.2關於zookeeper集羣安裝問題

記得剛剛接觸storm，在安裝zookeeper集羣的時候有這樣的考慮：爲何不能夠把zookeeper只安裝在nimbus上，而後讓其餘的supervisor來它這裏讀取任務？若是在每臺機器上都安裝zookeeper，那nimbus分配任務的時候，是每臺機器上的zookeeper都收到同一份的任務，仍是隻是將分配給每一個supervisor節點的那部分寫到同一節點上的zookeeper中？

有朋友解答說：ZK也是以集羣的方式工做的，ZK集羣內部有他本身的一套相互通訊機制，而storm正是要藉助其通信機制，例如任務下發等，每每在執行一個任務的時候，storm會把任務及相關執行的代碼通過序列化以後發送到各個ZK節點供supervisor去下載，而後纔會各自執行本身部分的代碼或者任務。說的直接一點就是每一個ZK節點收到的任務是同樣的，而supervisor只須要下載屬於本身的任務便可。

1.3關於Storm中tuple 的可靠處理問題

Storm 爲了保證tuple 的可靠處理，須要保存tuple 信息，這樣會不會致使內存泄漏？

關於這個問題，其實網上是有資料進行了詳細的解釋的。這裏只是大概將一下，若是還不明白，能夠上網搜搜「storm可靠處理」。Storm爲了保證tuple 的可靠處理，acker 會保存該節點建立的tuple id的xor （異或）值，這個值稱爲ackvalue，那麼每ack 一次，就將tuple id 和ack value作異或(xor)。當全部產生的tuple 都被ack的時候，ack value 一定爲0。這是個很簡單的策略，對於每個tuple 也只要佔用約20個字節的內存。對於100萬tuple，也才20M 左右，因此通常狀況下是不用考慮內存泄漏問題的。

1.4關於storm計算結果的存放問題

不少人在剛剛學習Storm 的時候都會有這個問題：storm處理後的結果保存在哪裏？內存中？仍是其餘地方？

官方解釋說： Storm是不負責保存計算結果的，這是應用程序裏須要負責的事情，若是數據不大，你能夠簡單地保存在內存裏，也能夠每次都更新數據庫，也能夠採用NoSQL存儲。storm並無像s4 那樣提供一個PersistAPI，根據時間或者容量來作存儲輸出。這部分事情徹底交給用戶。數據存儲以後的展示，也是你須要本身處理的，storm UI只提供對topology 的監控和統計。

1.5關於Storm如何處理重複的tuple問題

有人問到Storm 是怎麼處理重複的tuple？

由於Storm 要保證tuple 的可靠處理，當tuple 處理失敗或者超時的時候，spout 會fail並從新發送該tuple，那麼就會有tuple 重複計算的問題。這個問題是很難解決的，storm也沒有提供機制幫助你解決。不過也有一些可行的策略：

（1）不處理，這也算是種策略。由於實時計算一般並不要求很高的精確度，後

續的批處理計算會更正實時計算的偏差。

（2）使用第三方集中存儲來過濾，好比利用MySQL、MemCached 或者Redis 根據邏輯主鍵來去重。

（3）使用bloom filter 作過濾，簡單高效。

1.6關於task與executor的關係問題

在storm的學習過程當中，有許多人問到task與executor的關係問題。

在咱們安裝配置storm的時候，不知你們是否主要到了一個問題，就是咱們在配置的時候會加幾個worker的端口(supervisor.slots.ports:)，好比衆多文檔中提到的6700/6701等等相似的東西。沒錯，這就是咱們定義了該supervisor最多的worker數，worker中執行一個bolt或者spout線程，咱們就稱之爲task，而executor是物理上的線程概念，咱們能夠將其稱爲執行線程；而task更可能是邏輯概念上的，有時候bolt與spout的task會共用一個executor，特別是在系統負荷比較高的時候。

1.7關於Storm UI顯示內容的問題

Storm UI 裏spout 統計的complete latency 的具體含義是什麼？爲何emit 的數目會是acked的兩倍？

簡單地說，complete latency 表示了tuple 從emit 到被acked 通過的時間，能夠認爲是tuple以及該tuple 的後續子孫（造成一棵樹）整個處理時間。其次spout 的emit 和transfered 還統計了spout和acker 之間內部的通訊信息，好比對於可靠處理的spout 來講，會在emit 的時候同時發送一個_ack_init給acker，記錄tuple id 到task id 的映射，以便ack 的時候能找到正確的acker task。

1.8關於Storm的ack和fail問題

在學習storm的過程當中，有很多人對storm的Spout組件中的ack及fail相關的問題存在困惑，這裏作一個簡要的概述。

Storm保證每個數據都獲得有效處理，這是如何保證的呢？正是ack及fail機制確保數據都獲得處理的保證，可是storm只是提供給咱們一個接口，而具體的方法得由咱們本身來實現。例如在spout下一個拓撲節點的bolt上，咱們定義某種狀況下爲數據處理失敗，則調用fail，則咱們能夠在fail方法中進行數據重發，這樣就保證了數據都獲得了處理。其實，經過讀storm的源碼，裏面有講到，有些類（BaseBasicBolt？）是會自動調用ack和fail的，不須要咱們程序員去ack和fail，可是其餘Bolt就沒有這種功能了。

1.9關於IRichBolt與IBasicBolt接口的區別

首先從類的組成上進行分析能夠看到，IBasicBolt接口只有execute方法和declareOutputFields方法，而IRichBolt接口上除了以上幾個方法還有prepare方法和cleanup及map方法。並且其中execute方法是有些不同的，其參數列表不一樣。

整體來講Rich方法比較完善，咱們可使用prepare方法進行該Bolt類的初始化工做，例如咱們連接數據庫時，須要進行一次數據庫鏈接操做，咱們就能夠把該操做放入prepare中，只須要執行一次就能夠了。而cleanup方法能在該類調用結束時進行收尾工做，每每在處理數據的時候用到，例如在寫hdfs（Hadoop的文件系統）數據的時候，在結束時須要進行數據clear，則須要進行數據收尾。固然，根據官網及實際的測驗，該方法每每是執行失敗的。

2關於Topology發佈

2.1發佈topologies 到遠程集羣時，出現Nimbus host is not set 異常

緣由是Nimbus 沒有被正確啓動起來，多是storm.yaml 文件沒有配置，或者配置有問題。

解決方法：打開storm.yaml 文件正確配置：nimbus.host: "xxx.xxx.xxx.xxx"，重啓nimbus後臺程序便可。

2.2發佈topology到遠程集羣時，出現AlreadyAliveException(msg: xxx is alreadyactive)異常

緣由是提供的topology 與已經在運行的topology 重名。

解決方法：發佈時換一個拓撲名稱便可。

2.3啓動Supervisor 時，出現java.lang.UnsatisfiedLinkError

具體信息：啓動Supervisor 時，出現java.lang.UnsatisfiedLinkError:

/usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open sharedobject

file: No such file or directory 異常。

緣由是未找到zmq 動態連接庫。

解決方法1：配置環境變量 export LD_LIBRARY_PATH=/usr/local/lib

解決方法2：編輯/etc/ld.so.conf 文件，增長一行：/usr/local/lib。再執行

sudo ldconfig 命令，重啓Supervisor。

2.4發佈topologies 時，出現不能序列化log4j.Logger 的異常

緣由是日誌系統沒法正確支付序列化。

解決方法：使用slf4j 代替log4j。

2.5bolt 在處理消息時，worker 的日誌中出現Failing message

緣由：多是由於Topology 的消息處理超時所致。

解決方法：提交Topology 時設置適當的消息超時時間，比默認消息超時時間（30

秒）更長。好比：

conf.setMessageTimeoutSecs(60);

2.6在打包toplogy工程的時候, 若是採用assembly方式,對於相關的依賴的配置通常要這樣:

Xml代碼

1. <dependencySets>

2. <dependencySet>

3. <outputDirectory>/</outputDirectory>

4. <unpack>true</unpack>

5. <excludes>

6. <exclude>storm:storm</exclude>

7. </excludes>

8. </dependencySet>

9. </dependencySets>

wiki上說能夠用<scope>compile</scope>。而後將storm依賴設置爲runtime,貌似不行。另外就是全部的依賴包將所有解壓,而後將全部依賴的配置和class文件生成一個文件。這個是經過<unpack>true</unpack>參數來控制的。

2.7在提交topology的時候有時可能出現以下異常:

Exception in thread "main"java.lang.IllegalArgumentException: Nimbus host is notset
       atbacktype.storm.utils.NimbusClient.<init>(NimbusClient.java:30)
       atbacktype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17)
       atbacktype.storm.StormSubmitter.submitJar(StormSubmitter.java:78)
       atbacktype.storm.StormSubmitter.submitJar(StormSubmitter.java:71)
       atbacktype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)
       atcom.taobao.kaleidoscope.storm.IcdbTopology.main(IcdbTopology.java:59)

可是啓動nimbus是沒有問題的, 這個主要由於conf_dir路徑設置不正確,在bin/storm腳本中須要加上這樣一句:

Python代碼

1. CONF_DIR = STORM_DIR + "/conf"

3關於DRPC

3.1發佈drpc 類型的topologies 到遠程集羣時，出現空指針異常，鏈接drpc服務器失敗

緣由是未正確配置drpc 服務器地址。

解決方法：在conf/storm.yaml 文件中增長drpc 服務器配置，啓動配置文件中

指定的全部drpc 服務。內容以下：

drpc.servers:

- "drpc 服務器ip"

3.2客戶端調用drpc 服務時，worker 的日誌中出現Failing message，而bolt都未收到數據

錯誤日誌以下所示：

2011-12-02 09:59:16 task [INFO] Failing message

backtype.storm.drpc.DRPCSpout$DRPCMessageId@3770bdf7: source:1:27,

stream: 1, id: {-5919451531315711689=-5919451531315711689},

[foo.com/blog/1, {"port":3772,"id":"5","host":"10.0.0.24"}]

緣由是主機名，域名，hosts 文件配置不正確會引發這類錯誤。

解決方法：檢查並修改storm 相關機器的主機名，域名，hosts 文件。重啓網絡服務：service networkrestart。重啓storm，再次調用drpc 服務，成功。Hosts 文件中必須包含以下

內容：

[nimbus 主機ip] [nimbus 主機名] [nimbus 主機別名]

[supervisor 主機ip] [supervisor 主機名] [supervisor 主機別名]

[zookeeper 主機ip] [zookeeper 主機名] [zookeeper 主機別名]

4關於jzmq安裝

4.1storm 啓動時報no jzmq in java.library.path 錯誤

緣由是找不到jzmq，默認狀況下在執行install_zmq.sh 時，那些.so 文件

安裝路徑在/usr/local/lib，可是實際安裝時可能裝在其餘的路徑下了。

解決方法：在storm.yaml 中添加：

java.library.path:

"/opt/storm/jzmq/lib:/opt/storm/zeromq/lib:/usr/local/lib:/opt/local/

lib:/usr/lib"

4.2安裝jzmq 時遇到No rule to make target ‘classdist_noinst.stamp’的make錯誤

具體的make 錯誤信息：

make[1]: *** No rule to make target`classdist_noinst.stamp',needed by `org/zeromq/ZMQ.class'.Stop.

解決方法：手動建立classdist_noinst.stamp 空文件。

touch src/classdist_noinst.stamp

4.3安裝jzmq 時遇到cannot access org.zeromq.ZMQ 的make 錯誤

具體的make 錯誤信息：

error: cannot access org.zeromq.ZMQ class file fororg.zeromq.ZMQ not found

javadoc: error - Class org.zeromq.ZMQ not found.

解決方法：手動編譯，而後從新make 便可經過。

cd src

javac -d . org/zeromq/*.java

cd ..

4.4 在部署storm節點的時候須要安裝jzmq和zeromq, 在安裝這兩個依賴包以後,須要執行sudo -u root ldconfig. 不然會出現異常:

2012-02-24 16:30:30 worker [ERROR] Error oninitialization of server mk-worker
java.lang.UnsatisfiedLinkError: /usr/local/lib/libjzmq.so.0.0.0:libzmq.so.1: cannot open shared object file: No such fileor
directory
       at java.lang.ClassLoader$NativeLibrary.load(NativeMethod)
       atjava.lang.ClassLoader.loadLibrary0(ClassLoader.java:1803)
       atjava.lang.ClassLoader.loadLibrary(ClassLoader.java:1728)
       atjava.lang.Runtime.loadLibrary0(Runtime.java:823)
       atjava.lang.System.loadLibrary(System.java:1028)
       atorg.zeromq.ZMQ.<clinit>(ZMQ.java:34)

5關於Storm的配置問題

1. yaml跟咱們通常用的屬性配置文件有所不一樣, 它的要求更嚴格一些,所以在往conf/storm.yaml中添加配置的時候必須注意，好比必須注意開始位置和冒號後面的空格, 不然配置不會生效。

2. 如何檢查配置是否生效？

可使用命令: storm localconfvalue 配置關鍵字

可是這個命令只能在nimbus上生效, 在supervisor看到的仍是默認值.不知道爲何。

6關閉storm相關進程

6.1關閉nimbus相關進程:

kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' |fgrep -v egrep | awk '{print $2}'`

備註：這是在網上看到的，沒有通過實際測試，有興趣的朋友能夠本身測試一下。

6.2幹掉supervisor上的全部storm進程:

kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print$2}'`

備註：這是在網上看到的，沒有通過實際測試，有興趣的朋友能夠本身測試一下。

7關於Topology發佈以後的log

1) 用storm jar...將項目提交給storm集羣后，想查看本項目的log信息，要到supervisor機器的：storm安裝路徑/logs/worker-number.log（其中的number視實際狀況而定）中查看。

2) 若是是用daemontools啓動的storm，daemontools監控的目錄是/service/storm，那麼到/service/storm/logs中查看worker-number.log日誌。

3) 若要更改log的級別，是debug仍是info等，在storm安裝路徑/log4j下有個配置文件，按須要修改便可。

4) Storm的debug模式下，它自己的log很是龐大，因此我以爲本身的代碼中有些重要的信息，用info比較好，這樣將storm的log級別調整爲info比較方便查看。

8關於maven打包問題

8.1首先maven的pom文件中的storm依賴，要麼加excludestorm的相關語句（github有說明），要麼加<scope>，以下：

<groupId>storm</groupId>

<artifactId>storm</artifactId>

</dependency>

加scope可使打jar包時，不包含storm。若是包含了storm，那麼提交到storm集羣，會運行出錯。官方要求打jar包時，要去除storm的依賴。

8.2使用maven插件，在打jar包時，包含依賴。

在pom中加入：

<artifactId>maven-assembly-plugin</artifactId>

<descriptorRef>jar-with-dependencies</descriptorRef>

</descriptorRefs>

<mainClass>com.path.to.main.Class</mainClass>

</manifest>

</archive>

</configuration>

</plugin>

打jar包時使用命令：mvn assembly:assembly

8.3依賴的jar衝突問題

若是本地依賴的jar與storm的lib下的jar有衝突，即都用了一個jar，可是版本不一樣，那麼貌似目前只能改成跟storm保持統一。官方的討論組是這樣說的。

9關於nimbus的啓動問題

9.1 Stormnimbus啓動失敗

在使用了storm一段時間後，須要從新部署storm的集羣，主要是想將storm部署在其它機器上。作了如下錯誤操做：

1) 沒有kill 正在運行的topology，kill nimbus和supervisor的storm進程

2) 刪除了配置中"storm.local.dir"的文件夾內的內容

3) 啓動storm nimbus

報錯：
backtype.storm.daemon.nimbus
$fn__2692$exec_fn__945__auto____2693$this__2731@62135133
java.io.FileNotFoundException: File'/opt/apps-install/storm/
storm_local/nimbus/stormdist/appFailed-6-1325065153/stormconf.ser'
does not exist
       at
org.apache.commons.io.FileUtils.openInputStream(FileUtils.java:137)
       at
org.apache.commons.io.FileUtils.readFileToByteArray(FileUtils.java:
1135)
       atbacktype.storm.daemon.nimbus
$read_storm_conf.invoke(nimbus.clj:128)
       atbacktype.storm.daemon.nimbus
$compute_new_task__GT_node_PLUS_port.invoke(nimbus.clj:244)
       atbacktype.storm.daemon.nimbus
$mk_assignments.invoke(nimbus.clj:288)
       atbacktype.storm.daemon.nimbus
$fn__2692$exec_fn__945__auto____2693$this__2731.invoke(nimbus.clj:460)
       atbacktype.storm.event$event_manager
$fn__2068$fn__2069.invoke(event.clj:25)
       atbacktype.storm.event$event_manager
$fn__2068.invoke(event.clj:22)
       atclojure.lang.AFn.run(AFn.java:24)
       atjava.lang.Thread.run(Thread.java:662)
2011-12-29 16:15:02 util [INFO] Halting process: ("Errorwhen
processing an event")
報錯緣由：由於沒有先killtopology，因此在啓動nimbus時，zookeeper中依然保留了上次運行着的topology的信息。

解決辦法：用zookeeper的zkCli.sh清理一下，我直接重裝了zookeeper。可是聽說在storm0.6.1中解決了該bug。而我用的是storm 0.6.0。

10Storm使用JVM參數

在配置文件storm.yaml中，有：

# to nimbus
nimbus.childopts: "-Xmx1024m"

# to supervisor
supervisor.childopts: "-Xmx1024m"

# to worker
worker.childopts: "-Xmx768m"
若是worker在運行時，須要用指定的JVM參數，那麼能夠像這樣配置：
worker.childopts: "-Dworker=worker -Xmx768m -Xdebug –Xnoagent-Djava.compiler=NONE-Xrunjdwp:transport=dt_socket,address=8111,suspend=y,server=y"

11關於spout/bolt的生命週期

通常來講spout/bolt的生命週期以下:

1 在提交了一個topology以後(在nimbus所在的機器),建立spout/bolt實例(spout/bolt在storm中統稱爲component)並進行序列化；

2 將序列化的component發送給全部的任務所在的機器；

3 在每個任務上反序列化component；

4 在開始執行任務以前, 先執行component的初始化方法(bolt是prepare, spout是open)；

所以component的初始化操做應該在prepare/open方法中進行,而不是在實例化component的時候進行。

12關於storm與spring框架集成問題

首先聲明一下，這個問題是當時有考慮到是否能夠將storm與spring集成時，在網上看到的一點介紹，只是爲了往後作參考。

在進行storm與spring集成時，原本想着一次就能成功，抱着很大的但願但是運行時居然報了個java.io.NotSerializableException的異常。該異常要求被依賴注入的jar包實現序列化接口，但那些jar包都是別人開發的你不能一個一個都改掉源碼才能用到項目裏。

再網上找一下還真有人遇到相似的問題，具體緣由是對storm的spout和bolt的生命週期理解的不夠深入。

通常來講spout/bolt的生命週期以下:

1.在提交了一個topology以後(在nimbus所在的機器),建立spout/bolt實例(spout/bolt在storm中統稱爲component)並進行序列化.

2.將序列化的component發送給全部的任務所在的機器

3.在每個任務上反序列化component.

4.在開始執行任務以前, 先執行component的初始化方法(bolt是prepare, spout是open).

所以component的初始化操做應該在prepare/open方法中進行,而不是在實例化component的時候進行.

按照這種說法進行改造，結構該問題消失了。但接下來又有了新的問題：

Caused by: org.xml.sax.SAXParseException: Content is not allowedin prolog.

這個異常網上搜索以後發現原來是因爲*.xml文件編碼的問題。緣由是在從其餘項目裏或者編輯工具編輯時，在文件編碼中加入了BOM頭的緣由，因而用notePad++打開xml文件選擇去掉BOM頭信息，從新進行保存便可。

13關於java.lang.NoClassDefFoundError: clojure.core.protocols$

緣由：JDK版本不匹配，安裝虛擬機時系統自帶一個jdk.1.5.0。

解決辦法：檢查jdk版本，卸載系統自帶的JDK，使用本身安裝的JDK版本。

＃　rpm –qa | grep java

# rpm –e –nodeps java-*

配置環境變量，vi /etc/profile

從新執行一遍試試，貌似問題解決了。

14關於storm鏈接Mysql

鏈接遠程mysql是報以下錯誤：

message from server:"Host FILTER" is not allowed to connect tothis MySQL server

解決方案：

極可能是你沒有給其餘IP訪問你數據庫的權限，你能夠試試：

在MySql數據庫的主機上，在mysql命令行中輸入如下命令：

grant all on *.* to root@'%' identified by "111111" ;

這樣，給任何IP都賦予了訪問的權限，

任何IP都能以，用戶名：root ，密碼：111111

來進行局域網的訪問！

(命令中*.*是通配任何IP，你也能夠指定IP)

15關於metaq啓動的出現服務拒絕鏈接的問題

解決辦法：在metaq安裝目錄下，刪掉以前的日誌文件，測試網絡是否正常鏈接。將以前的服務的metaq進程kill掉，而後重啓。

16 關於topology的spout與bolt

以前有問到，一個topology中可不能夠有多個spout？這個問題貌似很幼稚啊，呵呵。關於這個問題，我是這樣考慮的：實際應用中，若是咱們每一條應用都建立一個topology的話，未免也太誇張了。若是是同一個應用，同一個數據來源，可是你想分幾種方式對這個數據作處理的話，這時候就應該是建多個spout了，讓這些spout並行去讀數據，而後交給訂閱這個spout的bolt去處理就行，不必一種處理方式建一個topology。

17關於shell腳本編碼格式問題

這是我在寫啓動storm集羣的shell腳本時遇到的一個實際問題。shell腳本運行時報錯誤：/bin/bash^M: badinterpreter

出現緣由：windows上寫的腳本，直接拷貝到linux系統上運行因爲格式不兼容致使。

17.1解決方案（一）：

1. 好比文件名爲myshell.sh，vim myshell.sh

2. 執行vim中的命令 : set ff?查看文件格式，若是顯示fileformat=dos，證實文件格式有問題。

3. 執行vim中的命令 :set fileformat=unix將文件格式改過來就能夠了，而後:wq保存退出就能夠了。

17.2解決方案（二）

或者使用最笨的方法：將windows下編輯好的腳本經過txt文本格式轉換，而後在拷貝到linux下。

若是是使用Notepad編輯器進行編輯的話，能夠在菜單欄上選擇「編輯」—「檔案格式轉換」—「轉換爲 UNIX 格式」。

最後說明一下，這些問題只是storm應用過程當中遇到的一小部分問題，其實還有不少問題是涉及到實際項目的考慮的，好比集羣硬件要求，參數配置，日誌處理等等，具體問題具體分析吧，也但願哪些在實際項目中用到storm的大神們，能多多和你們分享大家的實際經驗，畢竟實踐出真知，任何新技術，只有通過實際應用和實際檢驗，分享出來的東西纔有說服力。

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。