Storm UI

本文主要解釋下storm ui上各項屬性的含義。

1. mainpage

    首頁主要分爲3塊:

    a. Cluster Summary

    Nimbus uptime: nimbus的啓動時間

    Supervisors: storm集羣中supervisor的數目

    used slots: 使用了的slots數

    free slots: 剩餘的slots數

    total slots: 總的slots數

    Running tasks: 運行的任務數

    b. topology summary

    Name: topology name

    id: topology id (由storm生成)

    status: topology的狀態，包括(ACTIVE, INACTIVE, KILLED, REBALANCING)

    uptime: topology運行的時間

    num workers: 運行的workers數

    num tasks: 運行的task數

    c. supervisor summary

    host: supervisor(主機)的主機名

    uptime: supervisor啓動的時間

    slots: supervisor的端口數

    used slots: 使用的端口數

 

 2. topologypage

   topology頁面主要包括4個部分

   a. topology summary(同主頁)

   b. topology stats

   window: 時間窗口，顯示10m、3h、1d和all time的運行情況

   emitted: emitted tuple數

   transferred: transferred tuple數, 說下與emitted的區別：若是一個task，emitted一個tuple到2個task中，則

                       transferred tuple數是emitted tuple數的兩倍

   complete latency: spout emitting 一個tuple到spout ack這個tuple的平均時間

   acked: ack tuple數

   failed: 失敗的tuple數

   c. spouts

   id: spout id

   parallelism: 任務數

   last error: 最近的錯誤數，只顯示最近的前200個錯誤

   emitted, transferred, complete latency, acked和failed上面已解釋

   d. bolts

   process latency:   bolt收到一個tuple到bolt ack這個tuple的平均時間

如下是從storm的config類中搜集的全部storm支持的配置項(Based storm 0.6.0):

配置項配置說明

storm.zookeeper.serversZooKeeper    服務器列表

storm.zookeeper.portZooKeeper鏈接端口

storm.local.dirstorm    使用的本地文件系統目錄(必須存在而且storm進程可讀寫)

storm.cluster.modeStorm    集羣運行模式([distributed|local])

storm.local.mode.zmqLocal模式下是否使用ZeroMQ做消息系統，若是設置爲false則使用java消息系統。默認爲false

storm.zookeeper.rootZooKeeper中Storm的根目錄位置

storm.zookeeper.session.timeout客戶端鏈接ZooKeeper超時時間

storm.id運行中拓撲的id,由storm name和一個惟一隨機數組成。

nimbus.hostnimbus服務器地址

nimbus.thrift.portnimbus的thrift監聽端口

nimbus.childopts經過storm-deploy項目部署時指定給nimbus進程的jvm選項

nimbus.task.timeout.secs心跳超時時間，超時後nimbus會認爲task死掉並重分配給另外一個地址。

nimbus.monitor.freq.secsnimbus檢查心跳和重分配任務的時間間隔.注意若是是機器宕掉nimbus會當即接管並處理。

nimbus.supervisor.timeout.secssupervisor的心跳超時時間,一旦超過nimbus會認爲該supervisor已死並中止爲它分發新任務.

nimbus.task.launch.secs     task啓動時的一個特殊超時設置.在啓動後第一次心跳前會使用該值來臨時替代        

                                                nimbus.task.timeout.secs.

nimbus.reassign當發現task失敗時nimbus是否從新分配執行。默認爲真，不建議修改。

nimbus.file.copy.expiration.secsnimbus判斷上傳/下載連接的超時時間，當空閒時間超過該設定時nimbus會認爲連接死掉並主動斷開

ui.portStorm UI的服務端口

drpc.serversDRPC服務器列表，以便DRPCSpout知道和誰通信

drpc.portStorm DRPC的服務端口

supervisor.slots.portssupervisor上可以運行workers的端口列表.每一個worker佔用一個端口,且每一個端口只運行一個

                                        worker.經過這項配置能夠調整每臺機器上運行的worker數.(調整slot數/每機)

supervisor.childopts在storm-deploy項目中使用,用來配置supervisor守護進程的jvm選項

supervisor.worker.timeout.secssupervisor中的worker心跳超時時間,一旦超時supervisor會嘗試重啓worker進程.

supervisor.worker.start.timeout.secssupervisor初始啓動時，worker的心跳超時時間，當超過該時間supervisor會嘗試重啓worker。由於JVM初始啓動和配置會帶來的額外消耗，從而使得第一次心跳會超過supervisor.worker.timeout.secs的設定

supervisor.enablesupervisor是否應當運行分配給他的workers.默認爲true,該選項用來進行Storm的單元測試,通常不該修改.

supervisor.heartbeat.frequency.secssupervisor心跳發送頻率(多久發送一次)

supervisor.monitor.frequency.secssupervisor    檢查worker心跳的頻率

worker.childoptssupervisor啓動worker時使用的jvm選項.全部的」%ID%」字串會被替換爲對應worker的標識符

worker.heartbeat.frequency.secsworker的心跳發送時間間隔

task.heartbeat.frequency.secstask    彙報狀態心跳時間間隔

task.refresh.poll.secstask與其餘tasks之間連接同步的頻率.(若是task被重分配,其餘tasks向它發送消息須要刷新鏈接).通常來說，重分配發生時其餘tasks會理解獲得通知。該配置僅僅爲了防止未通知的狀況。

topology.debug若是設置成true，Storm將記錄發射的每條信息。

topology.optimizemaster是否在合適時機經過在單個線程內運行多個task以達到優化topologies的目的.

topology.workers執行該topology集羣中應當啓動的進程數量.每一個進程內部將以線程方式執行必定數目的tasks.topology的組件結合該參數和並行度提示來優化性能

topology.ackerstopology中啓動的acker任務數.Acker保存由spout發送的tuples的記錄，並探測tuple什麼時候被徹底處理.當Acker探測到tuple被處理完畢時會向spout發送確認信息.一般應當根據topology的吞吐量來肯定acker的數目，但通常不須要太多.當設置爲0時,至關於禁用了消息可靠性,storm會在spout發送tuples後當即進行確認.

topology.message.timeout.secstopology中spout發送消息的最大處理超時時間.若是一條消息在該時間窗口內未被成功ack,Storm會告知spout這條消息失敗。而部分spout實現了失敗消息重播功能。

topology.kryo.register註冊到Kryo(Storm底層的序列化框架)的序列化方案列表.序列化方案能夠是一個類名,或者是com.esotericsoftware.kryo.Serializer的實現.

topology.skip.missing.kryo.registrationsStorm是否應該跳過它不能識別的kryo序列化方案.若是設置爲否task可能會裝載失敗或者在運行時拋出錯誤.

topology.max.task.parallelism         在一個topology中可以容許的最大組件並行度.該項配置主要用在本地模式中測試線程數限制.

topology.max.spout.pending         一個spout task中處於pending狀態的最大的tuples數量.該配置應用於單個task,而不是整個spouts或topology.

topology.state.synchronization.timeout.secs         組件同步狀態源的最大超時時間(保留選項,暫未使用)

topology.stats.sample.rate用來產生task統計信息的tuples抽樣百分比

topology.fall.back.on.java.serializationtopology中是否使用java的序列化方案

zmq.threads每一個worker進程內zeromq通信用到的線程數

zmq.linger.millis當鏈接關閉時,連接嘗試從新發送消息到目標主機的持續時長.這是一個不經常使用的高級選項,基本上能夠忽略.

java.library.pathJVM啓動(如Nimbus,Supervisor和workers)時的java.library.path設置.該選項告訴JVM在哪些路徑下定位本地庫.