實時流式計算框架Storm 0.9.0發佈通知(中文版)

Storm0.9.0發佈通知中文翻譯版(2013/12/10 by 富士通邵賢軍 有錯誤必定告訴我 shaoxianjun@hotmail.com^_^）

  咱們很高興宣佈Storm 0.9.0已經成功發佈，你能夠從the downloads page下載. 本次發佈對茁壯成長的Storm來講是一次巨大的進步。

  咱們追加了一些新特性，你會在下面看到詳細的介紹, 此外此次發佈的另外一個着重點是修復了大量跟穩定性相關的 bug. 雖然不少用戶已經在本身的環境中把0.9.x版本的Storm成功運行起來，但咱們不保證那些版本的穩定性。0.9.0是目前最穩定的版本，咱們強烈推薦各位使用，特別是0.8.x的用戶們。

特性1：Netty作消息傳輸層

  第一個重大的特色是新的傳輸層。咱們引入了使用純Java語言編寫的Netty做爲咱們的傳輸層，這個工做是由好基友Yahoo! Engineering完成的。關於Storm的核心消息傳輸層能以插拔形式更換這一點，我想你們都知道了，只惋惜原來只有ZeroMQ，而如今Storm提供了兩種消息傳輸層實現，分別是原來的ZeroMQ和新的Netty。

  在之前的版本里，Storm只能依賴ZeroMQ作消息的傳輸，但它其實並很差，我也不曉得Nathan爲何頭腦熱使用了ZeroMQ。爲何ZeroMQ很差呢？這是因爲：

1.ZeroMQ是一個本地化的消息庫，它過分依賴操做系統環境；

2.安裝起來比較麻煩；

3.ZeroMQ的穩定性在不一樣版本之間差別巨大，而且目前只有2.1.7版本的ZeroMQ能與Storm協調的工做。

  咱們引入Netty的緣由是：

1.平臺隔離，Netty是一個純Java實現的消息隊列，能夠幫助Storm實現更好的跨平臺特性，同時基於JVM的實現可讓咱們對消息有更好的控制；

2.高性能，Netty的性能要比ZeroMQ快兩倍左右，這裏有一篇文章this blog post 專門比較了ZeroMQ和Netty的性能（待翻譯）。

3. 安全性認證，使得咱們未來要作的 worker 進程之間的認證受權機制成爲可能。

  若是要在Storm裏使用Netty作傳輸層，只須要簡單的把下面的內容加入到storm.yaml中，並根據你的實際狀況調整參數便可：

storm.messaging.transport: "backtype.storm.messaging.netty.Context"

storm.messaging.netty.server_worker_threads: 1

storm.messaging.netty.client_worker_threads: 1

storm.messaging.netty.buffer_size: 5242880

storm.messaging.netty.max_retries: 100

storm.messaging.netty.max_wait_ms: 1000

storm.messaging.netty.min_wait_ms: 100

  若是你不喜歡ZeroMQ或者Netty，你也能夠經過實現backtype.storm.messaging.IContextinterface來用本身的消息傳輸層，可是要知足幾個條件，這裏就很少說了。

特性2：日誌查看UI

  新版本的Storm增長了一個很給力的特性用來調試和監視topology——logviewer進程。在早期的版本里，查看Worker節點的日誌決定於Worker節點的位置（host/port），典型的是經過Storm UI，而後用ssh鏈接那個主機查看該主機上worker的日誌文件。在最新的日誌查看機制裏，如今能夠很容易的去訪問一個指定worker節點的日誌，你只須要在瀏覽器中的StormUI裏點擊worker的port就能夠了。

新的logviewer進程與supervisor是相對獨立的進程，若是要在新的Storm裏啓動它，你只須要在集羣的supervisor節點執行以下命令：

    $ storm logviewer

特性3：跨平臺

  在之前的版本里，若是想在Windows平臺上運行Storm，你須要安裝ZeroMQ，修改Storm的源碼，追加一些Windows平臺特定的腳本。而在新的版本里，由於用netty替換了ZeroMQ，因爲netty用純java實現，所以使得Storm具備更好的跨平臺特性，如今要在Windows上運行Storm比之前容易不少。

特性4：安全

  安全，認證，受權這些一直是很是重要的領域，咱們在後續會持續追加相關的特性，Storm0.9.0提供了API用來實現可插拔的Tuple序列化，而且有一個基於BlowFish的加密算法來用於加密Tuple的實現。

特性5：API 兼容性和升級

  對大多數的Storm開發者來講，更新到0.9.0只是簡單的更新它的依賴包而已，Storm的核心API自從0.8.2以來變動不多。而在生產環境中的開發運維方面，若是要更新最新的Storm，最好在升級以前把已經存在的狀態信息給清空，好比ZooKeeper上的信息和storm.local.dir配置的信息。

特性6：日誌方式變動

  另外一個很是大的變化是對日誌的改變，Storm裏面大量使用slf4j 的API，而有些Storm的依賴庫或Storm的使用者則依賴於log4j的API。因此如今Storm改成依賴於log4j-over-slf4j，它能夠在log4j與slf4j之間架起一座橋樑。這些改變會涉及到已經使用log4jAPI的拓撲和拓撲組件。總之，若是能夠的話，仍是儘量的使用slf4j的API來作日誌記錄吧！

鳴謝

  最後特別感謝那些爲Storm的貢獻的小夥伴們，不論是貢獻代碼、文檔、提BUG或者在郵件列表裏爲其餘人提供幫助的人，大家都功不可沒，Nathan愛大家，Storm小組愛大家。

0.9.0變動日誌

• Update build configuration to force compatibility with Java 1.6
• Fixed a netty client issue where sleep times for reconnection could be negative (thanks brndnmtthws)
• Fixed an issue that would cause storm-netty unit tests to fail
• Added configuration to limit ShellBolt internal _pendingWrites queue length (thanks xiaokang)
• Fixed a a netty client issue where sleep times for reconnection could be negative (thanks brndnmtthws)
• Fixed a display issue with system stats in Storm UI (thanks d2r)
• Nimbus now does worker heartbeat timeout checks as soon as heartbeats are updated (thanks d2r)
• The logviewer now determines log file location by examining the logback configuration (thanks strongh)
• Allow tick tuples to work with the system bolt (thanks xumingming)
• Add default configuration values for the netty transport and the ability to configure the number of worker threads (thanks revans2)
• Added timeout to unit tests to prevent a situation where tests would hang indefinitely (thanks d2r)
• Fixed an issue in the system bolt where local mode would not be detected accurately (thanks miofthena)
• Fixed storm jar command to work properly when STORM_JAR_JVM_OPTS is not specified (thanks roadkill001)
• All logging now done with slf4j
• Replaced log4j logging system with logback
• Logs are now limited to 1GB per worker (configurable via logging configuration file)
• Build upgraded to leiningen 2.0
• Revamped Trident spout interfaces to support more dynamic spouts, such as a spout who reads from a changing set of brokers
• How tuples are serialized is now pluggable (thanks anfeng)
• Added blowfish encryption based tuple serialization (thanks anfeng)
• Have storm fall back to installed storm.yaml (thanks revans2)
• Improve error message when Storm detects bundled storm.yaml to show the URL's for offending resources (thanks revans2)
• Nimbus throws NotAliveException instead of FileNotFoundException from various query methods when topology is no longer alive (thanks revans2)
• Escape HTML and Javascript appropriately in Storm UI (thanks d2r)
• Storm's Zookeeper client now uses bounded exponential backoff strategy on failures
• Automatically drain and log error stream of multilang subprocesses
• Append component name to thread name of running executors so that logs are easier to read
• Messaging system used for passing messages between workers is now pluggable (thanks anfeng)
• Netty implementation of messaging (thanks anfeng)
• Include topology id, worker port, and worker id in properties for worker processes, useful for logging (thanks d2r)
• Tick tuples can now be scheduled using floating point seconds (thanks tscurtu)
• Added log viewer daemon and links from UI to logviewers (thanks xiaokang)
• DRPC server childopts now configurable (thanks strongh)
• Default number of ackers to number of workers, instead of just one (thanks lyogavin)
• Validate that Storm configs are of proper types/format/structure (thanks d2r)
• FixedBatchSpout will now replay batches appropriately on batch failure (thanks ptgoetz)
• Can set JAR_JVM_OPTS env variable to add jvm options when calling 'storm jar' (thanks srmelody)
• Throw error if batch id for transaction is behind the batch id in the opaque value (thanks mrflip)
• Sort topologies by name in UI (thanks jaked)
• Added LoggingMetricsConsumer to log all metrics to a file, by default not enabled (thanks mrflip)
• Add prepare(Map conf) method to TopologyValidator (thanks ankitoshniwal)
• Bug fix: Supervisor provides full path to workers to logging config rather than relative path (thanks revans2)
• Bug fix: Call ReducerAggregator#init properly when used within persistentAggregate (thanks lorcan)
• Bug fix: Set component-specific configs correctly for Trident spouts

原文地址：http://storm-project.net/2013/12/08/storm090-released.html