SparkStreaming內部結構以及經典案例與測試工具的使用--------updateSetBykey以及檢查點的運用

1.SparkStreaming的內部結構，Spark Streaming將連續的數據流抽象爲DStream。在內部，DStream 由一個RDD序列表示，然後將一個個RDD通過SparkEngine處理後輸出。 -------------------------------開發自己的實時詞頻統計程序---------------------- **特別需要注意的一個是虛擬機的核數最小是2，因爲一

>>阅读原文<<