SparkSteaming中直連與receiver兩種方式的區別

SparkSteaming中直連與receiver兩種方式的區別 SparkStreaming的Receiver方式和直連方式有什麼區別？ Receiver接收固定時間間隔的數據（放在內存中的），使用高級API，自動維護偏移量，達到固定的時間纔去進行處理，效率低並且容易丟失數據，靈活性特別差，不好，而且它處理數據的時候，如果某一刻的數據量過大，那麼就會造成磁盤溢寫的情況，他通過WALS進行磁盤寫入

>>阅读原文<<