spark Streaming的Receiver和Direct的優化對比

 Direct 1、簡化並行讀取：如果要讀取多個partition，不需要創建多個輸入DStream然後對它們進行union操作。Spark會創建跟Kafka partition一樣多的RDD partition，並且會並行從Kafka中讀取數據。所以在Kafka partition和RDD partition之間，有一個一對一的映射關係。 2、高性能：如果要保證零數據丟失，在基於receiver

>>阅读原文<<