spark連接kafka的兩種方式

Reciver方式 spark streaming通過Reciver方式獲取kafka的數據實質是：在spark程序的Executor中開Reciver來接收來自kafka的數據，然後spark streaming會啓動job去處理這些數據。 因爲這些數據是存在內存中的，所以這種方式會容易丟失數據，如果要啓用高可靠機制，讓數據零丟失，就必須啓用Spark Streaming的預寫日誌機制（Writ

>>阅读原文<<