Spark與Kafka整合原理

spark和kafka整合有2中方式 1、receiver 顧名思義:就是有一個線程負責獲取數據，這個線程叫receiver線程 解釋： 1、Spark集羣中的某個executor中有一個receiver線程，這個線程負責從kafka中獲取數據  注意：這裏的獲取數據並不是從kafka中拉(pull) 而是接收數據，具體原理是該receiver線程發送請求到kafka，這個請求包含對kafka中每

>>阅读原文<<