SparkStreaming使用messageHandler預處理Kafka數據

在SparkStreaming任務中，可以使用DirectKafkaInputDStream中的messageHandler功能對接受到的kafka數據做下預處理，接口聲明如下圖： 最近就收到一個需求，很簡單：如果kafka中的原數據類似於【a,b,1:2:3,d】，但想要將數據的[1:2:3]字段拆開分別跟其他字段組成一個字符串，如: 【a,b,1,d】 【a,b,2,d】 【a,b,3,d】

>>阅读原文<<