Spark踩坑記——Spark Streaming+Kafka

目錄html 前言 Spark streaming接收Kafka數據 基於Receiver的方式 直接讀取方式 Spark向kafka中寫入數據 Spark streaming+Kafka應用 Spark streaming+Kafka調優 合理的批處理時間(batchDuration) 合理的Kafka拉取量(maxRatePerPartition重要) 緩存反覆使用的Dstream(RDD)
相關文章
相關標籤/搜索