sparkstreaming 1.6自定義kafka分區

需先在sparkConf新增以下三個自定義配置項： //是否開啓自動重分區分區 sparkConf.set(「enable.auto.repartition」,「true」) //避免不必要的重分區操作，增加個閾值，只有該批次要消費的kafka的分區內數據大於該閾值才進行拆分 sparkConf.set(「per.partition.offsetrange.threshold」,「300」) //

>>阅读原文<<