spark-streaming消費kafka寫hbase代碼實戰調優

1、處理邏輯 通過新增map集合來提升處理性能 2、資源配置 --executor-cores 3 \ --num-executors 5 \ --executor-memory 2G \ --driver-memory 2G \   3、測試場景 這個topic有15個分區,並且數據量挺大,所以需要15個core處理,從earliest消費寫到測試表,4千萬的數據量 第三次測試 spark.st
相關文章
相關標籤/搜索