KAFKA配置要點

Kafka注意事項 如果 會發生比較嚴重的數據傾斜，而且在壓力較大的情況會導致數據丟失。所以跟kafka server 的YDB的總分片數爲spark.executor.max.usedcores）； 注：2個，表示每個進程會啓動l數據丟失根本問題在於磁盤與網絡是否繁忙！！！！！！ 如果磁盤長時間使用率kafka retry機制無效 l如果我們先前採用的callback，一旦消息發送失敗，我們沒有

>>阅读原文<<