spark調優和JVM運行流程

算子繼續： MapPartitions:每次處理一個分區數據，經常使用，常常代替map進行使用，用於調優。調優的做用是減小task的個數。 Map每次只處理一條數據，頻繁與Mysql進行交互，很是浪費。 FlatMapFunctionIterator（一批數據） 至關於MySQL中一次插入多條數據,有幾個文件塊就有幾個分區（不大懂），若是分區不合理，有內存溢出的可能性，若是內存溢出，就須要重分區

>>阅读原文<<