spark2.0 新特性總結

新特性：java 1，用sparksession實現hivecontext和sqlcontext統一mysql 2，whole－stage code generation，大幅提升計算性能，由於把物理計劃變成硬編碼，每秒處理的sql中的數據量增長十倍，即對物理執行的屢次調用轉化爲代碼for循環，蕾絲hardcode方式，減小執行的函數調用次數，當數據記錄多時，這個調用次數時很大的。算法 3，合併d

>>阅读原文<<