spark2.4 sql 快速列去重（冗餘列檢查）

        一直想作一個勤奮的人，筆耕方田，將本身在從事spark開發四年來積累的奇淫巧技分享出來。在給你們提供參考方案的同時也在總結和優化以前的設計。若是在有幸碰到大牛忍不住提出更好的優化方案能從中受益，也不枉碼了這麼多字。每當設計出一個很好的計算方案，就會忍不住打開博客想分享出來。而後會一直琢磨該以什麼樣的文字描述出來，想着想着就放棄了。老是想構思一個比較完美的結構段落，結果到最後什麼也沒

>>阅读原文<<