spark sql 的應用實踐

背景介紹sql 目前spark主要應用在streaming、ETL和ML場景上，本文主要是分享咱們ETL場景從hive SQL到spark SQL的遷移實踐。在整個遷移過程當中咱們把線上多個版本的spark(1.5.2，1.6.3)統一推進升級到2.1.1，同時從Standalone運行模式遷移到了On YARN模式，以減小咱們的維護成本。在安全控制上咱們參考hive的權限系統開發了統一的權限驗證

>>阅读原文<<