sparkconf修改配置不生效

sparkconf修改配置不生效 場景： 統一的數據處理平臺，在日常工作中，需要初始化sparkcontext，這個context爲考慮絕大多數用戶的需求，所有的配置必須要考慮通用性，如設置輸出格式統一爲gzip，以達到節省空間的效果等。 這種情況下會帶來問題，如果有用戶有特定的需求，比如某用戶不想把輸出文件進行gzip壓縮，這時需要針對此需求進行定製化功能開發。 第一次嘗試： 筆者首先嚐試，在初

>>阅读原文<<