Spark日誌清洗通常流程

spark 1.6.1 python 2.7.11html 前言 整理了一下使用spark來進行日誌清洗及數據處理的套路，這裏以pyspark爲例python pyspark的啓動任務套路 對於使用spark做爲查詢清洗工具而言，啓動spark的套路主要使用sh文件進行終端帶參數啓動，啓動後開始調用sh傳遞處理參數，而且構造好sparkconf後傳遞提交(spark-submit) python文

>>阅读原文<<