Spark:控制日誌輸出級別

Spark:控制日誌輸出級別

終端修改

在pySpark終端可以使用下面命令來改變日誌級別
sc.setLogLevel("WARN") # 或者INFO等

修改日誌設置文件

** 經過調整日誌的級別來控制輸出的信息量.減小Spark Shell使用過程當中在終端顯示的日誌. **

• 切換當前路徑到Spark安裝路徑
• 拷貝一份日誌設置文件的模板文件
  cp log4j.properties.template log4j.properties.template
• 找到下面一行內容
  log4j.rootCategory=INFO, console
  改成以下
  log4j.rootCategory=WARN, console