hadoop daemonlog實現

  在debug hadoop的問題的時候，常常須要臨時打開hadoop的debug日誌，能夠經過更改環境變量：

export HADOOP_ROOT_LOGGER=DEBUG,console

來開啓debug log,這幾天在看hadoop shell的時候發現有daemonlog這個參數，能夠臨時獲取或更改當前日誌基本，是經過org.apache.hadoop.log.LogLevel的main方法來實現的，好比操做datanode的日誌級別：

hadoop daemonlog  -getlevel 127.0.0.1:50070 datanode
hadoop daemonlog  -setlevel 127.0.0.1:50070 datanode DEBUG //level的設置必須是大寫的

來看下org.apache.hadoop.log.LogLevel的具體實現：

main方法在開始會解析輸入的參數，並生成一個url，調用process方法：

 public static void main(String[] args) {
    if (args. length == 3 && "-getlevel".equals(args[0])) {
      process("http://" + args[1] + "/logLevel?log=" + args[2]); 
      return;
    }
    else if (args.length == 4 && "-setlevel".equals(args[0])) {
      process("http://" + args[1] + "/logLevel?log=" + args[2]
              + "&level=" + args[3]); //由process實現
      return;
    }
    System.err.println( USAGES);
    System.exit(-1);
  }

調用process方法，創建到url的鏈接，並獲取讀取數據：

  private static void process(String urlstring) {
    try {
      URL url = new URL(urlstring);
      System.out.println("Connecting to " + url);
      URLConnection connection = url.openConnection();
      connection.connect();
      BufferedReader in = new BufferedReader(new InputStreamReader(
          connection.getInputStream()));
      for(String line; (line = in.readLine()) != null; )
        if (line.startsWith(MARKER)) { 
          System.out.println(TAG.matcher(line).replaceAll("")); 
        }
      in.close();
    } catch (IOException ioe) {
      System.err.println("" + ioe);
    }
  }

LogLevel其內部實現了一個擴展了HttpServlet 的Servlet,並重寫了一個doGet方法來處理GET請求，若是是/logLevel?log=xxxx的url是獲取日誌級別，/logLevel?log=xxx&level=xxxx是設置日誌級別：

Servlet類：

  public static class Servlet extends HttpServlet {
    private static final long serialVersionUID = 1L;
    public void doGet(HttpServletRequest request, HttpServletResponse response
        ) throws ServletException, IOException { //doGet方法用來處理請求
      // Do the authorization
      if (!HttpServer.hasAdministratorAccess(getServletContext (), request,
          response)) {
        return;
      }
      PrintWriter out = ServletUtil.initHTML(response, "Log Level"); //初始化響應的html頭內容
      String logName = ServletUtil.getParameter(request, "log"); //從請求中獲取log的設置
      String level = ServletUtil.getParameter(request, "level"); //從請求中獲取level的設置
      if (logName != null) {
        out.println( "<br /><hr /><h3>Results</h3>" );
        out.println( MARKER
            + "Submitted Log Name: <b>" + logName + "</b><br />");
        Log log = LogFactory.getLog(logName); //根據日誌名獲取Log對象  org.apache.commons.logging.LogFactory  org.apache.commons.logging.Log（Log是一個接口）
 
        out.println( MARKER
            + "Log Class: <b>" + log.getClass().getName() +"</b><br />" );
        if (level != null) {
          out.println( MARKER + "Submitted Level: <b>" + level + "</b><br />");
        }
        if (log instanceof Log4JLogger) { //對不一樣的log類調用對用的process方法
          process(((Log4JLogger)log).getLogger(), level, out);
        }
        else if (log instanceof Jdk14Logger ) {
          process(((Jdk14Logger)log).getLogger(), level, out);
        }
        else {
          out.println( "Sorry, " + log.getClass() + " not supported.<br />" );
        }
      }
      out.println( FORMS);
      out.println(ServletUtil.HTML_TAIL);
    }

再來看對應的process方法：

    private static void process(org.apache.log4j.Logger log, String level,
        PrintWriter out) throws IOException { //以經常使用的log4j爲例
      if (level != null) { //若是請求中含有level=xxx
        if (!level.equals(org.apache.log4j.Level.toLevel(level).toString())) {
          out.println( MARKER + "Bad level : <b>" + level + "</b><br />");
        } else { 
          log.setLevel( org.apache.log4j.Level.toLevel(level)); //而且level爲正確的值的話，直接調用對應Log實現類的setlevel設置log的級別
          out.println( MARKER + "Setting Level to " + level + " ...<br />");
        }
      }
      out.println( MARKER
          + "Effective level: <b>" + log.getEffectiveLevel() + "</b><br />" );
    }