DruidParser - 源代碼篇（1）

最近用阿里的Druid的SQL parser來解析SQL語句。在此記錄下研究：
調用它來解析出AST語意樹通常這麼寫（針對MySQL）：

MySqlStatementParser parser = new MySqlStatementParser(sql);
List<SQLStatement> statementList = parser.parseStatementList();
for(SQLStatement statement:statementList){
    MySqlSchemaStatVisitor visitor = new MySqlSchemaStatVisitor();
    statemen.accept(visitor);
}

對於每個SQL請求（可能包含多語句），須要先新建一個MySqlStatementParser。注意，MySqlStatementParser 不是線程安全的，因此一種作法是針對每一個session的請求，須要新建一個MySqlStatementParser。
那麼這個初始化過程到底是怎樣的呢？涉及到哪些類？

涉及到的類以下所示：

SQL解析能夠分爲三層：語句解析->表達式解析->詞法解析。對應的主要類分別是MySqlStatementParser，MySqlExprParser，MySqlLexer。能夠說，MySqlLexer是解析出每一個詞的詞義，表達式由詞組成，MySqlExprParser用來解析出不一樣表達式的含義。多個表達式和詞組成完整的語句，這個由MySqlStatementParser解析。
首先看MySqlStatementParser的結構：

• SQLParser.java
  
  • errorEndPos :解析出錯記錄位置
  • lexer：詞法解析
  • dbType：數據庫類型
• SQLStatement.java
  
  • exprParser：表達式解析類
  • SQLCreateTableParser：建表語句解析類，由於建表語句比較複雜，因此單拿出來。其餘DDL語句都在本類SQLStatement中解析
  • parseValuesSize：記錄解析結果集大小
  • keepComments：是否保留註釋
  • parseCompleteValues：是否所有解析完成
• MySqlStatementParser.java:
  
  • 靜態關鍵詞：好比auto increment，collate等，對於DDL語句或者DCL語句
  • exprParser：針對MySQL語句的parser

接着是MySqlStatementParser的MySqlExprParser的結構:

• SQLExprParser：
  
  • AGGREGATE_FUNCTIONS：一些統計函數的關鍵詞
  • aggregateFunctions：保存統計函數的關鍵詞
• MySqlSQLExprParser：
  
  • AGGREGATE_FUNCTIONS：針對MySql統計函數的關鍵詞

最後是MySqlLexer：

• Lexer：
  
  • text：保存目前的整個SQL語句
  • pos：當前處理位置
  • mark：當前處理詞的開始位置
  • ch：當前處理字符
  • buf：當前緩存的處理詞
  • bufPos：用於取出詞的標記，當前從text中取出的詞應該爲從mark位置開始，mark+bufPos結束的詞
  • token：當前位於的關鍵詞
  • stringVal：當前處理詞
  • comments：註釋
  • skipComment：是否跳過註釋
  • savePoint：保存點
  • varIndex：針對？表達式
  • lines：總行數
  • digits：數字ASCII碼
  • EOF:是否結尾
  • keepComments：是否保留註釋
  • endOfComment：是否註釋結尾
  • line：當前處理行數
  • commentHandler：註釋處理器
  • allowComment:是否容許註釋
  • KeyWords：全部關鍵詞集合

新建MySqlStatementParser

初始化MySqlStatementParser：
MySqlStateMentParser.java:

public MySqlStatementParser(String sql){
    super(new MySqlExprParser(sql));
}

會新建MySqlExprParser：
MySqlExprParser.java

public MySqlExprParser(String sql){
    this(new MySqlLexer(sql));
    //讀取第一個有效詞
    this.lexer.nextToken();
}

會新建MySqlLexer：
MySqlLexer.java

public MySqlLexer(String input){
    super(input);
    //初始化MySQL關鍵詞
    super.keywods = DEFAULT_MYSQL_KEYWORDS;
}

Lexer.java

public Lexer(String input){
 this(input, null);
}

/** * @param input 輸入SQL語句 * @param commentHandler 註釋處理器 */
public Lexer(String input, CommentHandler commentHandler){
    this(input, true);
    this.commentHandler = commentHandler;
}
/** * * @param input * @param skipComment 是否跳過註釋 */
public Lexer(String input, boolean skipComment){
    this.skipComment = skipComment;

    this.text = input;
    this.pos = -1;
    //讀取第一個字符
    scanChar();
}
protected final void scanChar() {
    ch = charAt(++pos);
}

初始化Lexer以後，回到MySqlExprParser的構造器，初始化KeyWords集合：

public final static Keywords DEFAULT_MYSQL_KEYWORDS;

    static {
    //MySQL關鍵詞
    Map<String, Token> map = new HashMap<String, Token>();

    map.putAll(Keywords.DEFAULT_KEYWORDS.getKeywords());

    map.put("DUAL", Token.DUAL);
    map.put("FALSE", Token.FALSE);
    map.put("IDENTIFIED", Token.IDENTIFIED);
    map.put("IF", Token.IF);
    map.put("KILL", Token.KILL);

    map.put("LIMIT", Token.LIMIT);
    map.put("TRUE", Token.TRUE);
    map.put("BINARY", Token.BINARY);
    map.put("SHOW", Token.SHOW);
    map.put("CACHE", Token.CACHE);
    map.put("ANALYZE", Token.ANALYZE);
    map.put("OPTIMIZE", Token.OPTIMIZE);
    map.put("ROW", Token.ROW);
    map.put("BEGIN", Token.BEGIN);
    map.put("END", Token.END);

    // for oceanbase & mysql 5.7
    map.put("PARTITION", Token.PARTITION);

    map.put("CONTINUE", Token.CONTINUE);
    map.put("UNDO", Token.UNDO);
    map.put("SQLSTATE", Token.SQLSTATE);
    map.put("CONDITION", Token.CONDITION);

    DEFAULT_MYSQL_KEYWORDS = new Keywords(map);
}

Keywords.java:

public final static Keywords     DEFAULT_KEYWORDS;

static {
    Map<String, Token> map = new HashMap<String, Token>();

    map.put("ALL", Token.ALL);
    map.put("ALTER", Token.ALTER);
    map.put("AND", Token.AND);
    map.put("ANY", Token.ANY);
    map.put("AS", Token.AS);

    map.put("ENABLE", Token.ENABLE);
    map.put("DISABLE", Token.DISABLE);

    map.put("ASC", Token.ASC);
    map.put("BETWEEN", Token.BETWEEN);
    map.put("BY", Token.BY);
    map.put("CASE", Token.CASE);
    map.put("CAST", Token.CAST);

    map.put("CHECK", Token.CHECK);
    map.put("CONSTRAINT", Token.CONSTRAINT);
    map.put("CREATE", Token.CREATE);
    map.put("DATABASE", Token.DATABASE);
    map.put("DEFAULT", Token.DEFAULT);
    map.put("COLUMN", Token.COLUMN);
    map.put("TABLESPACE", Token.TABLESPACE);
    map.put("PROCEDURE", Token.PROCEDURE);
    map.put("FUNCTION", Token.FUNCTION);

    map.put("DELETE", Token.DELETE);
    map.put("DESC", Token.DESC);
    map.put("DISTINCT", Token.DISTINCT);
    map.put("DROP", Token.DROP);
    map.put("ELSE", Token.ELSE);
    map.put("EXPLAIN", Token.EXPLAIN);
    map.put("EXCEPT", Token.EXCEPT);

    map.put("END", Token.END);
    map.put("ESCAPE", Token.ESCAPE);
    map.put("EXISTS", Token.EXISTS);
    map.put("FOR", Token.FOR);
    map.put("FOREIGN", Token.FOREIGN);

    map.put("FROM", Token.FROM);
    map.put("FULL", Token.FULL);
    map.put("GROUP", Token.GROUP);
    map.put("HAVING", Token.HAVING);
    map.put("IN", Token.IN);

    map.put("INDEX", Token.INDEX);
    map.put("INNER", Token.INNER);
    map.put("INSERT", Token.INSERT);
    map.put("INTERSECT", Token.INTERSECT);
    map.put("INTERVAL", Token.INTERVAL);

    map.put("INTO", Token.INTO);
    map.put("IS", Token.IS);
    map.put("JOIN", Token.JOIN);
    map.put("KEY", Token.KEY);
    map.put("LEFT", Token.LEFT);

    map.put("LIKE", Token.LIKE);
    map.put("LOCK", Token.LOCK);
    map.put("MINUS", Token.MINUS);
    map.put("NOT", Token.NOT);

    map.put("NULL", Token.NULL);
    map.put("ON", Token.ON);
    map.put("OR", Token.OR);
    map.put("ORDER", Token.ORDER);
    map.put("OUTER", Token.OUTER);

    map.put("PRIMARY", Token.PRIMARY);
    map.put("REFERENCES", Token.REFERENCES);
    map.put("RIGHT", Token.RIGHT);
    map.put("SCHEMA", Token.SCHEMA);
    map.put("SELECT", Token.SELECT);

    map.put("SET", Token.SET);
    map.put("SOME", Token.SOME);
    map.put("TABLE", Token.TABLE);
    map.put("THEN", Token.THEN);
    map.put("TRUNCATE", Token.TRUNCATE);

    map.put("UNION", Token.UNION);
    map.put("UNIQUE", Token.UNIQUE);
    map.put("UPDATE", Token.UPDATE);
    map.put("VALUES", Token.VALUES);
    map.put("VIEW", Token.VIEW);
    map.put("SEQUENCE", Token.SEQUENCE);
    map.put("TRIGGER", Token.TRIGGER);
    map.put("USER", Token.USER);

    map.put("WHEN", Token.WHEN);
    map.put("WHERE", Token.WHERE);
    map.put("XOR", Token.XOR);

    map.put("OVER", Token.OVER);
    map.put("TO", Token.TO);
    map.put("USE", Token.USE);

    map.put("REPLACE", Token.REPLACE);

    map.put("COMMENT", Token.COMMENT);
    map.put("COMPUTE", Token.COMPUTE);
    map.put("WITH", Token.WITH);
    map.put("GRANT", Token.GRANT);
    map.put("REVOKE", Token.REVOKE);

    // MySql procedure: add by zz
    map.put("WHILE", Token.WHILE);
    map.put("DO", Token.DO);
    map.put("DECLARE", Token.DECLARE);
    map.put("LOOP", Token.LOOP);
    map.put("LEAVE", Token.LEAVE);
    map.put("ITERATE", Token.ITERATE);
    map.put("REPEAT", Token.REPEAT);
    map.put("UNTIL", Token.UNTIL);
    map.put("OPEN", Token.OPEN);
    map.put("CLOSE", Token.CLOSE);
    map.put("CURSOR", Token.CURSOR);
    map.put("FETCH", Token.FETCH);
    map.put("OUT", Token.OUT);
    map.put("INOUT", Token.INOUT);

    DEFAULT_KEYWORDS = new Keywords(map);
}

以後，回到構造MySqlStatementParser：
調用父類方法初始化：
SQLStatementParser.java

public SQLStatementParser(SQLExprParser exprParser){
    super(exprParser.getLexer(), exprParser.getDbType());
    this.exprParser = exprParser;
}

SQLParser.java

public SQLParser(Lexer lexer, String dbType){
    this.lexer = lexer;
    this.dbType = dbType;
}

至此，初始化完成