詞法分析器

1. 詞法分析器

函數

• skip_one_line: 跳過一行, 會在skip_comment中註釋爲//的時候調用
• skip_comment: // 和 /**/
• skip_blanks: 跳過空白行, 會在skip_comment處理完註釋以後調用, 同時在get_next_token這個核心的詞法分析器的接口函數中調用防止獲取到的token含有空白字符
• to_next_char: 將parser中的next_char_ptr指向的字符賦給cur_char, 並++next_char_ptr
• to_next_char_if: 和to_next_char相似, 返回類型爲bool類型, 當nextchar是咱們指望的值的時候調用to_next_char並返回true, 不然直接返回false
• peek_next_char: *parser->next_char_ptr
• peek_cur_char: parser->cur_char
• get_next_token: 給語法分析器調用的函數, 在get_next_token函數中主要由一個僞while循環(之因此是僞while循環, 是由於在while的結尾有return語句), 裏面還有continue語句, 主要在遇到了註釋, 調用了skip_comment以後continue繼續獲取Token, 由於註釋並非咱們的token, 它是無用的; 在while中有switch case語句, 主要是經過字符判斷token的類型, 這是parser->cur_token.type的值
• parser_id: 解析id, 在該函數中, 會調用is_id_or_keyword, 來判斷TokenType究竟是id仍是keyword
• is_id_or_keyword: 會在parser_id中調用
• parse_string: 解析字符串, 注意轉義字符的處理, 有switch case
• parse_num: 解析hex, dec, oct類型的token, 在該函數中調用根據前綴(0x, 0)判斷, 調用對應的parse_hex, parse_dec, parse_oct, 在這寫函數用主要用到C標準庫中的strtol和strtod將字符串轉爲對應禁止的數字, 經過isxdigit和isdigit函數判斷是否一個字符是合法的進制字符
• consume_token: 和match_token同樣, 這是若是不匹配就會直接退出進程

數據結構

• Parser, 詞法解析器

typedef Parser {
    const char *fname;
    const char *source;
    Token cur_token; // 不會爲cur_token和pre_token賦整個的值, 而是一直在不斷的更新cur_token的屬性, 而pre_token則是直接經過cur_token拷貝過來的
    Token pre_token;
    char cur_char;
    char *next_char_ptr;
    VM *vm; // 在詞法分析的時候可能會須要分配內存空間, 這個時候須要vm來記錄分配的內存空間
} Parser;

• Token, 簡而言之就是字符串加上Token的類型

typedef struct Token {
    TokenType type;
    // ptr 與 length 表示一個單詞
    char *ptr;
    unsigned int length;
    unsigned int line_no;
    
    Value value; // 這裏爲何會有一個Value呢, 主要是爲了方便, 若是Token的類型爲num, 則Value直接存放這個值, 若是是其餘的則存放其餘對象頭

} Token;

• TokenType, 一個包含着Token類型的enum

typedef enum TokenType {
    /*
    符號:
        1. 比較關係符: >, >=, ==, <=, <, !=
        2. 邏輯關係符: &&, ||, !
        3. 位運算符: &, |, ~
        4. 符號: (, [, {, }, ], ), comma(,), dot(.), dotdot(..)
    
    關鍵字:
        1. while
        2. for
        3. if
        4. else
        5. break
        6. continue
        7. import
        8. class
        9. ...
     其餘:
        1. number
        2. string
        3. id
    */
} TokenType;

• VM虛擬機的結構

typedef struct VM {
    Class *string_class; // 用於讓內置的ObjString對象指向它的類對象, 內置的類對象就在這個VM中
    Class *fn_class; // 用於讓內置的ObjFunc對象的ObjHeader指向Func類對象
    Class *num_class;
    Class *bool_class;
    Class *thread_class;
    Class *class_class;
    Class *list_class;
    Class *map_class;
    Class *range_class;
    
    Parser *cur_parser;
    int allocated_bytes;
    ObjHeader *all_objects; // 有了這個, VM能夠調用GC回收對象
    ObjThread *cur_thread;
    ObjModule *modules;
    MethodBuffer allMethodNames;
} VM;

方法
initVM
newVM, 在newVM中會調用initVM, 緊接着就調用buildCore函數, 在buildCore函數中會調用defineClass函數, 定義出內置的ObjectClass, ObjectMetaClass, ClassOfClass類, 併爲他們綁定方法(C語言上的函數), 接着executeModule加載執行核心模塊

注意

1. 詞法分析器不負責解析時候的報錯, 報錯是交給編譯模塊的