Go 1.8rc3 源代碼學習：scanner

前言

scanner package 包含了 golang 詞法分析器相關的數據結構和方法，源代碼位於 <go-src>/src/go/scanner

example_test.go

example_test.go 包含了一個使用 scanner 包的示例方法，該方法對 Euler 公式進行詞法掃描

func ExampleScanner_Scan() {
    // src is the input that we want to tokenize.
    src := []byte("cos(x) + 1i*sin(x) // Euler")

    // Initialize the scanner.
    var s scanner.Scanner
    fset := token.NewFileSet()                      // positions are relative to fset
    file := fset.AddFile("", fset.Base(), len(src)) // register input "file"
    s.Init(file, src, nil /* no error handler */, scanner.ScanComments)

    // Repeated calls to Scan yield the token sequence found in the input.
    for {
        pos, tok, lit := s.Scan()
        if tok == token.EOF {
            break
        }
        fmt.Printf("%s\t%s\t%q\n", fset.Position(pos), tok, lit)
    }
}

註釋已經說明的很清楚了

• 建立 FileSet

• 添加 File

• 初始化 Scanner 使用 File，src（待解析的字符串）

• 遍歷全部的 token，使用 Scanner.Scan

總結