Golang AST語法樹使用教程及示例
許多自動化代碼生成工具都離不開語法樹分析，例如goimport，gomock，wire等項目都離不開語法樹分析。基於語法樹分析，能夠實現許多有趣實用的工具。本篇將結合示例，展現如何基於ast標準包操做語法樹。node
本篇中的代碼的完整示例能夠在這裏找到：ast-examplegit
Quick Start
首先咱們看下語法樹長什麼樣子，如下代碼將打印./demo.go文件的語法樹：github
package main
import (
"go/ast"
"go/parser"
"go/token"
"log"
"path/filepath"
)
func main() {
fset := token.NewFileSet()
// 這裏取絕對路徑，方便打印出來的語法樹能夠轉跳到編輯器
path, _ := filepath.Abs("./demo.go")
f, err := parser.ParseFile(fset, path, nil, parser.AllErrors)
if err != nil {
log.Println(err)
return
}
// 打印語法樹
ast.Print(fset, f)
}
複製代碼
demo.go:golang
package main
import (
"context"
)
// Foo 結構體
type Foo struct {
i int
}
// Bar 接口
type Bar interface {
Do(ctx context.Context) error
}
// main方法
func main() {
a := 1
}
複製代碼
demo.go文件已儘可能簡化，但其語法樹的輸出內容依舊十分龐大。咱們截取部分來作一些簡要的說明。express
首先是文件所屬的包名，和其聲明在文件中的位置：bash
0 *ast.File {
1 . Package: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:1:1
2 . Name: *ast.Ident {
3 . . NamePos: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:1:9
4 . . Name: "main"
5 . }
...
複製代碼
緊接着是Decls，也就是Declarations，其包含了聲明的一些變量，方法，接口等：app
...
6 . Decls: []ast.Decl (len = 4) {
7 . . 0: *ast.GenDecl {
8 . . . TokPos: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:3:1
9 . . . Tok: import
10 . . . Lparen: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:3:8
11 . . . Specs: []ast.Spec (len = 1) {
12 . . . . 0: *ast.ImportSpec {
13 . . . . . Path: *ast.BasicLit {
14 . . . . . . ValuePos: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:4:2
15 . . . . . . Kind: STRING
16 . . . . . . Value: "\"context\""
17 . . . . . }
18 . . . . . EndPos: -
19 . . . . }
20 . . . }
21 . . . Rparen: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:5:1
22 . . }
....
複製代碼
能夠看到該語法樹包含了4條Decl記錄，咱們取第一條記錄爲例，該記錄爲*ast.GenDecl類型。不難看出這條記錄對應的是咱們的import代碼段。始位置(TokPos)，左右括號的位置(Lparen,Rparen)，和import的包（Specs）等信息都能從語法樹中獲得。編輯器
語法樹的打印信來自ast.File結構體：ide
$GOROOT/src/go/ast/ast.go函數
// 該結構體位於標準包 go/ast/ast.go 中，有興趣能夠轉跳到源碼閱讀更詳盡的註釋
type File struct {
Doc *CommentGroup // associated documentation; or nil
Package token.Pos // position of "package" keyword
Name *Ident // package name
Decls []Decl // top-level declarations; or nil
Scope *Scope // package scope (this file only)
Imports []*ImportSpec // imports in this file
Unresolved []*Ident // unresolved identifiers in this file
Comments []*CommentGroup // list of all comments in the source file
}
複製代碼
結合註釋和字段名咱們大概知道每一個字段的含義，接下來咱們詳細梳理一下語法樹的組成結構。
Node節點
整個語法樹由不一樣的node組成，從源碼註釋中能夠得知主要有以下三種node：
There are 3 main classes of nodes: Expressions and type nodes, statement nodes, and declaration nodes.
在Go的Language Specification中能夠找到這些節點類型詳細規範和說明，有興趣的小夥伴能夠深刻研究一下，在此不作展開。
但實際在代碼，出現了第四種node：Spec Node，每種node都有專門的接口定義：
$GOROOT/src/go/ast/ast.go
...
// All node types implement the Node interface.
type Node interface {
Pos() token.Pos // position of first character belonging to the node
End() token.Pos // position of first character immediately after the node
}
// All expression nodes implement the Expr interface.
type Expr interface {
Node
exprNode()
}
// All statement nodes implement the Stmt interface.
type Stmt interface {
Node
stmtNode()
}
// All declaration nodes implement the Decl interface.
type Decl interface {
Node
declNode()
}
...
// A Spec node represents a single (non-parenthesized) import,
// constant, type, or variable declaration.
//
type (
// The Spec type stands for any of *ImportSpec, *ValueSpec, and *TypeSpec.
Spec interface {
Node
specNode()
}
....
)
複製代碼
能夠看到全部的node都繼承Node接口，記錄了node的開始和結束位置。還記得Quick Start示例中的Decls嗎？它正是declaration nodes。除去上述四種使用接口進行分類的node，還有些node沒有再額外定義接口細分類別，僅實現了Node接口，爲了方便描述，在本篇中我把這些節點稱爲common node。 $GOROOT/src/go/ast/ast.go列舉了全部全部節點的實現，咱們從中挑選幾個做爲例子，感覺一下它們的區別。
Expression and Type
先來看expression node。
$GOROOT/src/go/ast/ast.go
...
// An Ident node represents an identifier.
Ident struct {
NamePos token.Pos // identifier position
Name string // identifier name
Obj *Object // denoted object; or nil
}
...
複製代碼
Indent（identifier）表示一個標識符，好比Quick Start示例中表示包名的Name字段就是一個expression node：
0 *ast.File {
1 . Package: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:1:1
2 . Name: *ast.Ident { <----
3 . . NamePos: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:1:9
4 . . Name: "main"
5 . }
...
複製代碼
接下來是type node。
$GOROOT/src/go/ast/ast.go
...
// A StructType node represents a struct type.
StructType struct {
Struct token.Pos // position of "struct" keyword
Fields *FieldList // list of field declarations
Incomplete bool // true if (source) fields are missing in the Fields list
}
// Pointer types are represented via StarExpr nodes.
// A FuncType node represents a function type.
FuncType struct {
Func token.Pos // position of "func" keyword (token.NoPos if there is no "func")
Params *FieldList // (incoming) parameters; non-nil
Results *FieldList // (outgoing) results; or nil
}
// An InterfaceType node represents an interface type.
InterfaceType struct {
Interface token.Pos // position of "interface" keyword
Methods *FieldList // list of methods
Incomplete bool // true if (source) methods are missing in the Methods list
}
...
複製代碼
type node很好理解，它包含一些複合類型，例如在Quick Start中出現的StructType,FuncType和InterfaceType。
Statement
賦值語句，控制語句（if，else,for，select...）等均屬於statement node。
$GOROOT/src/go/ast/ast.go
...
// An AssignStmt node represents an assignment or
// a short variable declaration.
//
AssignStmt struct {
Lhs []Expr
TokPos token.Pos // position of Tok
Tok token.Token // assignment token, DEFINE
Rhs []Expr
}
...
// An IfStmt node represents an if statement.
IfStmt struct {
If token.Pos // position of "if" keyword
Init Stmt // initialization statement; or nil
Cond Expr // condition
Body *BlockStmt
Else Stmt // else branch; or nil
}
...
複製代碼
例如Quick Start中，咱們在main函數中對變量a賦值的程序片斷就屬於AssignStmt:
...
174 . . . Body: *ast.BlockStmt {
175 . . . . Lbrace: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:18:13
176 . . . . List: []ast.Stmt (len = 1) {
177 . . . . . 0: *ast.AssignStmt { <--- 這裏
178 . . . . . . Lhs: []ast.Expr (len = 1) {
179 . . . . . . . 0: *ast.Ident {
180 . . . . . . . . NamePos: /usr/local/gopath/src/github.com/DrmagicE/ast-example/quickstart/demo.go:19:2
181 . . . . . . . . Name: "a"
...
複製代碼
Spec Node
Spec node只有3種，分別是ImportSpec，ValueSpec和TypeSpec：
$GOROOT/src/go/ast/ast.go
// An ImportSpec node represents a single package import.
ImportSpec struct {
Doc *CommentGroup // associated documentation; or nil
Name *Ident // local package name (including "."); or nil
Path *BasicLit // import path
Comment *CommentGroup // line comments; or nil
EndPos token.Pos // end of spec (overrides Path.Pos if nonzero)
}
// A ValueSpec node represents a constant or variable declaration
// (ConstSpec or VarSpec production).
//
ValueSpec struct {
Doc *CommentGroup // associated documentation; or nil
Names []*Ident // value names (len(Names) > 0)
Type Expr // value type; or nil
Values []Expr // initial values; or nil
Comment *CommentGroup // line comments; or nil
}
// A TypeSpec node represents a type declaration (TypeSpec production).
TypeSpec struct {
Doc *CommentGroup // associated documentation; or nil
Name *Ident // type name
Assign token.Pos // position of '=', if any
Type Expr // *Ident, *ParenExpr, *SelectorExpr, *StarExpr, or any of the *XxxTypes
Comment *CommentGroup // line comments; or nil
}
複製代碼
ImportSpec表示一個單獨的import，ValueSpec表示一個常量或變量的聲明，TypeSpec則表示一個type聲明。例如 在Quick Start示例中，出現了ImportSpec和TypeSpec
import (
"context" // <--- 這裏是一個ImportSpec node
)
// Foo 結構體
type Foo struct { // <--- 這裏是一個TypeSpec node
i int
}
複製代碼
在語法樹的打印結果中能夠看到對應的輸出，小夥伴們可自行查找。
Declaration Node
Declaration node也只有三種：
$GOROOT/src/go/ast/ast.go
...
type (
// A BadDecl node is a placeholder for declarations containing
// syntax errors for which no correct declaration nodes can be
// created.
//
BadDecl struct {
From, To token.Pos // position range of bad declaration
}
// A GenDecl node (generic declaration node) represents an import,
// constant, type or variable declaration. A valid Lparen position
// (Lparen.IsValid()) indicates a parenthesized declaration.
//
// Relationship between Tok value and Specs element type:
//
// token.IMPORT *ImportSpec
// token.CONST *ValueSpec
// token.TYPE *TypeSpec
// token.VAR *ValueSpec
//
GenDecl struct {
Doc *CommentGroup // associated documentation; or nil
TokPos token.Pos // position of Tok
Tok token.Token // IMPORT, CONST, TYPE, VAR
Lparen token.Pos // position of '(', if any
Specs []Spec
Rparen token.Pos // position of ')', if any
}
// A FuncDecl node represents a function declaration.
FuncDecl struct {
Doc *CommentGroup // associated documentation; or nil
Recv *FieldList // receiver (methods); or nil (functions)
Name *Ident // function/method name
Type *FuncType // function signature: parameters, results, and position of "func" keyword
Body *BlockStmt // function body; or nil for external (non-Go) function
}
)
...
複製代碼
BadDecl表示一個有語法錯誤的節點； GenDecl用於表示import, const，type或變量聲明；FunDecl用於表示函數聲明。 GenDecl和FunDecl在Quick Start例子中均有出現，小夥伴們可自行查找。
Common Node
除去上述四種類別劃分的node,還有一些node不屬於上面四種類別：
$GOROOT/src/go/ast/ast.go
// Comment 註釋節點，表明單行的 //-格式 或 /*-格式的註釋.
type Comment struct {
...
}
...
// CommentGroup 註釋塊節點，包含多個連續的Comment
type CommentGroup struct {
...
}
// Field 字段節點, 能夠表明結構體定義中的字段，接口定義中的方法列表，函數前面中的入參和返回值字段
type Field struct {
...
}
...
// FieldList 包含多個Field
type FieldList struct {
...
}
// File 表示一個文件節點
type File struct {
...
}
// Package 表示一個包節點
type Package struct {
...
}
複製代碼
Quick Start示例包含了上面列舉的全部node，小夥伴們能夠自行查找。更爲詳細的註釋和具體的結構體字段請查閱源碼。
全部的節點類型大體列舉完畢，其中還有許多具體的節點類型未能一一列舉，但基本上都是大同小異，源碼註釋也比較清晰，等用到的時候再細看也不遲。如今咱們對整個語法樹的構造有了基本的瞭解，接下來經過幾個示例來演示具體用法。
示例
爲文件中全部接口方法添加context參數
實現這個功能咱們須要四步：
- 遍歷整個語法樹
- 判斷是否已經import
context包，若是沒有則import - 遍歷全部的接口方法，判斷方法列表中是否有
context.Context類型的入參，若是沒有咱們將其添加到方法的第一個參數 - 將修改事後的語法樹轉換成Go代碼並輸出
遍歷語法樹
語法樹層級較深，嵌套關係複雜，若是不能徹底掌握node之間的關係和嵌套規則，咱們很難本身寫出正確的遍歷方法。不過好在ast包已經爲咱們提供了遍歷方法：
$GOROOT/src/go/ast/ast.go
func Walk(v Visitor, node Node)
複製代碼
type Visitor interface {
Visit(node Node) (w Visitor)
}
複製代碼
Walk方法會按照深度優先搜索方法（depth-first order）遍歷整個語法樹，咱們只需按照咱們的業務須要，實現Visitor接口便可。 Walk每遍歷一個節點就會調用Visitor.Visit方法，傳入當前節點。若是Visit返回nil，則中止遍歷當前節點的子節點。本示例的Visitor實現以下：
// Visitor
type Visitor struct {
}
func (v *Visitor) Visit(node ast.Node) ast.Visitor {
switch node.(type) {
case *ast.GenDecl:
genDecl := node.(*ast.GenDecl)
// 查找有沒有import context包
// Notice：沒有考慮沒有import任何包的狀況
if genDecl.Tok == token.IMPORT {
v.addImport(genDecl)
// 不須要再遍歷子樹
return nil
}
case *ast.InterfaceType:
// 遍歷全部的接口類型
iface := node.(*ast.InterfaceType)
addContext(iface)
// 不須要再遍歷子樹
return nil
}
return v
}
複製代碼
添加import
// addImport 引入context包
func (v *Visitor) addImport(genDecl *ast.GenDecl) {
// 是否已經import
hasImported := false
for _, v := range genDecl.Specs {
imptSpec := v.(*ast.ImportSpec)
// 若是已經包含"context"
if imptSpec.Path.Value == strconv.Quote("context") {
hasImported = true
}
}
// 若是沒有import context，則import
if !hasImported {
genDecl.Specs = append(genDecl.Specs, &ast.ImportSpec{
Path: &ast.BasicLit{
Kind: token.STRING,
Value: strconv.Quote("context"),
},
})
}
}
複製代碼
爲接口方法添加參數
// addContext 添加context參數
func addContext(iface *ast.InterfaceType) {
// 接口方法不爲空時，遍歷接口方法
if iface.Methods != nil || iface.Methods.List != nil {
for _, v := range iface.Methods.List {
ft := v.Type.(*ast.FuncType)
hasContext := false
// 判斷參數中是否包含context.Context類型
for _, v := range ft.Params.List {
if expr, ok := v.Type.(*ast.SelectorExpr); ok {
if ident, ok := expr.X.(*ast.Ident); ok {
if ident.Name == "context" {
hasContext = true
}
}
}
}
// 爲沒有context參數的方法添加context參數
if !hasContext {
ctxField := &ast.Field{
Names: []*ast.Ident{
ast.NewIdent("ctx"),
},
// Notice: 沒有考慮import別名的狀況
Type: &ast.SelectorExpr{
X: ast.NewIdent("context"),
Sel: ast.NewIdent("Context"),
},
}
list := []*ast.Field{
ctxField,
}
ft.Params.List = append(list, ft.Params.List...)
}
}
}
}
複製代碼
將語法樹轉換成Go代碼
format包爲咱們提供了轉換函數，format.Node會將語法樹按照gofmt的格式輸出：
...
var output []byte
buffer := bytes.NewBuffer(output)
err = format.Node(buffer, fset, f)
if err != nil {
log.Fatal(err)
}
// 輸出Go代碼
fmt.Println(buffer.String())
...
複製代碼
輸出結果以下：
package main
import (
"context"
)
type Foo interface {
FooA(ctx context.Context, i int)
FooB(ctx context.Context, j int)
FooC(ctx context.Context)
}
type Bar interface {
BarA(ctx context.Context, i int)
BarB(ctx context.Context)
BarC(ctx context.Context)
}
複製代碼
能夠看到咱們全部的接口方的第一個參數都變成了context.Context。建議將示例中的語法樹先打印出來，再對照着代碼看，方便理解。
一些坑與不足
至此咱們已經完成了語法樹的解析，遍歷，修改以及輸出。但細心的小夥伴可能已經發現：示例中的文件並無出現一行註釋。這的確是有意爲之，若是咱們加上註釋，會發現最終生成文件的註釋就像迷途的羔羊，徹底找不到本身的位置。好比這樣：
//修改前
type Foo interface {
FooA(i int)
// FooB
FooB(j int)
FooC(ctx context.Context)
}
// 修改後
type Foo interface {
FooA(ctx context.
// FooB
Context, i int)
FooB(ctx context.Context, j int)
FooC(ctx context.Context)
}
複製代碼
致使這種現象的緣由在於：ast包生成的語法樹中的註釋是"free-floating"的。還記得每一個node都有Pos()和End()方法來標識其位置嗎？對於非註釋節點，語法樹可以正確的調整他們的位置，但卻不能自動調整註釋節點的位置。若是咱們想要讓註釋出如今正確的位置上，咱們必須手動設置節點Pos和End。源碼註釋中提到了這個問題：
Whether and how a comment is associated with a node depends on the interpretation of the syntax tree by the manipulating program: Except for Doc and Comment comments directly associated with nodes, the remaining comments are "free-floating" (see also issues #18593, #20744).
issue中有具體的討論，官方認可這是一個設計缺陷，但仍是遲遲未能改進。其中有位火燒眉毛的小哥提供了本身的方案：
若是實在是要對有註釋的語法樹進行修改，能夠嘗試一下。 雖然語法樹的確存在修改困難問題，但其仍是能知足大部分基於語法樹分析的代碼生成工做了(gomock,wire等等)。
參考
syslog.ravelin.com/how-to-make…
medium.com/@astrid.deg…
stackoverflow.com/questions/3…
github.com/golang/go/i…
github.com/golang/go/i…
golang.org/src/go/ast/…
- 1. AST 抽象語法樹
- 2. 抽象語法樹-AST
- 3. AST抽象語法樹
- 4. 抽象語法樹(AST)
- 5. Clang之語法抽象語法樹AST
- 6. AST語法結構樹初學者完整教程
- 7. C 語言 抽象語法樹AST
- 8. 教你如何用AST語法樹對代碼「動手腳」
- 9. golang--sync.WaitGroup使用示例
- 10. golang flag使用示例
- 更多相關文章...
- • TortoiseSVN 使用教程 - SVN 教程
- • MySQL Workbench使用教程 - MySQL教程
- • Git可視化極簡易教程 — Git GUI使用方法
- • Java 8 Stream 教程
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. 融合阿里雲，牛客助您找到心儀好工作
- 2. 解決jdbc(jdbctemplate)在測試類時不報錯在TomCatb部署後報錯
- 3. 解決PyCharm GoLand IntelliJ 等 JetBrains 系列 IDE無法輸入中文
- 4. vue+ant design中關於圖片請求不顯示的問題。
- 5. insufficient memory && Native memory allocation (malloc) failed
- 6. 解決IDEA用Maven創建的Web工程不能創建Java Class文件的問題
- 7. [已解決] Error: Cannot download ‘https://start.spring.io/starter.zip?
- 8. 在idea讓java文件夾正常使用
- 9. Eclipse啓動提示「subversive connector discovery」
- 10. 帥某-技巧-快速轉帖博主文章（article_content）
- 1. AST 抽象語法樹
- 2. 抽象語法樹-AST
- 3. AST抽象語法樹
- 4. 抽象語法樹(AST)
- 5. Clang之語法抽象語法樹AST
- 6. AST語法結構樹初學者完整教程
- 7. C 語言 抽象語法樹AST
- 8. 教你如何用AST語法樹對代碼「動手腳」
- 9. golang--sync.WaitGroup使用示例
- 10. golang flag使用示例