python編寫python編譯器的原理簡介

  Allison 是 Dropbox 的工程師,在那裏她維護着這個世界上最大的 Python 客戶端網絡之一。在去 Dropbox 之前,她是 Recurse Center 的協調人, 是這個位於紐約的程序員深造機構的作者。她在北美的 PyCon 做過關於 Python 內部機制的演講,並且她喜歡研究奇怪的 bug。她的博客地址是 akaptur.com

介紹

Byterun 是一個用 Python 實現的 Python 解釋器。隨着我對 Byterun 的開發,我驚喜地的發現,這個 Python 解釋器的基礎結構用 500 行代碼就能實現。在這一章我們會搞清楚這個解釋器的結構,給你足夠探索下去的背景知識。我們的目標不是向你展示解釋器的每個細節—像編程和計算機科學其他有趣的領域一樣,你可能會投入幾年的時間去深入瞭解這個主題。

Byterun 是 Ned Batchelder 和我完成的,建立在 Paul Swartz 的工作之上。它的結構和主要的 Python 實現(CPython)差不多,所以理解 Byterun 會幫助你理解大多數解釋器,特別是 CPython 解釋器。(如果你不知道你用的是什麼 Python,那麼很可能它就是 CPython)。儘管 Byterun 很小,但它能執行大多數簡單的 Python 程序(這一章是基於 Python 3.5 及其之前版本生成的字節碼的,在 Python 3.6 中生成的字節碼有一些改變)。

Python 解釋器

在開始之前,讓我們限定一下「Pyhton 解釋器」的意思。在討論 Python 的時候,「解釋器」這個詞可以用在很多不同的地方。有的時候解釋器指的是 Python REPL,即當你在命令行下敲下 python 時所得到的交互式環境。有時候人們會或多或少的互換使用 「Python 解釋器」和「Python」來說明從頭到尾執行 Python 代碼的這一過程。在本章中,「解釋器」有一個更精確的意思:Python 程序的執行過程中的最後一步。

在解釋器接手之前,Python 會執行其他 3 個步驟:詞法分析,語法解析和編譯。這三步合起來把源代碼轉換成代碼對象(code object),它包含着解釋器可以理解的指令。而解釋器的工作就是解釋代碼對象中的指令。

你可能很奇怪執行 Python 代碼會有編譯這一步。Python 通常被稱爲解釋型語言,就像 Ruby,Perl 一樣,它們和像 C,Rust 這樣的編譯型語言相對。然而,這個術語並不是它看起來的那樣精確。大多數解釋型語言包括 Python 在內,確實會有編譯這一步。而 Python 被稱爲解釋型的原因是相對於編譯型語言,它在編譯這一步的工作相對較少(解釋器做相對多的工作)。在這章後面你會看到,Python 的編譯器比 C 語言編譯器需要更少的關於程序行爲的信息。

Python 的 Python 解釋器

Byterun 是一個用 Python 寫的 Python 解釋器,這點可能讓你感到奇怪,但沒有比用 C 語言寫 C 語言編譯器更奇怪的了。(事實上,廣泛使用的 gcc 編譯器就是用 C 語言本身寫的)你可以用幾乎任何語言寫一個 Python 解釋器。

用 Python 寫 Python 既有優點又有缺點。最大的缺點就是速度:用 Byterun 執行代碼要比用 CPython 執行慢的多,CPython 解釋器是用 C 語言實現的,並做了認真優化。然而 Byterun 是爲了學習而設計的,所以速度對我們不重要。使用 Python 最大優勢是我們可以僅僅實現解釋器,而不用擔心 Python 運行時部分,特別是對象系統。比如當 Byterun 需要創建一個類時,它就會回退到「真正」的 Python。另外一個優勢是 Byterun 很容易理解,部分原因是它是用人們很容易理解的高級語言寫的(Python !)(另外我們不會對解釋器做優化 —— 再一次,清晰和簡單比速度更重要)

構建一個解釋器

在我們考察 Byterun 代碼之前,我們需要從高層次對解釋器結構有一些瞭解。Python 解釋器是如何工作的?

Python 解釋器是一個虛擬機(virtual machine),是一個模擬真實計算機的軟件。我們這個虛擬機是棧機器(stack machine),它用幾個棧來完成操作(與之相對的是寄存器機器(register machine),它從特定的內存地址讀寫數據)。

Python 解釋器是一個字節碼解釋器(bytecode interpreter):它的輸入是一些稱作字節碼(bytecode)的指令集。當你寫 Python 代碼時,詞法分析器、語法解析器和編譯器會生成代碼對象(code object)讓解釋器去操作。每個代碼對象都包含一個要被執行的指令集 —— 它就是字節碼 —— 以及還有一些解釋器需要的信息。字節碼是 Python 代碼的一箇中間層表示( intermediate representation):它以一種解釋器可以理解的方式來表示源代碼。這和彙編語言作爲 C 語言和機器語言的中間表示很類似。

微型解釋器

爲了讓說明更具體,讓我們從一個非常小的解釋器開始。它只能計算兩個數的和,只能理解三個指令。它執行的所有代碼只是這三個指令的不同組合。下面就是這三個指令:

  • LOAD_VALUE
  • ADD_TWO_VALUES
  • PRINT_ANSWER

我們不關心詞法、語法和編譯,所以我們也不在乎這些指令集是如何產生的。你可以想象,當你寫下 7 + 5,然後一個編譯器爲你生成那三個指令的組合。如果你有一個合適的編譯器,你甚至可以用 Lisp 的語法來寫,只要它能生成相同的指令。

假設

生成這樣的指令集:

Python 解釋器是一個棧機器(stack machine),所以它必須通過操作棧來完成這個加法(見下圖)。解釋器先執行第一條指令,LOAD_VALUE,把第一個數壓到棧中。接着它把第二個數也壓到棧中。然後,第三條指令,ADD_TWO_VALUES,先把兩個數從棧中彈出,加起來,再把結果壓入棧中。最後一步,把結果彈出並輸出。

棧機器

LOAD_VALUE這條指令告訴解釋器把一個數壓入棧中,但指令本身並沒有指明這個數是多少。指令需要一個額外的信息告訴解釋器去哪裏找到這個數。所以我們的指令集有兩個部分:指令本身和一個常量列表。(在 Python 中,字節碼就是我們所稱的「指令」,而解釋器「執行」的是代碼對象。)

爲什麼不把數字直接嵌入指令之中?想象一下,如果我們加的不是數字,而是字符串。我們可不想把字符串這樣的東西加到指令中,因爲它可以有任意的長度。另外,我們這種設計也意味着我們只需要對象的一份拷貝,比如這個加法 7 + 7, 現在常量表 "numbers"只需包含一個[7]

你可能會想爲什麼會需要除了ADD_TWO_VALUES之外的指令。的確,對於我們兩個數加法,這個例子是有點人爲製作的意思。然而,這個指令卻是建造更復雜程序的輪子。比如,就我們目前定義的三個指令,只要給出正確的指令組合,我們可以做三個數的加法,或者任意個數的加法。同時,棧提供了一個清晰的方法去跟蹤解釋器的狀態,這爲我們增長的複雜性提供了支持。

現在讓我們來完成我們的解釋器。解釋器對象需要一個棧,它可以用一個列表來表示。它還需要一個方法來描述怎樣執行每條指令。比如,LOAD_VALUE會把一個值壓入棧中。

這三個方法完成了解釋器所理解的三條指令。但解釋器還需要一樣東西:一個能把所有東西結合在一起並執行的方法。這個方法就叫做 run_code,它把我們前面定義的字典結構 what-to-execute 作爲參數,循環執行裏面的每條指令,如果指令有參數就處理參數,然後調用解釋器對象中相應的方法。

爲了測試,我們創建一個解釋器對象,然後用前面定義的 7 + 5 的指令集來調用 run_code

顯然,它會輸出 12。

儘管我們的解釋器功能十分受限,但這個過程幾乎和真正的 Python 解釋器處理加法是一樣的。這裏,我們還有幾點要注意。

首先,一些指令需要參數。在真正的 Python 字節碼當中,大概有一半的指令有參數。像我們的例子一樣,參數和指令打包在一起。注意指令的參數和傳遞給對應方法的參數是不同的。

第二,指令ADD_TWO_VALUES不需要任何參數,它從解釋器棧中彈出所需的值。這正是以基於棧的解釋器的特點。

記得我們說過只要給出合適的指令集,不需要對解釋器做任何改變,我們就能做多個數的加法。考慮下面的指令集,你覺得會發生什麼?如果你有一個合適的編譯器,什麼代碼才能編譯出下面的指令集?

從這點出發,我們開始看到這種結構的可擴展性:我們可以通過向解釋器對象增加方法來描述更多的操作(只要有一個編譯器能爲我們生成組織良好的指令集就行)。

變量

接下來給我們的解釋器增加變量的支持。我們需要一個保存變量值的指令 STORE_NAME;一個取變量值的指令LOAD_NAME;和一個變量到值的映射關係。目前,我們會忽略命名空間和作用域,所以我們可以把變量和值的映射直接存儲在解釋器對象中。最後,我們要保證what_to_execute除了一個常量列表,還要有個變量名字的列表。

我們的新的實現在下面。爲了跟蹤哪個名字綁定到哪個值,我們在__init__方法中增加一個environment字典。我們也增加了STORE_NAMELOAD_NAME方法,它們獲得變量名,然後從environment字典中設置或取出這個變量值。

現在指令的參數就有兩個不同的意思,它可能是numbers列表的索引,也可能是names列表的索引。解釋器通過檢查所執行的指令就能知道是那種參數。而我們打破這種邏輯 ,把指令和它所用何種參數的映射關係放在另一個單獨的方法中。

僅僅五個指令,run_code這個方法已經開始變得冗長了。如果保持這種結構,那麼每條指令都需要一個if分支。這裏,我們要利用 Python 的動態方法查找。我們總會給一個稱爲FOO的指令定義一個名爲FOO的方法,這樣我們就可用 Python 的getattr函數在運行時動態查找方法,而不用這個大大的分支結構。run_code方法現在是這樣:

真實的 Python 字節碼

現在,放棄我們的小指令集,去看看真正的 Python 字節碼。字節碼的結構和我們的小解釋器的指令集差不多,除了字節碼用一個字節而不是一個名字來代表這條指令。爲了理解它的結構,我們將考察一個函數的字節碼。考慮下面這個例子:

Python 在運行時會暴露一大批內部信息,並且我們可以通過 REPL 直接訪問這些信息。對於函數對象condcond.__code__是與其關聯的代碼對象,而cond.__code__.co_code就是它的字節碼。當你寫 Python 代碼時,你永遠也不會想直接使用這些屬性,但是這可以讓我們做出各種惡作劇,同時也可以看看內部機制。

當我們直接輸出這個字節碼,它看起來完全無法理解 —— 唯一我們瞭解的是它是一串字節。很幸運,我們有一個很強大的工具可以用:Python 標準庫中的dis模塊。

dis是一個字節碼反彙編器。反彙編器以爲機器而寫的底層代碼作爲輸入,比如彙編代碼和字節碼,然後以人類可讀的方式輸出。當我們運行dis.dis,它輸出每個字節碼的解釋。

這些都是什麼意思?讓我們以第一條指令LOAD_CONST爲例子。第一列的數字(2)表示對應源代碼的行數。第二列的數字是字節碼的索引,告訴我們指令LOAD_CONST在位置 0 。第三列是指令本身對應的人類可讀的名字。如果第四列存在,它表示指令的參數。如果第五列存在,它是一個關於參數是什麼的提示。

考慮這個字節碼的前幾個字節:[100, 1, 0, 125, 0, 0]。這 6 個字節表示兩條帶參數的指令。我們可以使用dis.opname,一個字節到可讀字符串的映射,來找到指令 100 和指令 125 代表的是什麼:

第二和第三個字節 —— 1 、0 ——是LOAD_CONST的參數,第五和第六個字節 —— 0、0 —— 是STORE_FAST的參數。就像我們前面的小例子,LOAD_CONST需要知道的到哪去找常量,STORE_FAST需要知道要存儲的名字。(Python 的LOAD_CONST和我們小例子中的LOAD_VALUE一樣,LOAD_FASTLOAD_NAME一樣)。所以這六個字節代表第一行源代碼x = 3 (爲什麼用兩個字節表示指令的參數?如果 Python 使用一個字節,每個代碼對象你只能有 256 個常量/名字,而用兩個字節,就增加到了 256 的平方,65536個)。

條件語句與循環語句

到目前爲止,我們的解釋器只能一條接着一條的執行指令。這有個問題,我們經常會想多次執行某個指令,或者在特定的條件下跳過它們。爲了可以寫循環和分支結構,解釋器必須能夠在指令中跳轉。在某種程度上,Python 在字節碼中使用GOTO語句來處理循環和分支!讓我們再看一個cond函數的反彙編結果:

第三行的條件表達式if x 被編譯成四條指令:LOAD_FAST、 LOAD_CONST、 COMPARE_OP和 POP_JUMP_IF_FALSEx 對應加載x、加載 5、比較這兩個值。指令POP_JUMP_IF_FALSE完成這個if語句。這條指令把棧頂的值彈出,如果值爲真,什麼都不發生。如果值爲假,解釋器會跳轉到另一條指令。

這條將被加載的指令稱爲跳轉目標,它作爲指令POP_JUMP的參數。這裏,跳轉目標是 22,索引爲 22 的指令是LOAD_CONST,對應源碼的第 6 行。(dis>>標記跳轉目標。)如果X 爲假,解釋器會忽略第四行(return yes),直接跳轉到第6行(return "no")。因此解釋器通過跳轉指令選擇性的執行指令。

Python 的循環也依賴於跳轉。在下面的字節碼中,while x 這一行產生了和if x 幾乎一樣的字節碼。在這兩種情況下,解釋器都是先執行比較,然後執行POP_JUMP_IF_FALSE來控制下一條執行哪個指令。第四行的最後一條字節碼JUMP_ABSOLUT(循環體結束的地方),讓解釋器返回到循環開始的第 9 條指令處。當 x 變爲假,POP_JUMP_IF_FALSE會讓解釋器跳到循環的終止處,第 34 條指令。

探索字節碼

我希望你用dis.dis來試試你自己寫的函數。一些有趣的問題值得探索:

  • 對解釋器而言 for 循環和 while 循環有什麼不同?
  • 能不能寫出兩個不同函數,卻能產生相同的字節碼?
  • elif是怎麼工作的?列表推導呢?

到目前爲止,我們已經知道了 Python 虛擬機是一個棧機器。它能順序執行指令,在指令間跳轉,壓入或彈出棧值。但是這和我們期望的解釋器還有一定距離。在前面的那個例子中,最後一條指令是RETURN_VALUE,它和return語句相對應。但是它返回到哪裏去呢?

爲了回答這個問題,我們必須再增加一層複雜性:幀(frame)。一個幀是一些信息的集合和代碼的執行上下文。幀在 Python 代碼執行時動態地創建和銷燬。每個幀對應函數的一次調用 —— 所以每個幀只有一個代碼對象與之關聯,而一個代碼對象可以有多個幀。比如你有一個函數遞歸的調用自己 10 次,這會產生 11 個幀,每次調用對應一個,再加上啓動模塊對應的一個幀。總的來說,Python 程序的每個作用域都有一個幀,比如,模塊、函數、類定義。

幀存在於調用棧(call stack)中,一個和我們之前討論的完全不同的棧。(你最熟悉的棧就是調用棧,就是你經常看到的異常回溯,每個以」File ‘program.py'」開始的回溯對應一個幀。)解釋器在執行字節碼時操作的棧,我們叫它數據棧(data stack)。其實還有第三個棧,叫做塊棧(block stack),用於特定的控制流塊,比如循環和異常處理。調用棧中的每個幀都有它自己的數據棧和塊棧。

讓我們用一個具體的例子來說明一下。假設 Python 解釋器執行到下面標記爲 3 的地方。解釋器正處於foo函數的調用中,它接着調用bar。下面是幀調用棧、塊棧和數據棧的示意圖。我們感興趣的是解釋器先從最底下的foo()開始,接着執行foo的函數體,然後到達bar

調用棧

現在,解釋器處於bar函數的調用中。調用棧中有 3 個幀:一個對應於模塊層,一個對應函數foo,另一個對應函數bar。(見上圖)一旦bar返回,與它對應的幀就會從調用棧中彈出並丟棄。

字節碼指令RETURN_VALUE告訴解釋器在幀之間傳遞一個值。首先,它把位於調用棧棧頂的幀中的數據棧的棧頂值彈出。然後把整個幀彈出丟棄。最後把這個值壓到下一個幀的數據棧中。

當 Ned Batchelder 和我在寫 Byterun 時,很長一段時間我們的實現中一直有個重大的錯誤。我們整個虛擬機中只有一個數據棧,而不是每個幀都有一個。我們寫了很多測試代碼,同時在 Byterun 和真正的 Python 上運行,希望得到一致結果。我們幾乎通過了所有測試,只有一樣東西不能通過,那就是生成器(generators)。最後,通過仔細的閱讀 CPython 的源碼,我們發現了錯誤所在(感謝 Michael Arntzenius 對這個 bug 的洞悉)。把數據棧移到每個幀就解決了這個問題。

回頭在看看這個 bug,我驚訝的發現 Python 真的很少依賴於每個幀有一個數據棧這個特性。在 Python 中幾乎所有的操作都會清空數據棧,所以所有的幀公用一個數據棧是沒問題的。在上面的例子中,當bar執行完後,它的數據棧爲空。即使foo公用這一個棧,它的值也不會受影響。然而,對應生成器,它的一個關鍵的特點是它能暫停一個幀的執行,返回到其他的幀,一段時間後它能返回到原來的幀,並以它離開時的相同狀態繼續執行。

Byterun

現在我們有足夠的 Python 解釋器的知識背景去考察 Byterun。

Byterun 中有四種對象。

  • VirtualMachine類,它管理高層結構,尤其是幀調用棧,幷包含了指令到操作的映射。這是一個比前面Inteprter對象更復雜的版本。
  • Frame類,每個Frame類都有一個代碼對象,並且管理着其他一些必要的狀態位,尤其是全局和局部命名空間、指向調用它的整的指針和最後執行的字節碼指令。
  • Function類,它被用來代替真正的 Python 函數。回想一下,調用函數時會創建一個新的幀。我們自己實現了Function,以便我們控制新的Frame的創建。
  • Block類,它只是包裝了塊的 3 個屬性。(塊的細節不是解釋器的核心,我們不會花時間在它身上,把它列在這裏,是因爲 Byterun 需要它。)

VirtualMachine 類

每次程序運行時只會創建一個VirtualMachine實例,因爲我們只有一個 Python 解釋器。VirtualMachine 保存調用棧、異常狀態、在幀之間傳遞的返回值。它的入口點是run_code方法,它以編譯後的代碼對象爲參數,以創建一個幀爲開始,然後運行這個幀。這個幀可能再創建出新的幀;調用棧隨着程序的運行而增長和縮短。當第一個幀返回時,執行結束。

Frame 類

接下來,我們來寫Frame對象。幀是一個屬性的集合,它沒有任何方法。前面提到過,這些屬性包括由編譯器生成的代碼對象;局部、全局和內置命名空間;前一個幀的引用;一個數據棧;一個塊棧;最後執行的指令指針。(對於內置命名空間我們需要多做一點工作,Python 在不同模塊中對這個命名空間有不同的處理;但這個細節對我們的虛擬機不重要。)

接着,我們在虛擬機中增加對幀的操作。這有 3 個幫助函數:一個創建新的幀的方法(它負責爲新的幀找到名字空間),和壓棧和出棧的方法。第四個函數,run_frame,完成執行幀的主要工作,待會我們再討論這個方法。

Function 類

Function的實現有點曲折,但是大部分的細節對理解解釋器不重要。重要的是當調用函數時 —— 即調用 __call__方法 —— 它創建一個新的Frame並運行它。

接着,回到VirtualMachine對象,我們對數據棧的操作也增加一些幫助方法。字節碼操作的棧總是在當前幀的數據棧。這些幫助函數讓我們的POP_TOPLOAD_FAST以及其他操作棧的指令的實現可讀性更高。

在我們運行幀之前,我們還需兩個方法。

第一個方法,parse_byte_and_args 以一個字節碼爲輸入,先檢查它是否有參數,如果有,就解析它的參數。這個方法同時也更新幀的last_instruction屬性,它指向最後執行的指令。一條沒有參數的指令只有一個字節長度,而有參數的字節有3個字節長。參數的意義依賴於指令是什麼。比如,前面說過,指令POP_JUMP_IF_FALSE,它的參數指的是跳轉目標。BUILD_LIST,它的參數是列表的個數。LOAD_CONST,它的參數是常量的索引。

一些指令用簡單的數字作爲參數。對於另一些,虛擬機需要一點努力去發現它含意。標準庫中的dis模塊中有一個備忘單,它解釋什麼參數有什麼意思,這讓我們的代碼更加簡潔。比如,列表dis.hasname告訴我們LOAD_NAME、 IMPORT_NAMELOAD_GLOBAL,以及另外的 9 個指令的參數都有同樣的意義:對於這些指令,它們的參數代表了代碼對象中的名字列表的索引。

下一個方法是dispatch,它查找給定的指令並執行相應的操作。在 CPython 中,這個分派函數用一個巨大的 switch 語句實現,有超過 1500 行的代碼。幸運的是,我們用的是 Python,我們的代碼會簡潔的多。我們會爲每一個字節碼名字定義一個方法,然後用getattr來查找。就像我們前面的小解釋器一樣,如果一條指令叫做FOO_BAR,那麼它對應的方法就是byte_FOO_BAR。現在,我們先把這些方法當做一個黑盒子。每個指令方法都會返回None或者一個字符串why,有些情況下虛擬機需要這個額外why信息。這些指令方法的返回值,僅作爲解釋器狀態的內部指示,千萬不要和執行幀的返回值相混淆。

Block 類

在我們完成每個字節碼方法前,我們簡單的討論一下塊。一個塊被用於某種控制流,特別是異常處理和循環。它負責保證當操作完成後數據棧處於正確的狀態。比如,在一個循環中,一個特殊的迭代器會存在棧中,當循環完成時它從棧中彈出。解釋器需要檢查循環仍在繼續還是已經停止。

爲了跟蹤這些額外的信息,解釋器設置了一個標誌來指示它的狀態。我們用一個變量why實現這個標誌,它可以是None或者是下面幾個字符串之一:"continue""break""excption"return。它們指示對塊棧和數據棧進行什麼操作。回到我們迭代器的例子,如果塊棧的棧頂是一個loop塊,why的代碼是continue,迭代器就應該保存在數據棧上,而如果whybreak,迭代器就會被彈出。

塊操作的細節比這個還要繁瑣,我們不會花時間在這上面,但是有興趣的讀者值得仔細的看看。

指令

剩下了的就是完成那些指令方法了:byte_LOAD_FASTbyte_BINARY_MODULO等等。而這些指令的實現並不是很有趣,這裏我們只展示了一小部分,完整的實現在 GitHub 上。(這裏包括的指令足夠執行我們前面所述的所有代碼了。)

相關文章
相關標籤/搜索