正則表達式引擎執行原理——從未如此清晰！

目前愈來愈多的網站、編輯器、編程語言都已支持一種叫「正則表達式」的字符串查找「公式」，有過編程經驗的同窗都應該瞭解正則表達式（Regular Expression 簡寫regex）是什麼東西，它是一種字符串匹配的模式（pattern），更像是一種邏輯公式。

使用正則表達式去匹配字符串Hello World 中的 Hello
僞代碼：/Hello/, "Hello World"
輸出：Hello

如何寫好一篇關於 正則表達式 的文章，我思考了一週的時間，從未有一篇文章能讓豬哥如此費神。

由於我以爲正則表達式 ：難記憶、難描述、廣而深且不受重視，有人說正則表達式既好寫也難寫！

1. 好寫：無非寫一些經常使用、實用的案例，說實話大家每一個人都能寫出這種：在網上百度一下而後結合一點本身的實際經驗，一篇文章就出來了。
2. 難寫：不少人都認爲正則簡單，不用記，要用就百度一下。可是絕大多數人瞭解的只是正則的一個小面，真正的精髓卻不多關注！

豬哥但願你們能瞭解到正則的知識點其實很是很是多，尤爲是正則引擎執行原理以及正則優化，這算是正則表達式的進階知識點，面試中也可能會被問到。

1、起源與發展

咱們在學習一門技術的時候有必要了解其起源與發展過程，這對咱們去理解技術自己有必定的幫助！

20世紀40年代：正則表達式最初的想法來自兩位神經學家：沃爾特·皮茨與麥卡洛克，他們研究出了一種用數學方式來描述神經網絡的模型。

1956年：一位名叫Stephen Kleene的數學科學家發表了一篇題目是《神經網事件的表示法》的論文，利用稱之爲正則集合的數學符號來描述此模型，引入了正則表達式的概念。正則表達式被做爲用來描述其稱之爲「正則集的代數」的一種表達式，於是採用了「正則表達式」這個術語。

1968年：C語言之父、UNIX之父肯·湯普森把這個「正則表達式」的理論成果用於作一些搜索算法的研究，他描述了一種正則表達式的編譯器，因而出現了應該算是最先的正則表達式的編譯器qed（這也就成爲後來的grep編輯器）。

Unix使用正則以後，正則表達式不斷的發展壯大，而後大規模應用於各類領域，根據這些領域各自的條件須要，又發展出了許多版本的正則表達式，出現了許多的分支。咱們把這些分支叫作「流派」。

1987年：Perl語言誕生了，它綜合了其餘的語言，用正則表達式做爲基礎，開創了一個新的流派，Perl流派。以後不少編程語言如：Python、Java、Ruby、.Net、PHP等等在設計正則式支持的時候都參考Perl正則表達式。

到這裏咱們也就知道爲何衆多編程語言的正則表達式基本同樣，由於他們都師從Perl。

注：Perl語言是一種擅長處理文本的語言，但因晦澀語法和古怪符號不利於理解和記憶致使不少開發者並不喜歡。

2、語法

完整的正則表達式由兩種字符構成：特殊字符（元字符）和普通字符。

ps：元字符表示正則表達式功能的最小單位，如 * ^ $ \d 等等

關於語法部分豬哥並不想過多的講解，給你們作一個詳細的概括整理，供你們往後快速查找吧！

若是想系統學習正則表達式的語法部分，豬哥推薦 菜鳥教程： https://www.runoob.com/regexp...

3、匹配原理

匹配原理是豬哥想要重點講解的部分，也但願同窗們能夠認真瞭解這部分的內容。

不少人以爲開車不必瞭解車的構造原理，可是咱們學編程的還真的須要瞭解原理。

由於瞭解原理，你才能調優，這每每也是初級工程師與中高級工程師之間的差異點之一！

1.執行過程

正則表達是的執行，是由正則表達引擎編譯執行的，大體的執行流程豬哥也花了一個流程圖給你們看看。

這裏給你們提一點就是：預編譯（pre-use compile）

豬哥建議你們在生產環境中使用預編譯功能，爲何呢？

以Python語言內置re模塊舉例：

1. 經過re.compile(pattern)預編譯返回Pattern對象，在後面代碼中能夠直接引用。
2. 經過re.match(pattern, text)即用編譯，雖然也會有緩存Pattern對象，可是每次使用都須要去緩存中取出，比預編譯多一步取操做。

豬哥也經過實際測試來 驗證預編譯 確實比 即用編譯 要快！

pattern = r'http:\/\/(?:.?\w+)+'
text = '<a href="http://www.xxx.com">xxx.com</a>'

2.引擎

既然正則表達式由執行引擎執行，那咱們就來說講正則表達式的引擎吧，這一塊是重點，但願你們仔細看看，弄懂了理解了才行！

正則引擎主要能夠分爲基本不一樣的兩大類：

1. DFA (Deterministic finite automaton) 肯定型有窮自動機
2. NFA (Non-deterministic finite automaton) 非肯定型有窮自動機

ps：固然還有一種引擎爲：POSIX NFA，這是根據NFA引擎出的規範版本，但由於使用較少因此咱們這裏也就不重點講解。

這裏須要和你們解釋下何爲肯定型、有窮、自動機這幾個名詞：

1. 肯定型與非肯定型：假設有一個字符串（text=abc）須要匹配，在沒有編寫正則表達式的前提下，就直接能夠肯定字符匹配順序的就是肯定型，不能肯定字符匹配順序的則爲非肯定型。
2. 有窮：有窮即表示有限的意思，這裏表示有限次數內能獲得結果。
3. 自動機：自動機即是自動完成，在咱們設置好匹配規則後由引擎自動完成，不須要人爲干預！

根據上面的解釋咱們可得知DFA引擎 和 NFA引擎 的區別就在於：在沒有編寫正則表達式的前提下，是否能肯定字符執行順序！

DFA引擎執行原理：
爲了你們能很清楚的理解DFA引擎執行原理，豬哥製做了一個簡易的動態執行過程圖給你們看看

根據上面的動圖咱們能夠得出DFA引擎的一些特色：

1. 文本主導：按照文本的順序執行，這也就能說明爲何DFA引擎是肯定型(deterministic)了，穩定！
2. 記錄當前有效的全部可能：咱們看到當執行到(d|b)時，同時比較表達式中的d和b，因此會須要更多的內存。
3. 每一個字符只檢查一次：這提升了執行效率，並且速度與正則表達式無關。
4. 不能使用反向引用等功能：由於每一個字符只檢查一次，文本零寬度（位置）只記錄當前比較值，因此不能使用反向引用、環視等一些功能！

NFA引擎執行原理：
豬哥一樣畫了一個簡易的NFA引擎執行過程圖方便你們理解

根據上面的動圖咱們能夠得出NFA引擎的一些特色：

1. 文表達式主導：按照表達式的一部分執行，若是不匹配換其餘部分繼續匹配，直到表達式匹配完成。
2. 會記錄某個位置：咱們看到當執行到(d|b)時，NFA引擎會記錄字符的位置（零寬度），而後選擇其中一個先匹配。
3. 單個字符可能檢查屢次：咱們看到當執行到(d|b)時，比較d後發現不匹配，因而NFA引擎換表達式的另外一個分支b，同時文本位置回退，從新匹配字符'b'。這也是NFA引擎是非肯定型的緣由，同時帶來另外一個問題效率可能沒有DFA引擎高。
4. 可實現反向引用等功能：由於具備回退這一步，因此能夠很容易的實現反向引用、環視等一些功能！

針對兩種引擎的區別，豬哥進行了比較

關於這兩種引擎的總結，豬哥引用《精通正則表達式》書本中的一句話來歸納：

DFA（是電動機） 和NFA（汽油機） 都有很長的歷史，不過，正如汽油機同樣，NFA 的歷史更長一些。也有些系統採用了混合引擎，它們會根據任務的不一樣選擇合適的引擎（甚至對同一表達式中的不一樣部分採用不一樣的引擎，以求得功能與速度之間的最佳平衡）。 ——《精通正則表達式》

3.回溯

做爲絕大多數編程語言都選擇的引擎——NFA (非肯定型有窮自動機) 引擎，咱們固然要再詳細瞭解一下它的精髓——回溯。

動圖中，咱們能夠看到當某個正則分支匹配不成功以後，文本的位置須要回退，而後換另外一個分支匹配，而回退這步專業術語就叫：回溯。

回溯的原理相似咱們走迷宮時走過的路設置一個標誌物，若是不對則原路返回，換另外一條路。

回溯機制不但須要從新計算正則表達式和文本的對應位置，也須要維護括號內的子表達式所匹配文本的狀態（b匹配成功），保存到內存中以數字編號的組中，這就叫捕獲組。

保存括號內的匹配結果以後，咱們在後面的正則表達式中就可使用，這就是咱們所說的反向引用，在上面的案例中只有一個捕獲，因此$1=b。

回溯陷阱：講到回溯必須提到回溯陷阱，它致使的結果就是機器CPU使用率爆滿(超100%)，機器就卡死了。

舉個例子：text=aaaaa，pattern=/^(a*)b$/，匹配過程大體是

1. (a*)：匹配到了文本中的aaaaa
2. 匹配正則中的b，可是失敗，由於(a*)已經把text都吃了
3. 這時候引擎會要求(a*)吐出最後一個字符(a)，可是沒法匹配b
4. 第二次是吐出倒數第二個字符(仍是a)，依然沒法匹配
5. 就這樣引擎會要求(a*)逐個將吃進去的字符都吐出來
6. 可是到最後都沒法匹配b

這裏的重點就在於 引擎會要求*匹配的東西一點一點吐回，咱們假設若是文本長度爲幾萬，那引擎就要回溯幾萬次，這對機器的CPU來講簡直是災難。

有些複雜的正則表達式可能有多個部分都要回溯，那回溯次數就是指數型。若是文本長度爲500，一個表達式有兩部分都要回溯，那次數多是500^2=25萬次，這誰受得了！

關於更多更詳細的回溯介紹，推薦你們能夠閱讀《精通正則表達式》這本書！

4、優化

編寫巧妙的正則表達式不只僅是一種技能，並且仍是一種藝術。

上面咱們瞭解到，絕大多數的編程語言都採用的是NFA引擎，而NFA引擎的特色是：功能強大、但有回溯機制因此效率慢。因此咱們須要學習一些NFA引擎的一些優化技巧，以減小引擎回溯次數以及更直接的匹配到結果！

針對NFA引擎的可優化的點其實挺多的，爲了方便你們記憶，豬哥也畫幅結構圖概括一下，方便你們收藏細看。

在面試過程當中也許會被問到關於正則的優化，你們記住幾點就能夠。

5、推薦

上面咱們講解了關於正則表達式的誕生和發展、引擎、優化等知識，可是關於正則表達式的知識點遠遠不止這些，因此最後豬哥推薦一些好的學習資料，你們有空能夠了解學習下。

1.書

推薦正則表達式的書，那必然是《精通正則表達式》 ，目前這本書已經出了第三版，豆瓣評分8.9。

內容雖然稍有囉嗦，可是對於正則新手很友好，惟一不足是Python案例少。

2.博客

入門：菜鳥教程：https://www.runoob.com/regexp...

3.在線測試工具

https://regex101.com/，這個網站能夠選擇不一樣編程語言的正則支持，有語義分析、匹配測試、參考列表等，很是實用。

4.經常使用案例

一些簡單經常使用的小案例彙總，菜鳥教程：http://c.runoob.com/front-end...

最後祝願你們都能搞定正則表達式，處理文本能夠駕輕就熟！

更多優質教程可關注豬哥微信公衆號「裸睡的豬」！