一個故事看懂Python的GIL原理

Python解釋執行原理

我是一個Python線程，個人工做就是解釋執行程序員編寫的Python代碼。

之因此說是解釋執行，是由於Python是高級語言，CPU那傢伙不認識Python代碼，須要運行的時候動態翻譯成CPU指令。

我把Python源代碼通過「編譯」之後，變成了一個個的字節碼文件：.pyc，這是一個二進制的文件，人類是看不懂的，只有我才能看懂。

而後個人工做就簡單了，不斷的取出字節碼文件中的「指令」解釋執行，直到全部指令都執行完成，我就能夠休息了。

GIL

後來，多線程編程技術流行了起來，進程裏不止我一個線程了，又來了幾個新的夥伴。

本覺得咱們能和平共處，沒想到這一來就麻煩了，咱們幾個各幹各的，常常把內存空間搞出問題，也找不到背鍋的人。

終於有一天，我實在忍受不了了，召集你們商討個解決辦法。

「小夥伴們，我們不能再這樣各搞各的了，我們是一個Team，要彼此協做，一個線程能夠走的很快，但一羣線程在一塊兒才能走的更遠吶！」

「老大，你有什麼想法你就直說吧」，另外一個線程說到。

「要不，我們加個鎖吧！簡單快捷，每一個線程要執行代碼，都得來申請這個鎖，申請到了才能執行，不然就得等着」，我說到。

「那何時釋放呢？」

「要不弄個計數器，每一個線程數到100就釋放，這樣保證別人有機會來執行？」

「那怎麼計數呢？每執行一個字節碼就計數一次嗎？」

「能夠，不過也不用那麼死板，有些指令比較簡單的，很快能夠完成，就能夠不用計數了」

「好是好，但要是還沒數夠100，卻在執行I/O操做阻塞了，還把鎖霸佔的話，那不是資源浪費嗎？」

小夥伴們七嘴八舌的討論着。

我想了想說到：「那就這樣，把兩種狀況結合一下，常規狀況下數到100就釋放一次鎖，但若是遇到阻塞狀況，也要提早釋放鎖，怎麼樣？」

大夥紛紛點頭，達成了一致，隨後咱們還給這個鎖取了一個名字：全局解釋器鎖GIL。

自從用上了GIL，咱們你們夥幹活都規矩多了，再也沒有出現把公共資源搞壞的狀況了。

升級版GIL

再後來，多核技術開始興起了，一個CPU裏面能夠同時執行多個線程。小夥伴們高興地把這個消息散播開了。

「老大，如今CPU有多核了，我們能夠一塊兒執行了，可不能夠把那個GIL給去掉啊，這樣才能利用多核的優點啊。」

「是啊，隔壁Java線程總是嘲笑咱們看起來人多，實際只有一個線程在執行」

可說易行難，這麼多年咱們都是這樣工做的，要忽然去掉，出了問題誰也不敢負責啊。

「但是老大，如今這個GIL鎖不公平」，新來的線程抱怨到。

「哪裏不公平了？」

「我準備執行代碼，發現鎖在你的手裏，只好原地等待，等了半天都睡着了，好不容易等到你釋放了，操做系統把我給喚醒，準備去申請鎖，結果發現又被你搶到了，真是浪費表情」，新的線程滿臉委屈。

「是啊，老大，我也發現了，這不是偶發現象，我觀察好久了，常常都會發生！頻繁被喚醒，卻發現白忙活一場，白白浪費CPU資源，你們都怨氣很大啊」，另外一個線程夥伴也說到。

我有些很差意思，「嗯，這確實是個問題」

「還沒完呢」，新來的線程繼續說到：「如今按照字節碼指令數來統計，但有些指令碼簡單，有些很複雜，致使一樣數到100，有些線程能夠運行好久，而有些就運行很快就結束了，也不公平」

小夥伴們提的問題都很重要，看來是時候對GIL進行一次升級了。

通過一陣激烈的討論，咱們改進了原來對GIL，用上了新的策略：

• 再也不用計數的方式，改用時間片的方式：每一個線程的執行時間片是5000微秒。

• 爲了保證釋放GIL後，不被本身立刻又搶到，新增了一個鎖實現強制線程切換

改進之後，這下總算公平了，各位小夥伴再也沒有話說，又能夠安心的工做了。

結語

Python是一門解釋執行的語言，擁有強大的第三方庫和跨平臺能力，近幾年Python煥發了第二春，橫掃爬蟲、web開發、機器學習等衆多領域。

但長期以來，Python最爲人詬病的就是它有一把鎖：GIL，這把鎖讓Python沒法真正的實現多線程執行，沒法利用多核CPU的高性能。

實際上，這個鎖跟Python沒有半毛錢的關係，而是負責解釋執行Python的解釋器：CPython的鍋。

CPython是用C語言編寫的Python解釋器，也是最廣爲使用的Python解釋器，通常在沒有特殊說明時，說Python指的就是這個CPython解釋器。

Python誕生之初，多線程技術還遠沒有今天這麼深刻人心，甚至多核CPU也是Python誕生許多年後纔出現的。早期的解釋器中爲了支持多個線程，使用了粗暴的GIL來進行控制，方便簡單的同時，也成爲了CPython的巨大歷史包袱。

在Python3.2以前，Python使用簡單的計數法來統計控制每一個線程執行的時間。在這以後，引入了更爲公平的時間片方式來升級替換。

過去二十年，曾經有許許多多大牛都嘗試完全去除GIL，但都沒有完美成功。

雖然Python沒能完全去除GIL，好在，提供了其餘幾種方式「曲線救國」實現併發：

• Ctypes 經過編寫C語言擴展與Python交互，在C語言層面繞過GIL實現多核利用。

• MultiProcess Python提供了MultiProcess，經過多進程的方式繞過GIL

• 協程 協程又稱用戶態線程，Python3.4版本後新增了對協程的支持，也是對性能的提高提供了一種選擇。

這篇文章用第一人稱大白話的方式講述了GIL在CPython解釋器中的工做原理，你們都理解了嗎？歡迎留言交流～

往期TOP5文章

那天，我被拉入一個Redis羣聊···

CPU明明8個核，網卡爲啥拼命折騰一號核？

一個故事看懂Docker容器技術

主板上來了一個新鄰居，CPU慌了！

哈希表哪家強？幾大編程語言吵起來了！