golang調度模型

https://tonybai.com/2017/06/2...

線程模型

內核級線程模型(KSE(Kernel Scheduling Entity))

關鍵點: 徹底靠操做系統調度
每個用戶線程綁定一個實際的內核線程，而線程的調度則徹底交付給操做系統內核去作，應用程序對線程的建立、終止以及同步都基於內核提供的系統調用來完成

用戶級線程模型
關鍵點: 徹底靠本身調度
用戶線程與內核線程KSE是多對一（N : 1）的映射模型，多個用戶線程的通常從屬於單個進程的調度是由用戶本身的線程庫來完成，線程的建立、銷燬以及多線程之間的協調等操做都是由用戶本身的線程庫來負責而無須藉助系統調用來實現。操做系統只知道用戶進程而對其中的線程是無感知的，內核的全部調度都是基於用戶進程。

兩級(混合型)線程模型

關鍵點: 自身調度與系統調度協同工做
用戶線程與內核KSE是多對多（N : M）的映射模型：
首先，區別於用戶級線程模型，兩級線程模型中的一個進程能夠與多個內核線程KSE關聯，因而進程內的多個線程能夠綁定不一樣的KSE，這點和內核級線程模型類似；
其次，又區別於內核級線程模型，它的進程裏的全部線程並不與KSE一一綁定，而是能夠動態綁定不一樣KSE， 當某個KSE由於其綁定的線程的阻塞操做被內核調度出CPU時，其關聯的進程中其他用戶線程能夠從新與其餘KSE綁定運行

GPM模型

基本概念

• M

OS線程抽象,表明着真正執行計算的資源, 每個goroutine實際上就是在M中執行,M的數量目前最多10000個.
M並不保存G的狀態, 與G自己並無關係, 因此G能夠在不一樣的M執行

• P

分配程序執行的上下文環境, 數量<=內核數量, 即同時可以並行執行的G的數量,相對於G而言, P的角色至關於CPU.

• G

程序代碼中的每一次使用關鍵字go執行函數其實都生成了一個G,並將之加入到本地的G隊列中, 以後M會生成G執行的上下文也就是綁定P來執行函數.
G維護者goroutine須要的棧、程序計數器以及它所在的M等信息。

• Seched

表明着一個調度器 它維護有存儲空閒的M隊列和空閒的P隊列，可運行的G隊列，自由的G隊列以及調度器的一些狀態信息等。

模型調度

關於線程說明：
內核級線程： 線程的切換由內核控制，能夠直接用戶態到內核態，或者內核態到用戶態，可以充分利用CPU的核數
用戶級線程： 線程的切換由用戶本身控制，不須要內核控制，少了進出內核的消耗，可是不能很好的利用CPU的核數

用戶線程指不須要內核支持而在用戶程序中實現的線程，其不依賴於操做系統核心，應用進程利用線程庫提供建立、同步、調度和管理線程的函數來控制用戶線程。不須要用戶態/核心態切換，速度快，操做系統內核不知道多線程的存在，所以一個線程阻塞將使得整個進程（包括它的全部線程）阻塞。

1.P如何得到G
調度器Seched生成一個M, 而後M須要持有（綁定）一個P,接着M會啓動一個OS線程,循環讓P會首先從本身的本地隊列(Local Quequ)中取可執行(Runnable)的G執行, 若是本地隊列中沒有, 則會從全局隊列(Globle Queue)中取G, 若是尚未, 則會從其餘的P的本地隊列中取一半的隊列放入本身本地隊列之中

2.M執行函數遇到阻塞,如何處理
實際代碼執行中可能存在下面的問題,致使程序阻塞

blocking syscall (for example opening a file)
network input
channel operations
primitives in the sync package

主要可歸爲兩類

• 用戶態阻塞/喚醒

當goroutine由於channel操做或者network I/O而阻塞時（實際上golang已經用netpoller實現了goroutine網絡I/O阻塞不會致使M被阻塞，僅阻塞G，這裏僅僅是舉個栗子），對應的G會被放置到某個wait隊列(如channel的waitq)，該G的狀態由_Gruning變爲_Gwaitting，而M會跳過該G嘗試獲取並執行下一個G，若是此時沒有runnable的G供M運行，那麼M將解綁P，並進入sleep狀態；當阻塞的G被另外一端的G2喚醒時（好比channel的可讀/寫通知），G被標記爲runnable，嘗試加入G2所在P的runnext，而後再是P的Local隊列和Global隊列。

• 系統調用阻塞

當G被阻塞在某個系統調用上時，此時G會阻塞在_Gsyscall狀態，M也處於block on syscall狀態，此時的M可被搶佔調度：執行該G的M會與P解綁，而P則嘗試與其它idle的M綁定，繼續執行其它G。若是沒有其它idle的M，但P的Local隊列中仍然有G須要執行，則建立一個新的M；當系統調用完成後，G會從新嘗試獲取一個idle的P進入它的Local隊列恢復執行，若是沒有idle的P，G會被標記爲runnable加入到Global隊列。

調度使用了名叫work stealing的算法, 這種算法適用場景是任務之間的耗時相差比較大，即有的任務很耗時，有的任務很快完成，用這種用算法很合適；若是任務的耗時很平均則不適合，由於竊取任務也是須要搶佔鎖的，會形成額外的消耗。

參考文檔

• Goroutine併發調度模型深度解析&手擼一個協程池
• 也談goroutine調度器