Python之路(第三十六篇)併發編程：進程、同步異步、阻塞非阻塞

1、理論基礎

 

進程的概念起源於操做系統，是操做系統最核心的概念，也是操做系統提供的最古老也是最重要的抽象概念之一。操做系統的其餘全部內容都是圍繞進程的概念展開的。

即便能夠利用的cpu只有一個（早期的計算機確實如此），也能保證支持（僞）併發的能力。將一個單獨的cpu變成多個虛擬的cpu（多道技術：時間多路複用和空間多路複用+硬件上支持隔離），沒有進程的抽象，現代計算機將不復存在。

 

必備的理論基礎：

  #一 操做系統的做用：
      1：隱藏醜陋複雜的硬件接口，提供良好的抽象接口
      2：管理、調度進程，而且將多個進程對硬件的競爭變得有序
  ​
  #二 多道技術：
      1.產生背景：針對單核，實現併發
      ps：
      如今的主機通常是多核，那麼每一個核都會利用多道技術
      有4個cpu，運行於cpu1的某個程序遇到io阻塞，會等到io結束再從新調度，會被調度到4個
      cpu中的任意一個，具體由操做系統調度算法決定。
      
      2.空間上的複用：如內存中同時有多道程序
      3.時間上的複用：複用一個cpu的時間片
         強調：遇到io切，佔用cpu時間過長也切，核心在於切以前將進程的狀態保存下來，這樣
              才能保證下次切換回來時，能基於上次切走的位置繼續運行

　　

2、什麼是進程（理論）

進程：正在進行的一個過程或者說一個任務。

進程即正在執行的一個過程。進程是對正在運行程序的一個抽象。

狹義定義：進程是正在運行的程序的實例（an instance of a computer program that is being executed）。廣義定義：進程是一個具備必定獨立功能的程序關於某個數據集合的一次運行活動。它是操做系統動態執行的基本單元，在傳統的操做系統中，進程既是基本的分配單元，也是基本的執行單元。

進程與程序的區別

​ 程序是指令和數據的有序集合，其自己沒有任何運行的含義，是一個靜態的概念。而進程是程序在處理機上的一次執行過程，它是一個動態的概念。程序能夠做爲一種軟件資料長期存在，而進程是有必定生命期的。程序是永久的，進程是暫時的。

 

進程的並行與併發

不管是並行仍是併發，在用戶看來都是'同時'運行的，無論是進程仍是線程，都只是一個任務而已，真是幹活的是cpu，cpu來作這些任務，而一個cpu同一時刻只能執行一個任務

1、 併發：是僞並行，即看起來是同時運行。單個cpu+多道技術就能夠實現併發，（並行也屬於併發）。

 

二 、並行：同時運行，只有具有多個cpu才能實現並行。

單核下，能夠利用多道技術，多個核，每一個核也均可以利用多道技術（多道技術是針對單核而言的）

有四個核，六個任務，這樣同一時間有四個任務被執行，假設分別被分配給了cpu1，cpu2，cpu3，cpu4，

一旦任務1遇到I/O就被迫中斷執行，此時任務5就拿到cpu1的時間片去執行，這就是單核下的多道技術

而一旦任務1的I/O結束了，操做系統會從新調用它(需知進程的調度、分配給哪一個cpu運行，由操做系統說了算)，可能被分配給四個cpu中的任意一個去執行。

 

全部現代計算機常常會在同一時間作不少件事，一個用戶的PC（不管是單cpu仍是多cpu），均可以同時運行多個任務（一個任務能夠理解爲一個進程）。

全部的這些進程都需被管理，因而一個支持多進程的多道程序系統是相當重要的。

多道技術概念回顧：內存中同時存入多道（多個）程序，cpu從一個進程快速切換到另一個，使每一個進程各自運行幾十或幾百毫秒，這樣，雖然在某一個瞬間，一個cpu只能執行一個任務，但在1秒內，cpu卻能夠運行多個進程，這就給人產生了並行的錯覺，即僞併發，以此來區分多處理器操做系統的真正硬件並行（多個cpu共享同一個物理內存）。

 

進程的建立（瞭解）

凡是硬件，都須要有操做系統去管理，只要有操做系統，就有進程的概念，就須要有建立進程的方式，一些操做系統只爲一個應用程序設計，好比微波爐中的控制器，一旦啓動微波爐，進行通電，全部的進程都已經存在。

而對於通用系統（跑不少應用程序），須要有系統運行過程當中建立或撤銷進程的能力，主要分爲4中形式建立新的進程

1. 系統初始化（查看進程linux中用ps命令，windows中用任務管理器，前臺進程負責與用戶交互，後臺運行的進程與用戶無關，運行在後臺而且只在須要時才喚醒的進程，稱爲守護進程，如電子郵件、web頁面、新聞、打印）

2. 一個進程在運行過程當中開啓了子進程（如nginx開啓多進程，os.fork,subprocess.Popen等）

3. 用戶的交互式請求，而建立一個新進程（如用戶雙擊暴風影音）

4. 一個批處理做業的初始化（只在大型機的批處理系統中應用）

不管哪種，新進程的建立都是由一個已經存在的進程執行了一個用於建立進程的系統調用而建立的：

1. 在UNIX中該系統調用是：fork，fork會建立一個與父進程如出一轍的副本，兩者有相同的存儲映像、一樣的環境字符串和一樣的打開文件（在shell解釋器進程中，執行一個命令就會建立一個子進程）

2. 在windows中該系統調用是：CreateProcess，CreateProcess既處理進程的建立，也負責把正確的程序裝入新進程。

關於建立的子進程，UNIX和windows。

1.相同的是：進程建立後，父進程和子進程有各自不一樣的地址空間（多道技術要求物理層面實現進程之間內存的隔離），任何一個進程的在其地址空間中的修改都不會影響到另一個進程。

2.不一樣的是：在UNIX中，子進程的初始地址空間是父進程的一個副本，提示：子進程和父進程是能夠有隻讀的共享內存區的。可是對於windows系統來講，從一開始父進程與子進程的地址空間就是不一樣的。

 

進程的終止（瞭解）

1. 正常退出（自願，如用戶點擊交互式頁面的叉號，或程序執行完畢調用發起系統調用正常退出，在linux中用exit，在windows中用ExitProcess）

2. 出錯退出（自願，python a.py中a.py不存在）

3. 嚴重錯誤（非自願，執行非法指令，如引用不存在的內存，1/0等，能夠捕捉異常，try...except...）

4. 被其餘進程殺死（非自願，如kill -9）

 

進程的層次結構

不管UNIX仍是windows，進程只有一個父進程，不一樣的是：

1. 在UNIX中全部的進程，都是以init進程爲根，組成樹形結構。父子進程共同組成一個進程組，這樣，當從鍵盤發出一個信號時，該信號被送給當前與鍵盤相關的進程組中的全部成員。

2. 在windows中，沒有進程層次的概念，全部的進程都是地位相同的，惟一相似於進程層次的暗示，是在建立進程時，父進程獲得一個特別的令牌（稱爲句柄）,該句柄能夠用來控制子進程，可是父進程有權把該句柄傳給其餘子進程，這樣就沒有層次了。

 

 

進程的狀態

在linux中執行

tail -f access.log |grep '404'

執行程序tail，開啓一個子進程，執行程序grep，開啓另一個子進程，兩個進程之間基於管道'|'通信，將tail的結果做爲grep的輸入。

進程grep在等待輸入（即I/O）時的狀態稱爲阻塞，此時grep命令都沒法運行

其實在兩種狀況下會致使一個進程在邏輯上不能運行，

1. 進程掛起是自身緣由，遇到I/O阻塞，便要讓出CPU讓其餘進程去執行，這樣保證CPU一直在工做

2. 與進程無關，是操做系統層面，可能會由於一個進程佔用時間過多，或者優先級等緣由，而調用其餘的進程去使用CPU。

於是一個進程由三種狀態

 

 

進程併發的實現（瞭解）

進程併發的實如今於，硬件中斷一個正在運行的進程，把此時進程運行的全部狀態保存下來，爲此，操做系統維護一張表格，即進程表（process table），每一個進程佔用一個進程表項（這些表項也稱爲進程控制塊）。

該表存放了進程狀態的重要信息：程序計數器、堆棧指針、內存分配情況、全部打開文件的狀態、賬號和調度信息，以及其餘在進程由運行態轉爲就緒態或阻塞態時，必須保存的信息，從而保證該進程在再次啓動時，就像從未被中斷過同樣。

 

 

3、同步異步阻塞非阻塞

　在瞭解其餘概念以前，咱們首先要了解進程的幾個狀態。在程序運行的過程當中，因爲被操做系統的調度算法控制，程序會進入幾個狀態：就緒，運行和阻塞。

　　（1）就緒(Ready)狀態

　　當進程已分配到除CPU之外的全部必要的資源，只要得到CPU即可當即執行，這時的進程狀態稱爲就緒狀態。

　　（2）執行/運行（Running）狀態當進程已得到CPU，其程序正在CPU上執行，此時的進程狀態稱爲執行狀態。

　　（3）阻塞(Blocked)狀態正在執行的進程，因爲等待某個事件發生而沒法執行時，便放棄CPU而處於阻塞狀態。引發進程阻塞的事件可有多種，例如，等待I/O完成、申請緩衝區不能知足、等待信件(信號)等。

 

 

同步與異步　　同步與異步是針對應用程序與內核的交互而言的。同步過程當中進程觸發IO操做並等待或者輪詢的去查看IO操做是否完成。異步過程當中進程觸發IO操做之後，直接返回，作本身的事情，IO交給內核來處理，完成後內核通知進程IO完成。

阻塞與非阻塞　　應用進程請求I/O操做時，若是數據未準備好，若是請求當即返回就是非阻塞，不當即返回就是阻塞。簡單說就是作一件事若是不能當即得到返回，須要等待，就是阻塞，不然就能夠理解爲非阻塞。

 

例子

故事：老王燒開水。

出場人物：老張，水壺兩把（普通水壺，簡稱水壺；會響的水壺，簡稱響水壺）。

老王想了想，有好幾種等待方式

1.老王用水壺煮水，而且站在那裏，無論水開沒開，每隔必定時間看看水開了沒。－同步阻塞

老王想了想，這種方法不夠聰明。

2.老王仍是用水壺煮水，再也不傻傻的站在那裏看水開，跑去寢室上網，可是仍是會每隔一段時間過來看看水開了沒有，水沒有開就走人。－同步非阻塞

老王想了想，如今的方法聰明瞭些，可是仍是不夠好。

3.老王此次使用高大上的響水壺來煮水，站在那裏，可是不會再每隔一段時間去看水開，而是等水開了，水壺會自動的通知他。－異步阻塞

老王想了想，不會呀，既然水壺能夠通知我，那我爲何還要傻傻的站在那裏等呢，嗯，得換個方法。

4.老王仍是使用響水壺煮水，跑到客廳上網去，等着響水壺本身把水煮熟了之後通知他。－異步非阻塞

老王豁然，這下感受輕鬆了不少。

---

• 同步和異步

  同步就是燒開水，須要本身去輪詢（每隔一段時間去看看水開了沒），異步就是水開了，而後水壺會通知你水已經開了，你能夠回來處理這些開水了。同步和異步是相對於操做結果來講，會不會等待結果返回。

• 阻塞和非阻塞

  阻塞就是說在煮水的過程當中，你不能夠去幹其餘的事情，非阻塞就是在一樣的狀況下，能夠同時去幹其餘的事情。阻塞和非阻塞是相對於線程是否被阻塞。

其實，這二者存在本質的區別，它們的修飾對象是不一樣的。阻塞和非阻塞是指進程訪問的數據若是還沒有就緒，進程是否須要等待，簡單說這至關於函數內部的實現區別，也就是未就緒時是直接返回仍是等待就緒。而同步和異步是指訪問數據的機制,同步通常指主動請求並等待I/O操做完畢的方式,當數據就緒後在讀寫的時候必須阻塞,異步則指主動請求數據後即可以繼續處理其它任務,隨後等待I/O,操做完畢的通知,這可使進程在數據讀寫時也不阻塞。

小結

1. 同步與異步針對的是函數/任務的調用方式：同步就是當一個進程發起一個函數（任務）調用的時候，一直等到函數（任務）完成，而進程繼續處於激活狀態。而異步狀況下是當一個進程發起一個函數（任務）調用的時候，不會等函數返回，而是繼續往下執行當，函數返回的時候經過狀態、通知、事件等方式通知進程任務完成。

2. 阻塞與非阻塞針對的是進程或線程：阻塞是當請求不能知足的時候就將進程掛起，而非阻塞則不會阻塞當前進程。

 

 

 

參考連接

[1]http://www.javashuo.com/article/p-gvgtjmbd-bc.html