python week08 併發編程之多進程--理論部分

時間 2019-11-12

標籤 python week08 week 併發編程之多進程理論部分欄目 Python 简体版

原文原文鏈接

一什麼是進程

　　進程：正在進行的一個過程或者說一個任務。
而負責執行任務則是cpu。python

　　舉例（單核+多道，實現多個進程的併發執行）：
　　　　Jame在一個時間段內有不少任務要作：python學習任務，公司項目上線的任務，王者榮耀升最強王者任務...　　

但Jame同一時刻只能作一個任務（cpu同一時間只能幹一個活），如何才能玩出多個任務併發執行的效果？

Jame代碼上線後，去寫一會Python，再去打一會王者榮耀....這就保證了每一個任務都在進行中....linux

二進程與程序的區別

　　程序僅僅只是一堆代碼而已，而進程指的是程序的運行過程。nginx

　　舉例：

   　　想象一位有一手好廚藝的計算機科學家jame正在爲他的女兒元昊烘製生日蛋糕。
　　　他有作生日蛋糕的食譜，廚房裏有所需的原料:麪粉、雞蛋、韭菜，蒜泥等。

   在這個比喻中：

       作蛋糕的食譜就是程序(即用適當形式描述的算法)

       計算機科學家就是處理器(cpu)

       而作蛋糕的各類原料就是輸入數據。

　　進程就是廚師閱讀食譜、取來各類原料以及烘製蛋糕等一系列動做的總和。

　　如今假設計算機科學家jame的兒子alex哭着跑了進來，說：個人頭頭被大黃蜂蟄了個大包，痛死我了。
　　web

　　科學家jame想了想，處理兒子alex蟄傷的任務比給女兒元昊作蛋糕的任務更重要，因而計算機科學家就記錄下他照着食譜作到哪兒了(保存進程的當前狀態)，而後拿出一本急救手冊，按照其中的指示處理　　蟄傷。
算法

　　這裏，咱們看處處理機從一個進程(作蛋糕)切換到另外一個高優先級的進程(實施醫療救治)，每一個進程擁有各自的程序(食譜和急救手冊)。當蜜蜂蟄傷處理完以後，這位計算機科學家又回來作蛋糕，從他離開　　時的那一步繼續作下去。shell

　　須要強調的是：同一個程序執行兩次，那也是兩個進程，好比打開暴風影音，雖然都是同一個軟件，可是一個能夠播放python3教學視頻，一個能夠Linux架構師課程視頻。編程

三併發與並行

　　不管是並行仍是併發，在用戶看來都是「同時」運行的，不論是進程仍是線程，都只是一個任務而已，真是幹活的是cpu，cpu來作這些任務，而一個cpu同一時刻只能執行一個任務！windows

　　1.併發：是僞並行，即看起來是同時運行。單個cpu+多道技術就能夠實現併發，（並行也屬於併發）多線程

假如把你本身看成cpu，你今天有3個任務分別是洗衣服，買菜燒飯，帶孩子。

因此你就被這三個任務共享了，可是你只有一我的，並不能同一時間作3種事情，想要實現併發的效果？
首先你應該準備準備好洗衣機，須要洗的衣服，洗衣液，將衣服放在洗衣機中後，你帶孩子上街，帶到街上後你開始買菜，買菜回來後，讓孩子去玩玩具後你開始燒飯。

單cpu，多進程，併發舉例1:

假如把你本身看成cpu，你分別交了三個女友分別是林志玲，張慧敏，邱淑貞。
            
首先你跟林志玲去看了電影，看了一會說肚子疼，而後跟張慧敏去聽演唱會，聽了一會說我去下洗手間，結果在洗手間跟邱淑貞來了個顛鸞倒鳳....

單cpu ,多進程，併發舉例2:

　　2.並行：同時運行，只有具有多個cpu才能實現並行

         　　單核下，能夠利用多道技術，多個核，每一個核也均可以利用多道技術（多道技術是針對單核而言的），

         　　有四個核，六個任務，這樣同一時間有四個任務被執行，假設分別被分配給了cpu1，cpu2，cpu3，cpu4，

        　　一旦任務1遇到I/O就被迫中斷執行，此時任務5就拿到cpu1的時間片去執行，這就是單核下的多道技術，

         　　而一旦任務1的I/O結束了，操做系統會從新調用它(需知進程的調度、分配給哪一個cpu運行，由操做系統說了算)，可能被分配給四個cpu中的任意一個去執行。架構

　　全部現代計算機常常會在同一時間作不少件事，一個用戶的PC（不管是單cpu仍是多cpu），均可以同時運行多個任務（一個任務能夠理解爲一個進程）。

　　　　啓動一個進程來殺毒（360軟件）

　　　啓動一個進程來看電影（暴風影音）

　　　　啓動一個進程來聊天（騰訊QQ）

　　全部的這些進程都需被管理，因而一個支持多進程的多道程序系統是相當重要的

　　多道技術概念回顧：內存中同時存入多道（多個）程序，cpu從一個進程快速切換到另一個，使每一個進程各自運行幾十或幾百毫秒，這樣，雖然在某一個瞬間，一個cpu只能執行一個任務，但在1秒內，cpu卻能夠運行多個進程，這就給人產生了並行的錯覺，即僞併發，以此來區分多處理器操做系統的真正硬件並行（多個cpu共享同一個物理內存）。

四同步\異步and阻塞\非阻塞（重點）

　　1.同步：
   　　#所謂同步，就是在發出一個功能調用時，在沒有獲得結果以前，該調用就不會返回。按照這個定義，其實絕大多數函數都是同步調用。
   　　可是通常而言，咱們在說同步、異步的時候，特指那些須要其餘部件協做或者須要必定時間完成的任務。

   　　 #舉例：
   　　　　 #1. multiprocessing.Pool下的apply #發起同步調用後，就在原地等着任務結束，根本不考慮任務是在計算仍是在io阻塞，總之就是一股腦地等任務結束
   　　　 #2. concurrent.futures.ProcessPoolExecutor().submit(func,).result()
　　　　 #3. concurrent.futures.ThreadPoolExecutor().submit(func,).result()

　　2.異步：

   　　#異步的概念和同步相對。當一個異步功能調用發出後，調用者不能馬上獲得結果。
   　　當該異步功能完成後，經過狀態、通知或回調來通知調用者。
   　　若是異步功能用狀態來通知，那麼調用者就須要每隔必定時間檢查一次，效率就很低。
   　　(有些初學多線程編程的人，總喜歡用一個循環去檢查某個變量的值，這實際上是一種很嚴重的錯誤)。
   　　若是是使用通知的方式，效率則很高，由於異步功能幾乎不須要作額外的操做。至於回調函數，其實和通知沒太多區別。

   　　 #舉例：
   　　　　 #1. multiprocessing.Pool().apply_async() #發起異步調用後，並不會等待任務結束才返回，相反，會當即獲取一個臨時結果（並非最終的結果，多是封裝好的一個對象）。
   　　　　#2. concurrent.futures.ProcessPoolExecutor(3).submit(func,)
   　　　　 #3. concurrent.futures.ThreadPoolExecutor(3).submit(func,)

　　3.阻塞：
   　　 #阻塞調用是指調用結果返回以前，當前線程會被掛起（如遇到io操做）。函數只有在獲得結果以後纔會將阻塞的線程激活。
   　　有人也許會把阻塞調用和同步調用等同起來，實際上他是不一樣的。對於同步調用來講，不少時候當前線程仍是激活的，只是從邏輯上當前函數沒有返回而已。

   　　#舉例：
   　　　　 #1.同步調用：apply一個累計1億次的任務，該調用會一直等待，直到任務返回結果爲止，但並未阻塞住
   　　　　（即使是被搶走cpu的執行權限，那也是處於就緒態）;
   　　　　 #2. 阻塞調用：當socket工做在阻塞模式的時候，若是沒有數據的狀況下調用recv函數，則當前線程就會被掛起，直到有數據爲止。

　　4.非阻塞：
　　　　#非阻塞和阻塞的概念相對應，指在不能馬上獲得結果以前也會馬上返回，同時該函數不會阻塞當前線程。


   *小結：

   #1. 同步與異步針對的是函數/任務的調用方式：同步就是當一個進程發起一個函數（任務）調用的時候，一直等到函數（任務）完成，而進程繼續處於激活狀態。
   而異步狀況下是當一個進程發起一個函數（任務）調用的時候，不會等函數返回，而是繼續往下執行當，函數返回的時候經過狀態、通知、事件等方式通知進程任務完成。

   #2. 阻塞與非阻塞針對的是進程或線程：阻塞是當請求不能知足的時候就將進程掛起，而非阻塞則不會阻塞當前進程。

五進程的建立（瞭解）

　　1.爲什麼須要建立進程？

　　　　但凡是硬件，都須要有操做系統去管理，只要有操做系統，就有進程的概念，就須要有建立進程的方式，一些操做系統只爲一個應用程序設計，好比微波爐中的控制器，一旦啓動微波爐，全部的進程　　　　都已經存在。

　　2.建立進程的4種形式?
　　　　而對於通用系統（跑不少應用程序），須要有系統運行過程當中建立或撤銷進程的能力，主要分爲4中形式建立新的進程:

　　　 1).系統初始化
　　查看進程linux中用ps命令，windows中用任務管理器，前臺進程負責與用戶交互，後臺運行的進程與用戶無關，運行在後臺而且只在須要時才喚醒的進程，稱爲守護進程，如電子郵件、web頁面、新聞、打印。

　　　　2). 一個進程在運行過程當中開啓了子進程（如nginx開啓多進程，os.fork,subprocess.Popen等）

　　　　3). 用戶的交互式請求，而建立一個新進程（如用戶雙擊暴風影音）

　　　　4). 一個批處理做業的初始化（只在大型機的批處理系統中應用）

　　

　　　　不管哪種，新進程的建立都是由一個已經存在的進程執行了一個用於建立進程的系統調用而建立的：

　　　　1.在UNIX中該系統調用是：fork，fork會建立一個與父進程如出一轍的副本，兩者有相同的存儲映像、一樣的環境字符串和一樣的打開文件

　　　　（在shell解釋器進程中，執行一個命令就會建立一個子進程）

　　　　2. 在windows中該系統調用是：CreateProcess，CreateProcess既處理進程的建立，也負責把正確的程序裝入新進程

　　3.關於建立的子進程，UNIX和windows的區別？

　　1.相同的是：進程建立後，父進程和子進程有各自不一樣的地址空間（多道技術要求物理層面實現進程之間內存的隔離），任何一個進程的在其地址空間中的修改都不會影響到另一個進程。

　　2.不一樣的是：在UNIX中，子進程的初始地址空間是父進程的一個副本，提示：子進程和父進程是能夠有隻讀的共享內存區的。可是對於windows系統來講，從一開始父進程與子進程的地址空間就是不一樣　　　的。

六進程的終止（瞭解）

　　1. 正常退出（自願，如用戶點擊交互式頁面的叉號，或程序執行完畢調用發起系統調用正常退出，在linux中用exit，在windows中用ExitProcess）

　　2. 出錯退出（自願，python a.py中a.py不存在）

　　3. 嚴重錯誤（非自願，執行非法指令，如引用不存在的內存，1/0等，能夠捕捉異常，try...except...）

　　4. 被其餘進程殺死（非自願，如kill -9）

　　5.斷電關機等(非自願)

七進程的層次結構

　　不管UNIX仍是windows，進程只有一個父進程，不一樣的是：

　　1. 在UNIX中全部的進程，都是以init進程爲根，組成樹形結構。父子進程共同組成一個進程組，這樣，當從鍵盤發出一個信號時，該信號被送給當前與鍵盤相關的進程組中的全部成員。

　　2. 在windows中，沒有進程層次的概念，全部的進程都是地位相同的，惟一相似於進程層次的暗示，是在建立進程時，父進程獲得一個特別的令牌（稱爲句柄）,該句柄能夠用來控制子進程，可是父進程有權把該句柄傳給其餘子進程，這樣就沒有層次了

八進程的狀態

　　tail -f access.log |grep '404'

　　執行程序tail，開啓一個子進程，執行程序grep，開啓另一個子進程，兩個進程之間基於管道'|'通信，將tail的結果做爲grep的輸入。

　　進程grep在等待輸入（即I/O）時的狀態稱爲阻塞，此時grep命令都沒法運行。

　　其實在兩種狀況下會致使一個進程在邏輯上不能運行：

　　　　1. 進程掛起是自身緣由，遇到I/O阻塞，便要讓出CPU讓其餘進程去執行，這樣保證CPU一直在工做。

　　　　2. 與進程無關，是操做系統層面，可能會由於一個進程佔用時間過多，或者優先級等緣由，而調用其餘的進程去使用CPU。

　　於是一個進程由三種狀態: