Python進階:程序界的垃圾分類回收

　　垃圾回收是 Python 自帶的機制，用於自動釋放不會再用到的內存空間；html

什麼是內存泄漏呢？

內存泄漏，並非說你的內存出現了信息安全問題，被惡意程序利用了，而是指程序自己沒有設計好，致使程序未能釋放已再也不使用的內存。
內存泄漏也不是指你的內存在物理上消失了，而是意味着代碼在分配了某段內存後，由於設計錯誤，失去了對這段內存的控制，從而形成了內存的浪費。

計數引用

　　Python 中一切皆對象。當這個對象的引用計數（指針數）爲 0 的時候，說明這個對象永不可達，天然它也就成爲了垃圾，須要被回收。node

　　例：python

# 顯示當前 python 程序佔用的內存大小
def show_memory_info(hint): pid = os.getpid() p = psutil.Process(pid) info = p.memory_full_info() memory = info.uss / 1024. / 1024
    print('{} memory used: {} MB'.format(hint, memory))

def func(): show_memory_info('initial') a = [i for i in range(10000000)] show_memory_info('after a created') func() show_memory_info('finished') ########## 輸出 ##########

# initial memory used: 6.62890625 MB

# after a created memory used: 199.33203125 MB

# finished memory used: 7.6640625 MB

　　程序初始化時佔的內存爲6MB，接着建立了一個列表a，因爲a還沒被回收，所以佔的內存升到了200MB，當函數返回後，a的引用計數爲0，a被回收，內存又恢復到了7MB。git

　　若是把a變成全局變量，函數返回後，引用計數依然大於0，因而對象就不會被垃圾回收，依然佔着大量的內存算法

def func(): show_memory_info('initial') global a a = [i for i in range(10000000)] show_memory_info('after a created') func() show_memory_info('finished') ########## 輸出 ##########

# initial memory used: 6.67578125 MB # after a created memory used: 199.30859375 MB # finished memory used: 199.30859375 MB

　　或者把列表返回，在主程序中接收，引用依然存在，垃圾回收就不會被觸發，大量內存仍然被佔用着windows

def func(): show_memory_info('initial') a = [i for i in range(10000000)] show_memory_info('after a created') return a a = func() show_memory_info('finished') ########## 輸出 ##########

# initial memory used: 6.6484375 MB # after a created memory used: 199.2890625 MB # finished memory used: 199.2890625 MB

　　看一下 Python 內部的引用計數機制安全

import sys a = [] # 兩次引用，一次來自 a，一次來自 getrefcount
print(sys.getrefcount(a)) def func(a): # 四次引用，a，python 的函數調用棧，函數參數，和 getrefcount
    print(sys.getrefcount(a)) func(a) # 兩次引用，一次來自 a，一次來自 getrefcount，函數 func 調用已經不存在
print(sys.getrefcount(a)) ########## 輸出 ##########

2
4
2

　　sys.getrefcount() 這個函數，能夠查看一個變量的引用次數。這段代碼自己應該很好理解，不過別忘了，getrefcount 自己也會引入一次計數。另外一個要注意的是，在函數調用發生的時候，會產生額外的兩次引用，一次來自函數棧，另外一個是函數參數。app

　　又如：函數

import sys a = [] print(sys.getrefcount(a)) # 兩次
 b = a print(sys.getrefcount(a)) # 三次
 c = b d = b e = c f = e g = d print(sys.getrefcount(a)) # 八次

########## 輸出 ##########

2
3
8

　　a、b、c、d、e、f、g 這些變量所有指代的是同一個對象，而 sys.getrefcount() 函數並非統計一個指針，而是要統計一個對象被引用的次數，因此最後一共會有八次引用。gitlab

　　手動釋放內存，應該怎麼作呢？方法一樣很簡單。只須要先調用 del a 來刪除一個對象；而後強制調用 gc.collect()，便可手動啓動垃圾回收。

import gc import os import psutil # 顯示當前 python 程序佔用的內存大小
def show_memory_info(hint): pid = os.getpid() p = psutil.Process(pid) info = p.memory_full_info() memory = info.uss / 1024. / 1024
    print('{} memory used: {} MB'.format(hint, memory)) show_memory_info('initial') a = [i for i in range(10000000)] show_memory_info('after a created') del a gc.collect() show_memory_info('finish') print(a) initial memory used: 6.54296875 MB after a created memory used: 199.17578125 MB finish memory used: 7.26171875 MB Traceback (most recent call last): File "Coroutine.py", line 24, in <module>
    print(a) NameError: name 'a' is not defined

循環引用

　　觀察代碼：

def func(): show_memory_info('initial') a = [i for i in range(10000000)] b = [i for i in range(10000000)] show_memory_info('after a, b created') a.append(b) b.append(a) func() show_memory_info('finished') ########## 輸出 ##########

initial memory used: 6.625 MB
after a, b created memory used: 392.08984375 MB
finished memory used: 392.08984375 MB

　　這裏，a 和 b 互相引用，而且，做爲局部變量，在函數 func 調用結束後，a 和 b 這兩個指針從程序意義上已經不存在了。可是，很明顯，依然有內存佔用！爲何呢？由於互相引用，致使它們的引用數都不爲 0。

　　處理這種狀況，能夠調用顯式調用 gc.collect() ，來啓動垃圾回收。

　　Python 使用標記清除（mark-sweep）算法和分代收集（generational），來啓用針對循環引用的自動垃圾回收。

調試內存泄漏

　　objgraph，一個很是好用的可視化引用關係的包.

　　安裝：

pip install graphviz pip install xdot pip install objgraph

　　windows的話要除了裝以上庫還要在官網https://graphviz.gitlab.io/_pages/Download/Download_windows.html下載，而後設置環境變量 Path增長C:\Program Files (x86)\Graphviz2.38\bin，在CMD輸入dot -version驗證。

　　經過下面這段代碼和生成的引用調用圖，你能很是直觀地發現，有兩個 list 互相引用，說明這裏極有可能引發內存泄露。

import objgraph a = [1, 2, 3] b = [4, 5, 6] a.append(b) b.append(a) objgraph.show_refs([a])

　　注：在windows中可能會提示:

Graph written to C:\Users\Public\Documents\Wondershare\CreatorTemp\objgraph-wwcqiie_.dot (8 nodes) Image renderer (dot) not found, not doing anything else

　　這時只要在打開dot文件所在的路徑，而後CMD中執行

dot .\objgraph-yclwfpzr.dot -Tpng -o image.png

　　就能夠生成文件。

　　另外一個很是有用的函數，是 show_backrefs()。如下是調用show_backrefs()生成的圖片。

參考

　　極客時間《Python核心技術與實戰》專欄