Python进阶:程序界的垃圾分类回收
垃圾回收是 Python 自帶的機制,用于自動釋放不會再用到的內存空間;
什么是內存泄漏呢?
- 內存泄漏,并不是說你的內存出現了信息安全問題,被惡意程序利用了,而是指程序本身沒有設計好,導致程序未能釋放已不再使用的內存。
- 內存泄漏也不是指你的內存在物理上消失了,而是意味著代碼在分配了某段內存后,因為設計錯誤,失去了對這段內存的控制,從而造成了內存的浪費。
計數引用
Python 中一切皆對象。當這個對象的引用計數(指針數)為 0 的時候,說明這個對象永不可達,自然它也就成為了垃圾,需要被回收。
例:
# 顯示當前 python 程序占用的內存大小 def show_memory_info(hint):pid = os.getpid()p = psutil.Process(pid)info = p.memory_full_info()memory = info.uss / 1024. / 1024print('{} memory used: {} MB'.format(hint, memory)) def func():show_memory_info('initial')a = [i for i in range(10000000)]show_memory_info('after a created')func() show_memory_info('finished')########## 輸出 ########## # initial memory used: 6.62890625 MB # after a created memory used: 199.33203125 MB # finished memory used: 7.6640625 MB程序初始化時占的內存為6MB,接著創建了一個列表a,由于a還沒被回收,因此占的內存升到了200MB,當函數返回后,a的引用計數為0,a被回收,內存又恢復到了7MB。
如果把a變成全局變量,函數返回后,引用計數依然大于0,于是對象就不會被垃圾回收,依然占著大量的內存
def func():show_memory_info('initial')global aa = [i for i in range(10000000)]show_memory_info('after a created')func() show_memory_info('finished')########## 輸出 ########### initial memory used: 6.67578125 MB # after a created memory used: 199.30859375 MB # finished memory used: 199.30859375 MB或者把列表返回,在主程序中接收,引用依然存在,垃圾回收就不會被觸發,大量內存仍然被占用著
def func():show_memory_info('initial')a = [i for i in range(10000000)]show_memory_info('after a created')return aa = func() show_memory_info('finished')########## 輸出 ########### initial memory used: 6.6484375 MB # after a created memory used: 199.2890625 MB # finished memory used: 199.2890625 MB看一下 Python 內部的引用計數機制
import sysa = []# 兩次引用,一次來自 a,一次來自 getrefcount print(sys.getrefcount(a))def func(a):# 四次引用,a,python 的函數調用棧,函數參數,和 getrefcountprint(sys.getrefcount(a))func(a)# 兩次引用,一次來自 a,一次來自 getrefcount,函數 func 調用已經不存在 print(sys.getrefcount(a))########## 輸出 ##########2 4 2sys.getrefcount() 這個函數,可以查看一個變量的引用次數。這段代碼本身應該很好理解,不過別忘了,getrefcount 本身也會引入一次計數。另一個要注意的是,在函數調用發生的時候,會產生額外的兩次引用,一次來自函數棧,另一個是函數參數。
又如:
import sysa = []print(sys.getrefcount(a)) # 兩次 b = aprint(sys.getrefcount(a)) # 三次 c = b d = b e = c f = e g = dprint(sys.getrefcount(a)) # 八次########## 輸出 ##########2 3 8a、b、c、d、e、f、g 這些變量全部指代的是同一個對象,而 sys.getrefcount() 函數并不是統計一個指針,而是要統計一個對象被引用的次數,所以最后一共會有八次引用。
手動釋放內存,應該怎么做呢? 方法同樣很簡單。只需要先調用 del a 來刪除一個對象;然后強制調用 gc.collect(),即可手動啟動垃圾回收。
import gc import os import psutil # 顯示當前 python 程序占用的內存大小 def show_memory_info(hint):pid = os.getpid()p = psutil.Process(pid)info = p.memory_full_info()memory = info.uss / 1024. / 1024print('{} memory used: {} MB'.format(hint, memory))show_memory_info('initial')a = [i for i in range(10000000)]show_memory_info('after a created')del a gc.collect()show_memory_info('finish') print(a)initial memory used: 6.54296875 MB after a created memory used: 199.17578125 MB finish memory used: 7.26171875 MB Traceback (most recent call last):File "Coroutine.py", line 24, in <module>print(a) NameError: name 'a' is not defined循環引用
? 觀察代碼:
def func():show_memory_info('initial')a = [i for i in range(10000000)]b = [i for i in range(10000000)]show_memory_info('after a, b created')a.append(b)b.append(a)func() show_memory_info('finished')########## 輸出 ##########? initial memory used: 6.625 MB
? after a, b created memory used: 392.08984375 MB
? finished memory used: 392.08984375 MB
這里,a 和 b 互相引用,并且,作為局部變量,在函數 func 調用結束后,a 和 b 這兩個指針從程序意義上已經不存在了。但是,很明顯,依然有內存占用!為什么呢?因為互相引用,導致它們的引用數都不為 0。
處理這種情況,可以調用顯式調用 gc.collect() ,來啟動垃圾回收。
Python 使用標記清除(mark-sweep)算法和分代收集(generational),來啟用針對循環引用的自動垃圾回收。
調試內存泄漏
objgraph,一個非常好用的可視化引用關系的包.
安裝:
pip install graphviz pip install xdot pip install objgraphwindows的話要除了裝以上庫還要在官網https://graphviz.gitlab.io/_pages/Download/Download_windows.html下載,然后設置環境變量 Path增加C:\Program Files (x86)\Graphviz2.38\bin,在CMD輸入dot -version驗證。
通過下面這段代碼和生成的引用調用圖,你能非常直觀地發現,有兩個 list 互相引用,說明這里極有可能引起內存泄露。
import objgrapha = [1, 2, 3] b = [4, 5, 6]a.append(b) b.append(a)objgraph.show_refs([a])
注:在windows中可能會提示:
Graph written to C:\Users\Public\Documents\Wondershare\CreatorTemp\objgraph-wwcqiie_.dot (8 nodes) Image renderer (dot) not found, not doing anything else這時只要在打開dot文件所在的路徑,然后CMD中執行
dot .\objgraph-yclwfpzr.dot -Tpng -o image.png就可以生成文件。
另一個非常有用的函數,是 show_backrefs()。以下是調用show_backrefs()生成的圖片。
?參考
極客時間《Python核心技術與實戰》專欄
轉載于:https://www.cnblogs.com/xiaoguanqiu/p/11197604.html
總結
以上是生活随笔為你收集整理的Python进阶:程序界的垃圾分类回收的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Cisco 交換機命名規則
- 下一篇: JavaScript中的true和fal