Python內(nèi)存泄漏和內(nèi)存溢出的解決方法

發(fā)布時間：2020-10-30 23:08:34

來源：億速云

閱讀：92

作者：Leah

這篇文章將為大家詳細講解有關Python內(nèi)存泄漏和內(nèi)存溢出的解決方法，文章內(nèi)容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

一、內(nèi)存泄漏

像Java程序一樣，雖然Python本身也有垃圾回收的功能，但是同樣也會產(chǎn)生內(nèi)存泄漏的問題。

對于一個用 python 實現(xiàn)的，長期運行的后臺服務進程來說，如果內(nèi)存持續(xù)增長，那么很可能是有了“內(nèi)存泄露”。

1、內(nèi)存泄露的原因

對于 python 這種支持垃圾回收的語言來說，怎么還會有內(nèi)存泄露？ 概括來說，有以下三種原因：所用到的用 C 語言開發(fā)的底層模塊中出現(xiàn)了內(nèi)存泄露。

代碼中用到了全局的 list、 dict 或其它容器，不停的往這些容器中插入對象，而忘記了在使用完之后進行刪除回收

代碼中有“引用循環(huán)”，并且被循環(huán)引用的對象定義了__del__方法，就會發(fā)生內(nèi)存泄露。

為什么循環(huán)引用的對象定義了__del__方法后collect就不起作用了呢？

gc模塊最常使用的方法就是gc.collect()方法，使用collect方法對循環(huán)引用的對象進行垃圾回收。

如果我們在類中重載了__del__方法。__del__方法定義了在用del語句刪除對象時除了釋放內(nèi)存空間以外的操作。

一般而言，在使用了del語句的時候解釋器首先會看要刪除對象的引用計數(shù)，如果為0，那么就釋放內(nèi)存并執(zhí)行del方法。

在這里，首先del語句出現(xiàn)時本身引用計數(shù)就不為0(因為有循環(huán)引用的存在)，所以解釋器不釋放內(nèi)存；

再者，執(zhí)行collect方法時應該會清除循環(huán)引用所產(chǎn)生的無效引用計數(shù)從而達到del的目的，對于這兩個循環(huán)引用對象而言，

python無法判斷調用它們的del方法時會不會要用到對方那個對象，比如在進行b.del()時可能會用到b._a也就是a，如果在那之前a已經(jīng)被釋放，那么就徹底GG了。

為了避免這種情況，collect方法默認不對重載了del方法的循環(huán)引用對象進行回收，而它們倆的狀態(tài)也會從unreachable轉變?yōu)閡ncollectable。由于是uncollectable的，自然就不會被collect處理，所以就進入了garbage列表。

2、內(nèi)存泄露的診斷思路

無論是哪種方式的內(nèi)存泄露，最終表現(xiàn)的形式都是某些 python 對象在不停的增長；因此，首先是要找到這些異常的對象。

3、診斷步驟

用到的工具： gc 模塊和 objgraph 模塊

gc模塊 是Python的垃圾收集器模塊，gc使用標記清除算法回收垃圾

objgraph 是一個用于診斷內(nèi)存問題的工具1、 在服務程序的循環(huán)邏輯中，選擇出一個診斷點

2、 在診斷點，插入如下診斷語句

import gc

import objgraph

### 強制進行垃圾回收

gc.collect()

### 打印出對象數(shù)目最多的 50 個類型信息

objgraph.show_most_common_types(limit=50)

4、檢查統(tǒng)計信息，找到異常對象

運行加入診斷語句的服務程序，并將打印到屏幕上的統(tǒng)計信息重定向到日志中。運行一段時間后，就可以來分析日志，看看哪些對象在不停的增長。

比如，排查結果可能是：

一個多線程程序，多個線程作為生產(chǎn)者，一個線程作為消費者，通過將一個 tuple 對象送入異步隊列進行通信。

由于消費者的處理速度跟不上生產(chǎn)者的速度，又沒有進行同步， 導致異步隊列中的對象越來越多。

二、內(nèi)存溢出

1、內(nèi)存溢出原因內(nèi)存中加載的數(shù)據(jù)量過于龐大，如一次從數(shù)據(jù)庫取出過多數(shù)據(jù)

集合類中有對對象的引用，使用完后未清空，產(chǎn)生了堆積，使得JVM不能回收

代碼中存在死循環(huán)或循環(huán)產(chǎn)生過多重復的對象實體

使用的第三方軟件中的BUG

啟動參數(shù)內(nèi)存值設定的過小

2、內(nèi)存溢出的解決方案

第一步，修改JVM啟動參數(shù)，直接增加內(nèi)存(-Xms，-Xmx參數(shù)一定不要忘記加)

第二步，檢查錯誤日志，查看“OutOfMemory”錯誤前是否有其 它異常或錯誤

第三步，對代碼進行走查和分析，找出可能發(fā)生內(nèi)存溢出的位置

重點排查以下幾點：檢查對數(shù)據(jù)庫查詢中，是否有一次獲得全部數(shù)據(jù)的查詢。一般來說，如果一次取十萬條記錄到內(nèi)存，就可能引起內(nèi)存溢出。這個問題比較隱蔽，在上線前，數(shù)據(jù)庫中數(shù)據(jù)較少，不容易出問題，上線后，數(shù)據(jù)庫中數(shù)據(jù)多了，一次查詢就有可能引起內(nèi)存溢出。因此對于數(shù)據(jù)庫查詢盡量采用分頁的方式查詢。

檢查代碼中是否有死循環(huán)或遞歸調用。

檢查是否有大循環(huán)重復產(chǎn)生新對象實體。

檢查List、MAP等集合對象是否有使用完后，未清除的問題。List、MAP等集合對象會始終存有對對象的引用，使得這些對象不能被GC回收。

第四步，使用內(nèi)存查看工具動態(tài)查看內(nèi)存使用情況

三、內(nèi)存泄漏和內(nèi)存溢出的區(qū)別

內(nèi)存溢出是指向JVM申請內(nèi)存空間時沒有足夠的可用內(nèi)存了，就會拋出OOM即內(nèi)存溢出。

內(nèi)存泄漏是指，向JVM申請了一塊內(nèi)存空間，使用完后沒有釋放，由于沒有釋放，這塊內(nèi)存區(qū)域其他類加載的時候無法申請，

同時當前類又沒有這塊內(nèi)存空間的內(nèi)存地址了也無法使用，相當于丟了一塊內(nèi)存，這就是內(nèi)存泄漏。

值得注意的是內(nèi)存泄漏最終會導致內(nèi)存溢出，很好理解，內(nèi)存丟了很多最后當然內(nèi)存不夠用了。

關于Python內(nèi)存泄漏和內(nèi)存溢出的解決方法就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

總結

以上是生活随笔為你收集整理的python会内存泄漏吗_Python内存泄漏和内存溢出的解决方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。