標簽：

Python?打算刪除大量涉及像C和C++語言那樣的復雜內存管理。當對象離開范圍，就會被自動垃圾收集器回收。然而，對于由Python?開發的大型且長期運行的系統來說，內存管理是不容小覷的事情。

在這篇博客中，我將會分享關于減少?Python?內存消耗的方法和分析導致內存消耗/膨脹根源的問題。這些都是從實際操作中總結的經驗，我們正在構建Datos IO?的RecoverX?分布式備份和恢復平臺，這里主要要介紹的是在Python(在C++?，Java?和bash?中也有一些類似的組件) 中的開發。

Python?垃圾收集

Python解釋器對正在使用的對象保持計數。當對象不再被引用指向的時候，垃圾收集器可以釋放該對象，獲取分配的內存。例如，如果你使用常規的Python(CPython,?不是JPython)時，Python的垃圾收集器將調用free()/delete()?。

實用工具

資源(resource)

resource’?模塊用來查看項目當前得的固有的)內存消耗

[固有內存是項目實際使用的RAM]

>>> import resource>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss4332

對象(objgraph)

objgraph’?是一個實用模塊,可以展示當前內存中存在的對象

來看看objgraph的簡單用法：

importobjgraphimportrandomimportinspect

classFoo(object):

def__init__(self):

self.val =None

def__str__(self):

return“foo – val: {0}”.format(self.val)

deff():

l = []

foriinrange(3):

foo = Foo()

#print “id of foo: {0}”.format(id(foo))

#print “foo is: {0}”.format(foo)

l.append(foo)

returnl

defmain():

d = {}

l = f()

d[‘k’] = l

print“list l has {0} objectsoftype Foo()”.format(len(l))

objgraph.show_most_common_types()

objgraph.show_backrefs(random.choice(objgraph.by_type(‘Foo’)),

filename=“foo_refs.png”)

objgraph.show_refs(d, filename=‘sample-graph.png’)

if__name__ == “__main__”:

main()

pythontest1.py

list l has 10000 objectsoftype Foo()

dict 10423

Foo 10000 ————> Guiltyas charged!

tuple 3349

wrapper_descriptor 945

function 860

builtin_function_or_method 616

method_descriptor 338

weakref 199

member_descriptor 161

getset_descriptor 107

注意，我們在內存中還持有10,423個‘dict’的實例對象。

可視化objgraph依賴項

Objgraph有個不錯的功能，可以顯示Foo()對象在內存中存在的因素，即，顯示誰持有對它的引用(在這個例子中是list ‘l’)。

在RedHat/Centos上,?你可以使用sudo yum install yum install graphviz*安裝graphviz

如需查看對象字典，d，請參考:

objgraph.show_refs(d, filename=’sample-graph.png’)

從內存使用角度來看，我們驚奇地發現——為什么對象沒有釋放?這是因為有人在持有對它的引用。

這個小片段展示了objgraph怎樣提供相關信息:

objgraph.show_backrefs(random.choice(objgraph.by_type(‘Foo’)),

filename=“foo_refs.png”)

在這一案例中,?我們查看了Foo類型的隨機對象。我們知道該特定對象被保存在內存中，因其引用鏈接在指定范圍內。

有時，以上技巧能幫助我們理解，為什么當我們不再使用某對象時，Python垃圾回收器沒有將垃圾回收。

難處理的是，有時候我們會發現Foo()占用了很多內存的類。這時我們可以用heapy()來回答以上問題。

Heapy

heapy?是一個實用的，用于調試內存消耗/泄漏的工具。通常，我將objgraph和heapy搭配使用：用heapy?查看分配對象隨時間增長的差異，heapy能夠顯示對象持有的最大內存等；用Objgraph找backref鏈(例如：前4節)，嘗試獲取它們不能被釋放的原因。

Heapy的典型用法是在不同地方的代碼中調用一個函數，試圖為內存使用量提供大量收集線索，找到可能會引發的問題：

fromguppyimport hpy

defdump_heap(h, i):

“””

@param h: Theheap (fromhp = hpy(), h = hp.heap())

@param i: Identifierstr

“””

print“Dumpingstatsat: {0}”.format(i)

print‘Memoryusage: {0} (MB)’.format(resource.getrusage(resource.RUSAGE_SELF).ru_maxrss/1024)

print“Mostcommontypes:”

objgraph.show_most_common_types()

print“heapis:”

print“{0}”.format(h)

by_refs = h.byrcs

print“byreferences: {0}”.format(by_refs)

print“Morestatsfor topelement..”

print“Byclodo (classordictowner): {0}”.format(by_refs[0].byclodo)

print“Bysize: {0}”.format(by_refs[0].bysize)

print“Byid: {0}”.format(by_refs[0].byid)

減少內存消耗小技巧

在這一部分，我會介紹一些自己發現的可減少內存消耗的小竅門.

Slots

當你有許多對象時候可以使用Slots。Slotting傳達給Python解釋器：你的對象不需要動態的字典(從上面的例子2.2中，我們看到每個Foo()對象內部包含一個字典)

用slots定義你的對象，讓python解釋器知道你的類屬性/成員是固定的.。這樣可以有效地節約內存!

參考以下代碼：

importresourceclassFoo(object):

#__slots__ = (‘val1’, ‘val2’, ‘val3’, ‘val4’, ‘val5’, ‘val6’)

def__init__(self, val):

self.val1 = val+1

self.val2 = val+2

self.val3 = val+3

self.val4 = val+4

self.val5 = val+5

self.val6 = val+6

deff(count):

l = []

foriinrange(count):

foo = Foo(i)

l.append(foo)

returnl

defmain():

count = 10000

l = f(count)

mem = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss

print“Memoryusageis: {0} KB”.format(mem)

print“Sizeperfooobj: {0} KB”.format(float(mem)/count)

if__name__ == “__main__”:

main()

[vagrant@datosdevtemp]$ pythontest2.py

Memoryusageis: 16672 KB

Sizeperfooobj: 1.6672 KB

Nowun-commentthisline: #__slots__ = (‘val1’, ‘val2’, ‘val3’, ‘val4’, ‘val5’, ‘val6’)

[vagrant@datosdevtemp]$ pythontest2.py

Memoryusageis: 6576 KB

Sizeperfooobj: 0.6576 KB

在這個例子中，減少了60%的內存消耗！

駐留：謹防駐留字符串！

Python會記錄如字符串等不可改變的值(其每個值的大小依賴于實現方法)，這稱為駐留。

>>> t = “abcdefghijklmnopqrstuvwxyz”>>> p = “abcdefghijklmnopqrstuvwxyz”>>> id(t)139863272322872

>>> id(p)139863272322872

這是由python解析器完成的，這樣做可以節省內存，并加快比較速度。例如，如果兩個字符串擁有相同的ID或引用–他們就是全等的。

然而，如果你的程序創建了許多小的字符串，你的內存就會出現膨脹。

生成字符串時使用Format來代替“+”

接下來，在構造字符串時，使用Format來代替“+”構建字符串。

亦即，

st = “{0}_{1}_{2}_{3}”.format(a,b,c,d) #?對內存更好，不創建臨時變量stst2 = a + ‘_’ + b + ‘_’ + c + ‘_’ + d #?在每個“+”時創建一個臨時str，這些都是駐留在內存中的。

在我們的系統中，當我們將某些字符串構造從“+”變為使用format時，內存會明顯被節省。

關于系統級別

上面我們討論的技巧可以幫助你找出系統內存消耗的問題。但是，隨著時間的推移，python進程產生的內存消耗會持續增加。這似乎與以下問題有關:

．?為什么C中內存分配能夠在Python內部起作用，這本質上是內存碎片導致的。因為，除非整個內存沒有使用過，否則該分配過程不能調用‘free’方法。但需要注意的是，內存的使用不是根據你所創建和使用的對象來進行排列。

．?內存增加也和上面討論的“Interning”?有關。

以我的經驗來看，減少python中內存消耗的比例是可行的。在Datos IO中，我曾經針對指定的內存消耗進程實現過一個工作模塊。對于序列化的工作單元，我們運行了一個工作進程。當工作進程完成后,?它會被移除了——這是返回系統全部內存的唯一可以有效方法:)。好的內存管理允許增加分配內存的大小，即允許工作進程長時間運行。

總結

我歸納了一些減少python進程消耗內存的技巧，當我們在代碼中尋找內存泄漏時，一種方法是通過使用Heapy找出哪些Obj占用了較多內存，然后通過使用Objgraph找出內存被釋放的原因(除非你認為他們本應該被釋放)。

總的來說，我覺得在python中尋找內存問題是一種修行。隨著時間的積累，對于系統中的內存膨脹和泄漏問題，你能產生一種直覺判斷，并能更快地解決它們。愿你在發現問題的過程中找到樂趣！

總結

以上是生活随笔為你收集整理的python内存消耗大吗_如何减少python内存的消耗？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。