Python数据存储:pickle模块的使用讲解(测试代码)
在機器學習中,我們常常需要把訓練好的模型存儲起來,這樣在進行決策時直接將模型讀出,而不需要重新訓練模型,這樣就大大節約了時間。Python提供的pickle模塊就很好地解決了這個問題,它可以序列化對象并保存到磁盤中,并在需要的時候讀取出來,任何對象都可以執行序列化操作。
Pickle模塊中最常用的函數為:
(1)pickle.dump(obj, file, [,protocol])
????????函數的功能:將obj對象序列化存入已經打開的file中。
???????參數講解:
obj:想要序列化的obj對象。
file:文件名稱。
protocol:序列化使用的協議。如果該項省略,則默認為0。如果為負值或HIGHEST_PROTOCOL,則使用最高的協議版本。
(2)pickle.load(file)
????????函數的功能:將file中的對象序列化讀出。
????????參數講解:
file:文件名稱。
(3)pickle.dumps(obj[, protocol])
???????函數的功能:將obj對象序列化為string形式,而不是存入文件中。
???????參數講解:
obj:想要序列化的obj對象。
protocal:如果該項省略,則默認為0。如果為負值或HIGHEST_PROTOCOL,則使用最高的協議版本。
(4)pickle.loads(string)
???????函數的功能:從string中讀出序列化前的obj對象。
???????參數講解:
string:文件名稱。
?????【注】 dump() 與 load() 相比 dumps() 和 loads() 還有另一種能力:dump()函數能一個接著一個地將幾個對象序列化存儲到同一個文件中,隨后調用load()來以同樣的順序反序列化讀出這些對象。
?????【代碼示例】
??????pickleExample.py
#coding:utf-8 __author__ = 'MsLili' #pickle模塊主要函數的應用舉例 import pickle dataList = [[1, 1, 'yes'],[1, 1, 'yes'],[1, 0, 'no'],[0, 1, 'no'],[0, 1, 'no']] dataDic = { 0: [1, 2, 3, 4],1: ('a', 'b'),2: {'c':'yes','d':'no'}}#使用dump()將數據序列化到文件中 fw = open('dataFile.txt','wb') # Pickle the list using the highest protocol available. pickle.dump(dataList, fw, -1) # Pickle dictionary using protocol 0. pickle.dump(dataDic, fw) fw.close()#使用load()將數據從文件中序列化讀出 fr = open('dataFile.txt','rb') data1 = pickle.load(fr) print(data1) data2 = pickle.load(fr) print(data2) fr.close()#使用dumps()和loads()舉例 p = pickle.dumps(dataList) print( pickle.loads(p) ) p = pickle.dumps(dataDic) print( pickle.loads(p) )??? 結果為:
? ? ? ? ? ? ? ??
個人實例測試
import picklewhite_domain_file = "top_domains1.pkl" new_white_domain_file = "top_domains_new.pkl"with open(white_domain_file, 'rb') as f:new_white_set = pickle.load(f) print(len(new_white_set))new_domains = ["laiqukankan.com","netease.com","321fenx.com","haowu.link","zhuanzfx.com","yqkk.link" ]for new_domain in new_domains:new_white_set.add(new_domain)with open(new_white_domain_file, "wb") as f:pickle.dump(new_white_set, f)with open(new_white_domain_file, 'rb') as f:new_white = pickle.load(f) print(len(new_white), type(new_white))?
總結
以上是生活随笔為你收集整理的Python数据存储:pickle模块的使用讲解(测试代码)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: E: Sub-process /usr/
- 下一篇: python twised系列教程四–t