Python数据存储:pickle模块的使用讲解(测试代码)
在機(jī)器學(xué)習(xí)中,我們常常需要把訓(xùn)練好的模型存儲(chǔ)起來,這樣在進(jìn)行決策時(shí)直接將模型讀出,而不需要重新訓(xùn)練模型,這樣就大大節(jié)約了時(shí)間。Python提供的pickle模塊就很好地解決了這個(gè)問題,它可以序列化對(duì)象并保存到磁盤中,并在需要的時(shí)候讀取出來,任何對(duì)象都可以執(zhí)行序列化操作。
Pickle模塊中最常用的函數(shù)為:
(1)pickle.dump(obj, file, [,protocol])
????????函數(shù)的功能:將obj對(duì)象序列化存入已經(jīng)打開的file中。
???????參數(shù)講解:
obj:想要序列化的obj對(duì)象。
file:文件名稱。
protocol:序列化使用的協(xié)議。如果該項(xiàng)省略,則默認(rèn)為0。如果為負(fù)值或HIGHEST_PROTOCOL,則使用最高的協(xié)議版本。
(2)pickle.load(file)
????????函數(shù)的功能:將file中的對(duì)象序列化讀出。
????????參數(shù)講解:
file:文件名稱。
(3)pickle.dumps(obj[, protocol])
???????函數(shù)的功能:將obj對(duì)象序列化為string形式,而不是存入文件中。
???????參數(shù)講解:
obj:想要序列化的obj對(duì)象。
protocal:如果該項(xiàng)省略,則默認(rèn)為0。如果為負(fù)值或HIGHEST_PROTOCOL,則使用最高的協(xié)議版本。
(4)pickle.loads(string)
???????函數(shù)的功能:從string中讀出序列化前的obj對(duì)象。
???????參數(shù)講解:
string:文件名稱。
?????【注】 dump() 與 load() 相比 dumps() 和 loads() 還有另一種能力:dump()函數(shù)能一個(gè)接著一個(gè)地將幾個(gè)對(duì)象序列化存儲(chǔ)到同一個(gè)文件中,隨后調(diào)用load()來以同樣的順序反序列化讀出這些對(duì)象。
?????【代碼示例】
??????pickleExample.py
#coding:utf-8 __author__ = 'MsLili' #pickle模塊主要函數(shù)的應(yīng)用舉例 import pickle dataList = [[1, 1, 'yes'],[1, 1, 'yes'],[1, 0, 'no'],[0, 1, 'no'],[0, 1, 'no']] dataDic = { 0: [1, 2, 3, 4],1: ('a', 'b'),2: {'c':'yes','d':'no'}}#使用dump()將數(shù)據(jù)序列化到文件中 fw = open('dataFile.txt','wb') # Pickle the list using the highest protocol available. pickle.dump(dataList, fw, -1) # Pickle dictionary using protocol 0. pickle.dump(dataDic, fw) fw.close()#使用load()將數(shù)據(jù)從文件中序列化讀出 fr = open('dataFile.txt','rb') data1 = pickle.load(fr) print(data1) data2 = pickle.load(fr) print(data2) fr.close()#使用dumps()和loads()舉例 p = pickle.dumps(dataList) print( pickle.loads(p) ) p = pickle.dumps(dataDic) print( pickle.loads(p) )??? 結(jié)果為:
? ? ? ? ? ? ? ??
個(gè)人實(shí)例測試
import picklewhite_domain_file = "top_domains1.pkl" new_white_domain_file = "top_domains_new.pkl"with open(white_domain_file, 'rb') as f:new_white_set = pickle.load(f) print(len(new_white_set))new_domains = ["laiqukankan.com","netease.com","321fenx.com","haowu.link","zhuanzfx.com","yqkk.link" ]for new_domain in new_domains:new_white_set.add(new_domain)with open(new_white_domain_file, "wb") as f:pickle.dump(new_white_set, f)with open(new_white_domain_file, 'rb') as f:new_white = pickle.load(f) print(len(new_white), type(new_white))?
總結(jié)
以上是生活随笔為你收集整理的Python数据存储:pickle模块的使用讲解(测试代码)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: E: Sub-process /usr/
- 下一篇: mongodb 创建数据库权限账号,增删