python线程池模块第三方包_python线程池(threadpool)模块使用笔记详解
最近在做一個(gè)視頻設(shè)備管理的項(xiàng)目,設(shè)備包括(攝像機(jī),DVR,NVR等),包括設(shè)備信息補(bǔ)全,設(shè)備狀態(tài)推送,設(shè)備流地址推送等,如果同時(shí)導(dǎo)入的設(shè)備數(shù)量較多,如果使用單線程進(jìn)行設(shè)備檢測(cè),那么由于設(shè)備數(shù)量較多,會(huì)帶來(lái)較大的延時(shí),因此考慮多線程處理此問(wèn)題。
可以使用python語(yǔ)言自己實(shí)現(xiàn)線程池,或者可以使用第三方包threadpool線程池包,本主題主要介紹threadpool的使用以及其里面的具體實(shí)現(xiàn)。
一、安裝與簡(jiǎn)介 pip install threadpool
pool = ThreadPool(poolsize)
requests = makeRequests(some_callable, list_of_args, callback)
[pool.putRequest(req) for req in requests]
pool.wait()
第一行定義了一個(gè)線程池,表示最多可以創(chuàng)建poolsize這么多線程;
第二行是調(diào)用makeRequests創(chuàng)建了要開(kāi)啟多線程的函數(shù),以及函數(shù)相關(guān)參數(shù)和回調(diào)函數(shù),其中回調(diào)函數(shù)可以不寫(xiě),default是無(wú),也就是說(shuō)makeRequests只需要2個(gè)參數(shù)就可以運(yùn)行;
第三行用法比較奇怪,是將所有要運(yùn)行多線程的請(qǐng)求扔進(jìn)線程池,[pool.putRequest(req) for req in requests]等同于
for req in requests:pool.putRequest(req)
第四行是等待所有的線程完成工作后退出。
二、代碼實(shí)例 import time
def sayhello(str):
print "Hello ",str
time.sleep(2)
name_list =['xiaozi','aa','bb','cc']
start_time = time.time()
for i in range(len(name_list)):
sayhello(name_list[i])
print '%d second'% (time.time()-start_time)
改用線程池代碼,花費(fèi)時(shí)間更少,更效率 import time
import threadpool
def sayhello(str):
print "Hello ",str
time.sleep(2)
name_list =['xiaozi','aa','bb','cc']
start_time = time.time()
pool = threadpool.ThreadPool(10)
requests = threadpool.makeRequests(sayhello, name_list)
[pool.putRequest(req) for req in requests]
pool.wait()
print '%d second'% (time.time()-start_time)
當(dāng)函數(shù)有多個(gè)參數(shù)的情況,函數(shù)調(diào)用時(shí)第一個(gè)解包list,第二個(gè)解包dict,所以可以這樣: def hello(m, n, o):
""""""
print "m = %s, n = %s, o = %s"%(m, n, o)
if __name__ == '__main__':
# 方法1
lst_vars_1 = ['1', '2', '3']
lst_vars_2 = ['4', '5', '6']
func_var = [(lst_vars_1, None), (lst_vars_2, None)]
# 方法2
dict_vars_1 = {'m':'1', 'n':'2', 'o':'3'}
dict_vars_2 = {'m':'4', 'n':'5', 'o':'6'}
func_var = [(None, dict_vars_1), (None, dict_vars_2)]
pool = threadpool.ThreadPool(2)
requests = threadpool.makeRequests(hello, func_var)
[pool.putRequest(req) for req in requests]
pool.wait()
需要把所傳入的參數(shù)進(jìn)行轉(zhuǎn)換,然后帶人線程池。 def getuserdic():
username_list=['xiaozi','administrator']
password_list=['root','','abc123!','123456','password','root']
userlist = []
for username in username_list:
user =username.rstrip()
for password in password_list:
pwd = password.rstrip()
userdic ={}
userdic['user']=user
userdic['pwd'] = pwd
tmp=(None,userdic)
userlist.append(tmp)
return userlist
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持聚米學(xué)院。
總結(jié)
以上是生活随笔為你收集整理的python线程池模块第三方包_python线程池(threadpool)模块使用笔记详解的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 【Python】字典哈希表按键(key)
- 下一篇: 【Python】sort 和 sorte