一、線程池與進(jìn)程池的區(qū)別

兩個(gè)關(guān)鍵詞：線程，進(jìn)程/池

池：可以將其理解為一種容器，有其固定的大小

什么時(shí)候用線程池/進(jìn)程池，分兩個(gè)問(wèn)題討論

1.什么時(shí)候用池：當(dāng)程序中的任務(wù)并發(fā)數(shù)遠(yuǎn)遠(yuǎn)大于計(jì)算機(jī)的承受能力時(shí)，就應(yīng)該用池的概念將開(kāi)啟的進(jìn)程數(shù)或者線程數(shù)限制在計(jì)算機(jī)的承受范圍之內(nèi)

2.用什么樣的池：用進(jìn)程池還是線程池取決于程序的類型，對(duì)于IO密集型—>線程，對(duì)于計(jì)算密集型—>進(jìn)程

這就涉及到并發(fā)和并行概念的區(qū)別。并發(fā)，是指一個(gè)處理器（進(jìn)程）能同時(shí)處理多個(gè)任務(wù)；并行，指的是多個(gè)處理器（進(jìn)程）同時(shí)處理多個(gè)不同的任務(wù)。一般可以認(rèn)為多線程用于并發(fā)任務(wù)處理，而多進(jìn)程用于并行任務(wù)處理。因此，當(dāng)任務(wù)是IO型的，適合用線程池的方式，因?yàn)橐粋€(gè)線程被IO掛起，其他的線程可以繼續(xù)執(zhí)行；而如果任務(wù)是CPU型的，適合用進(jìn)程池的方式，此時(shí)并未掛起，需要同時(shí)執(zhí)行任務(wù)。

二、實(shí)用案例

下載網(wǎng)頁(yè)的代碼為例，由于是IO密集型的，可以使用線程池
代碼：

# 參數(shù)times用來(lái)模擬網(wǎng)絡(luò)請(qǐng)求的時(shí)間 def get_html(i, times=5):print("get page {} start".format(i))if i == 2:times *= 10time.sleep(times) # 模擬IO行為print("get page {} finished".format(i))return i, timest0 = time.time() for i in range(5):get_html(i) t00 = time.time() print(f'normal exe time:{t00 - t0}')executor = ThreadPoolExecutor(max_workers=3) # 通過(guò)submit函數(shù)提交執(zhí)行的函數(shù)到線程池中，submit函數(shù)立即返回，不阻塞tasks = [executor.submit(get_html, i) for i in range(5)] # result方法可以獲取task的執(zhí)行結(jié)果 t1 = time.time() for task in tasks:print(task.result()) t2 = time.time() print(f'thread pool exe time:{t2 - t1}')

結(jié)果如下：

get page 0 start get page 1 start get page 2 start get page 0 finished get page 3 start (0, 5) get page 1 finished get page 4 start (1, 5) get page 3 finished get page 4 finished get page 2 finished (2, 50) (3, 5) (4, 5) thread pool exe time:50.0

結(jié)論：
1、有加速的作用
存在的問(wèn)題：
task.result一定要等待前面任務(wù)的結(jié)果返回，才能獲取后面任務(wù)的結(jié)果，這里可以用as_complete優(yōu)化

加入as_complete如下：

from concurrent.futures import ThreadPoolExecutor, as_completed import time# 參數(shù)times用來(lái)模擬網(wǎng)絡(luò)請(qǐng)求的時(shí)間 def get_html(i, times=5):print("get page {} start".format(i))if i == 2:times *= 10time.sleep(times) # 模擬IO行為print("get page {} finished".format(i))return i, timest0 = time.time() for i in range(5):get_html(i) t00 = time.time() print(f'normal exe time:{t00 - t0}')executor = ThreadPoolExecutor(max_workers=3) # 通過(guò)submit函數(shù)提交執(zhí)行的函數(shù)到線程池中，submit函數(shù)立即返回，不阻塞tasks = [executor.submit(get_html, i) for i in range(5)] # result方法可以獲取task的執(zhí)行結(jié)果 t1 = time.time() for task in as_completed(tasks):print(task.result()) t2 = time.time() print(f'thread pool exe time:{t2 - t1}') get page 0 start get page 0 finished get page 1 start get page 1 finished get page 2 start get page 2 finished get page 3 start get page 3 finished get page 4 start get page 4 finished normal exe time:70.0 get page 0 start get page 1 start get page 2 start get page 0 finished get page 3 start (0, 5) get page 1 finished get page 4 start (1, 5) get page 3 finished (3, 5) get page 4 finished (4, 5) get page 2 finished (2, 50) thread pool exe time:50.0

結(jié)論：as_completed()方法是一個(gè)生成器，在沒(méi)有任務(wù)完成的時(shí)候，會(huì)阻塞，在有某個(gè)任務(wù)完成的時(shí)候，會(huì)yield這個(gè)任務(wù)，就能執(zhí)行for循環(huán)下面的語(yǔ)句，然后繼續(xù)阻塞住，循環(huán)到所有的任務(wù)結(jié)束。從結(jié)果也可以看出，先完成的任務(wù)會(huì)先通知主線程

總結(jié)

以上是生活随笔為你收集整理的ThreadPoolExecutor线程池的理解与应用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。