目錄

• 一.Python 進程池 multiprocessing.Pool 介紹
• 二.Python 進程池 multiprocessing.Pool 使用
• 三.猜你喜歡

零基礎 Python 學習路線推薦 : Python 學習目錄 >> Python 基礎入門

Python 進程池 Pool 和前面講解的** Python 線程池** 類似，雖然使用多進程能提高效率，但是進程的創建會消耗大量的計算機資源（進程 Process 的創建遠遠大于線程 Thread 創建占用的資源），線程是計算機最小的運行單位**，連線程都需要使用線程池，進程有什么理由不使用進程池？

?

需要注意的是，在 Windows 上要想使用進程模塊，就必須把有關進程的代碼寫在if __name__ == ‘__main__’ 內，否則在 Windows 下使用進程模塊會產生異常。 Unix / Linux 下則不需要。

一.Python 進程池 multiprocessing.Pool 介紹

Pool 類可以提供指定數量的進程供用戶調用，當有新的請求提交到 Pool 中時，如果池還沒有滿，就會創建一個新的進程來執行請求。如果池滿，請求就會告知先等待，直到池中有進程結束，才會創建新的進程來執行這些請求。

# 導入進程模塊import multiprocessing# 最多允許3個進程同時運行pool = multiprocessing.Pool(processes = 3)

1、apply — 該函數用于傳遞不定參數，主進程會被阻塞直到函數執行結束（不建議使用，并且 3.x 以后不在出現），函數原型如下：

apply(func, args=(), kwds={})

**2、apply_async **— 與 apply 用法一致，但它是非阻塞的且支持結果返回后進行回調，函數原型如下：

apply_async(func[, args=()[, kwds={}[, callback=None]]])

3、map — Pool 類中的 map 方法，與內置的 map 函數用法基本一致，它會使進程阻塞直到結果返回，函數原型如下：

map(func, iterable, chunksize=None)

注意：雖然第二個參數是一個迭代器，但在實際使用中，必須在整個隊列都就緒后，程序才會運行子進程。

**4、map_async **— 與 map 用法一致，但是它是非阻塞的。其有關事項見 apply_async，函數原型如下：

map_async(func, iterable, chunksize, callback)

5、close — 關閉進程池（pool），使其不在接受新的任務。

6、terminal — 結束工作進程，不在處理未處理的任務。

7、join — 主進程阻塞等待子進程的退出， join 方法要在 close 或 terminate 之后使用。

?

二.Python 進程池 multiprocessing.Pool 使用

# !usr/bin/env python # -*- coding:utf-8 _*- """ @Author:猿說編程 @Blog(個人博客地址): www.codersrc.com @File:Python 進程池 multiprocessing.Pool.py @Time:2021/05/09 07:37 @Motto:不積跬步無以至千里，不積小流無以成江海，程序人生的精彩需要堅持不懈地積累！"""import multiprocessing import timedef func(msg):print("in:", msg)time.sleep(3)print("out,", msg)if __name__ == "__main__":# 這里設置允許同時運行的的進程數量要考慮機器cpu的數量，進程的數量最好別小于cpu的數量，# 因為即使大于cpu的數量，增加了任務調度的時間，效率反而不能有效提高pool = multiprocessing.Pool(processes = 3)item_list = ['processes1' ,'processes2' ,'processes3' ,'processes4' ,'processes5' ,]count = len(item_list)for item in item_list:msg = "python教程 %s" %item# 維持執行的進程總數為processes，當一個進程執行完畢后會添加新的進程進去pool.apply_async(func, (msg,))pool.close()pool.join() # 調用join之前，先調用close函數，否則會出錯。執行完close后不會有新的進程加入到pool,join函數等待所有子進程結束''' 輸出結果：in: python教程 processes1 in: python教程 processes2 in: python教程 processes3 out, python教程 processes1 in: python教程 processes4 out, python教程 processes2 in: python教程 processes5 out, python教程 processes3 out, python教程 processes4 out, python教程 processes5 '''

代碼分析：

5 個任務，3 個進程，由于在進程池構造的時候允許同時最多執行 3 個進程，所以同時執行任務 1 / 任務 2 / 任務 3，重代碼的輸出結果來看，任務 1 / 任務 2 / 任務 3 執行后，for 循環進入阻塞狀態，直到任務 1 / 任務 2 / 任務 3 其中一個結束之后才會 for 才會繼續執行任務 4 / 任務 5，并保證同時執行的最多只有 3 個任務（ 進程池 multiprocessing.Pool 和 線程池 ThreadPoolExecutor 原理相同）.

三.猜你喜歡

Python 條件推導式

Python 列表推導式

Python 字典推導式

Python 不定長參數 *argc/**kargcs

Python 匿名函數 lambda

Python return 邏輯判斷表達式

Python is 和 == 區別

Python 可變數據類型和不可變數據類型

Python 淺拷貝和深拷貝

Python 異常處理

Python 線程創建和傳參

Python 線程互斥鎖 Lock

Python 線程時間 Event

Python 線程條件變量 Condition

Python 線程定時器 Timer

Python 線程信號量 Semaphore

Python 線程障礙對象 Barrier

Python 線程隊列 Queue – FIFO

Python 線程隊列 LifoQueue – LIFO

Python 線程優先隊列 PriorityQueue

Python 線程池 ThreadPoolExecutor(一)

Python 線程池 ThreadPoolExecutor(二)

Python 進程 Process 模塊

Python 進程 Process 與線程 threading 區別

Python 進程間通信 Queue / Pipe

未經允許不得轉載：猿說編程 ? Python 進程池 multiprocessing.Pool

[喜歡(1)](javascript:😉 [打賞](javascript:😉

總結

以上是生活随笔為你收集整理的Python 进程池 multiprocessing.Pool - Python零基础入门教程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。