我們知道GIL Lock禁用了Python中的多線程功能。在Python中multiprocessing提供了兩個用于多進程的類，即Process和Pool類。在以下各節中，我已對使用pool和process類時的經驗進行了簡要概述。并使用兩個類進行性能比較。我還詳細介紹了性能比較，這將有助于為您的多進程任務選擇適當的方法。

是否可以批量啟動子進程multiprocessing.Process? 無法批量開啟子進程

multiprocessing.Pool? ? ? 可以批量開啟子進程

進程間通信multiprocessing.Process? 可以直接用multiprocesssing.Queue等進行通信

multiprocessing.Pool? ? ? 不能直接用multiprocessing.Queue進行通信，只能通過共享內存，或者用multiprocessing.Manager()進行進程間通信。

Python multiprocessing：Pool和Process類

盡管Pool和Process都可以并行執行任務，但是它們并行執行任務的方式卻不同。

該Pool使用FIFO(?First Input First Output? 先進先出)調度將任務分配給可用處理器。它的工作方式類似于map縮減架構。它將輸入映射到不同的處理器，并收集所有處理器的輸出。執行代碼后，它將以列表或數組的形式返回輸出。它等待所有任務完成，然后返回輸出。執行中的進程存儲在內存中，其他未執行的進程存儲在內存之外。

Process類將所有進程放入內存中，并使用FIFO策略安排執行時間。進程暫停后，它將搶占并安排新進程執行。

何時使用池和流程

我認為選擇合適的方法取決于手頭的任務。Pool使您可以在每個進程中執行多個任務，這可以使并行化程序變得更加容易。如果要并行執行一百萬個任務，則可以創建一個進程數與CPU核心數量一樣多的Pool，然后將一百萬個任務的列表傳遞給pool.map。Pool會將這些任務分發給工作進程(通常與可用內核的數目相同)，并以列表的形式收集返回值，并將其傳遞給父進程。啟動單獨的一百萬個進程將不太實用(這可能會破壞您的OS)。

pool代碼import?multiprocessing

def?eval_formula(formula):

#?具體任務

pass

p?=?multiprocessing.Pool(multiprocessing.cpu_count())

result?=?p.map(eval_formula,?expression_li)

p.close()

p.join()

process代碼from?multiprocessing?import?Process

def?eval_formula(formula):

#?具體任務

pass

for?i?in?range(len(expression_li)):

p=Process(target=eval_formula(eval_formula,args=(expression_li[i],)))

p.start()

p.join()

另一方面，如果要并行執行的任務很少，并且每個任務只需要執行一次，那么為每個任務使用單獨的multiprocessing.process而不是設置Pool可能是完全合理的。

我們使用Pool和Process類來評估excel表達式。以下是我們對池和進程類的觀察：

任務數量

如我們所見，Pool僅在內存中分配正在執行的進程，而Process在內存中分配所有任務，因此，當任務數較小時，我們可以使用Process類；當任務數較大時，我們可以使用Pool。在大型任務中，如果我們使用Process，可能會發生內存問題，從而引起系統干擾。Pool，由于創建它會產生開銷，因此，對于較小的任務數，使用Pool會影響性能。

IO操作

Pool以FIFO方式在可用內核之間分配進程。在每個內核上，分配的進程按順序執行。因此，如果有很長的IO操作，它將等待IO操作完成，并且不會安排其他進程。這導致執行時間增加。Process類則掛起執行IO操作的進程并安排另一個進程。因此，在長時間的IO操作的情況下，建議使用進程類。

參考：

https://docs.python.org/zh-cn/3.7/library/multiprocessing.html?highlight=multiprocessing#the-process-class

總結

以上是生活随笔為你收集整理的python process pool_python multiprocessing.Process，multiprocessing.Pool区别（不同之处）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。