多進程相關(guān)內(nèi)容

multiprocessing模塊與process類

multiprocessing

python中的多線程無法利用多核優(yōu)勢，如果想要充分地使用多核CPU的資源（os.cpu_count()查看），在python中大部分情況需要使用多進程。Python提供了multiprocessing。
multiprocessing模塊用來開啟子進程，并在子進程中執(zhí)行我們定制的任務(wù)（比如函數(shù)），該模塊與多線程模塊threading的編程接口類似。

　 multiprocessing模塊的功能眾多：支持子進程、通信和共享數(shù)據(jù)、執(zhí)行不同形式的同步，提供了Process、Queue、Pipe、Lock等組件。

? 需要再次強調(diào)的一點是：與線程不同，進程沒有任何共享狀態(tài)，進程修改的數(shù)據(jù)，改動僅限于該進程內(nèi)。

process類

參數(shù)介紹：

group參數(shù)未使用，值始終為Nonetarget表示調(diào)用對象，即子進程要執(zhí)行的任務(wù)args表示調(diào)用對象的位置參數(shù)元組，args=(1,2,'egon',)kwargs表示調(diào)用對象的字典,kwargs={'name':'egon','age':18}name為子進程的名稱

方法介紹：

p.start()：啟動進程，并調(diào)用該子進程中的p.run() p.run():進程啟動時運行的方法，正是它去調(diào)用target指定的函數(shù)，我們自定義類的類中一定要實現(xiàn)該方法 p.terminate():強制終止進程p，不會進行任何清理操作，如果p創(chuàng)建了子進程，該子進程就成了僵尸進程，使用該方法需要特別小心這種情況。如果p還保存了一個鎖那么也將不會被釋放，進而導(dǎo)致死鎖p.is_alive():如果p仍然運行，返回Truep.join([timeout]):主線程等待p終止（強調(diào)：是主線程處于等的狀態(tài)，而p是處于運行的狀態(tài)）。timeout是可選的超時時間，需要強調(diào)的是，p.join只能join住start開啟的進程，而不能join住run開啟的進程

屬性介紹：

p.daemon：默認(rèn)值為False，如果設(shè)為True，代表p為后臺運行的守護進程，當(dāng)p的父進程終止時，p也隨之終止，并且設(shè)定為True后，p不能創(chuàng)建自己的新進程，必須在p.start()之前設(shè)置p.name:進程的名稱p.pid：進程的pidp.exitcode:進程在運行時為None、如果為–N，表示被信號N結(jié)束(了解即可)p.authkey:進程的身份驗證鍵,默認(rèn)是由os.urandom()隨機生成的32字符的字符串。這個鍵的用途是為涉及網(wǎng)絡(luò)連接的底層進程間通信提供安全性，這類連接只有在具有相同的身份驗證鍵時才能成功（了解即可）

創(chuàng)建子進程的兩種方式

注意：在windows中Process()必須放到# if name == 'main':下

第一種方式：

from multiprocessing import Process import time def task(name):print(f"{name} is running")time.sleep(3)print(f"{name} is gone") if __name__ == '__main__':p = Process(target = task,args=('黑哥',)) # 創(chuàng)建一個進程對象# p = Process(target=task,kwargs={'name':'黑哥'}) 兩種傳參方式p.start() # 只是向操作系統(tǒng)發(fā)出一個開辟子進程的信號,然后就執(zhí)行下一行了.# 這個信號操作系統(tǒng)接收到之后,會從內(nèi)存中開辟一個子進程空間,然后在將主進程所有數(shù)據(jù)copy加載到子進程,然后在調(diào)用cpu去執(zhí)行.# 開辟子進程開銷是很大的.print('==主')# 所以永遠(yuǎn)會先執(zhí)行主進程的代碼. # 結(jié)果： ==主 黑哥 is running 黑哥 is gone

第二種方式：

from multiuprocessing import Process import timeclass MyProcess(Process):def __init__(self,name):super().__init__()self.name = namedef run(self): # 必須定義一個run方法print(f"{self.name} is runing")time.sleep(2)print(f"{self.name} is gone") if __name__ == "__main__":p = MyProcess('黑哥')p.start()print('==主') # 結(jié)果： ==主 黑哥 is running 黑哥 is gone

簡單應(yīng)用：

from multiprocessing import Process import time def task(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")def task1(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone") def task2(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone") if __name__ == '__main__':p1 = Process(target=task,args=('黑哥',))p2 = Process(target=task,args=('李業(yè)',))start_time = time.time() # task('黑哥') # task1('李業(yè)') # task2('海狗') # print(f"結(jié)束時間{time.time() - start_time}")p1.start() # 使用多進程優(yōu)化代碼運行時間p2.start() task('海狗')print(f"結(jié)束時間{time.time()-start_time}")

進程pid

如何獲取內(nèi)存中的所有進程？

• 命令行獲取所有的進程的pid tasklist

代碼級別如果獲取一個進程pid

import os print(os.getpid())

如何獲取父進程（主進程）的pid?

import osimport time print(f'子進程:{os.getpid()}') print(f'主(父)進程:{os.getppid()}')

驗證進程之間的空間隔離

在同一進程中：

x = 1000 def task():global xx = 2 task() print(x) # 結(jié)果： 2

在不同進程中：

from multiprocessing import Process import time x = 1000 def task():global xx = 2if __name__ == '__main__':p = Process(target=task)p.start()time.sleep(3)print(x) # 結(jié)果： 1000

進程對象的join方法

join讓主進程等待子進程結(jié)束之后,在執(zhí)行主進程.

from multiprocessing import Process import time def task(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")if __name__ == '__main__':p = Process(target=task,args=('黑哥',))p.start()p.join()print("==主")

多個子進程使用join

from multiprocessing import Process import timedef task(name,sec):print(f"{name} is running")time.sleep(sec)print(f"{name} is gone")if __name__ == '__main__':start_time = time.time()p1 = Process(target=task,args=('黑哥',1))p2 = Process(target=task,args=('李業(yè)',2))p3 = Process(target=task,args=('海狗',3))p1.start()p2.start()p3.start()p1.join()p2.join()p3.join()print(f"==主{time.time()-start_time}") # 結(jié)果： 李業(yè) is running 黑哥 is running 海狗 is running 黑哥 is gone 李業(yè) is gone 海狗 is gone ==主3.6357808113098145 from multiprocessing import Process import time def task(name,sec):print(f'{name} is running')time.sleep(sec)print(f"{name} is gone") if __name__ == '__main__':start_time = time.time()p1 = Process(target=task,args=('黑哥',3))p2 = Process(target=task,args=('李業(yè)',2))p3 = Process(target=task,args=('海狗',4))p1.start()p2.start()p3.start()p1.join()print(f"==主1：{time.time()-start_time}")p2.join()print(f"==主2：{time.time()-start_time}")p3.join()print(f"==主3：{time.time()-start_time}") # 結(jié)果： 黑哥 is running 海狗 is running 李業(yè) is running 李業(yè) is gone 黑哥 is gone ==主1：3.741270065307617 ==主2：3.741270065307617 海狗 is gone ==主3：4.746762990951538

相關(guān)面試題：

# 優(yōu)化下面的代碼： from multiprocessing import Process import timedef task(sec):print(f'is running')time.sleep(sec)print(f' is gone')if __name__ == '__main__':start_time = time.time()p1 = Process(target=task,args=(1,))p2 = Process(target=task,args=(2,))p3 = Process(target=task,args=(3,))p1.start()p2.start()p3.start()# join 只針對主進程,如果join下面多次join 他是不阻塞的.p1.join()p2.join()p3.join()# 正確解法： from multiprocessing import Process import timedef task(sec):print(f"is running")time.sleep(sec)print(f"is gone")if __name__ == '__main__':p1 = Process(target=task,args=('常鑫',3))p2 = Process(target=task,args=('立業(yè)',2))p3 = Process(target=task,args=('還夠',4))start_time = time.time()p1.start()p2.start()p3.start()lst = []for i in range(1,4):p = Process(target=task,args = (i,))p.start()lst.append(p)for i in lst:i.join()print(f"{i}", f'{time.time() - start_time}')

進程對象的其他屬性

from multiprocessing import Process import timedef task(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")if __name__ == '__main__':# p = Process(target=task,args=('黑哥',))p = Process(target=task,args=('黑哥',),name='alex')p.start()time.sleep(1)p.terminate() # 殺死子進程p.join()time.sleep(0.5)print(p.is_alive()) # 判斷進程是否存在print(p.name)p.name = 'sb' # 給子進程起名字print(p.name)print('==主開始')

守護進程

子進程守護著主進程,只要主進程結(jié)束,子進程跟著就結(jié)束,

主進程創(chuàng)建守護進程

　　其一：守護進程會在主進程代碼執(zhí)行結(jié)束后就終止

　　其二：守護進程內(nèi)無法再開啟子進程,否則拋出異常：AssertionError: daemonic processes are not allowed to have children

注意：進程之間是互相獨立的，主進程代碼運行結(jié)束，守護進程隨即終止

import time def task(name):print(f"{name} is running")time.sleep(2)print(f"{name} is gone")if __name__ == '__main__':p = Process(target=task,args=('黑哥',))p.daemon = True # 一定要在子進程開啟之前設(shè)置p.start()time.sleep(1)print('==主') # 結(jié)果： 黑哥 is running ==主

轉(zhuǎn)載于:https://www.cnblogs.com/lifangzheng/p/11384000.html

總結(jié)

以上是生活随笔為你收集整理的多进程相关内容的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。