python启动多个进程_Python程序中的进程操作--—--开启多进程
Python程序中的進(jìn)程操作--—--開(kāi)啟多進(jìn)程
之前我們已經(jīng)了解了很多進(jìn)程相關(guān)的理論知識(shí)，了解進(jìn)程是什么應(yīng)該不再困難了，剛剛我們已經(jīng)了解了，運(yùn)行中的程序就是一個(gè)進(jìn)程。所有的進(jìn)程都是通過(guò)它的父進(jìn)程來(lái)創(chuàng)建的。因此，運(yùn)行起來(lái)的python程序也是一個(gè)進(jìn)程，那么我們也可以在程序中再創(chuàng)建進(jìn)程。多個(gè)進(jìn)程可以實(shí)現(xiàn)并發(fā)效果，也就是說(shuō)，當(dāng)我們的程序中存在多個(gè)進(jìn)程的時(shí)候，在某些時(shí)候，就會(huì)讓程序的執(zhí)行速度變快。以我們之前所學(xué)的知識(shí)，并不能實(shí)現(xiàn)創(chuàng)建進(jìn)程這個(gè)功能，所以我們就需要借助python中強(qiáng)大的模塊。
一、multiprocess模塊
仔細(xì)說(shuō)來(lái)，multiprocess不是一個(gè)模塊而是python中一個(gè)操作、管理進(jìn)程的包。 之所以叫multi是取自multiple的多功能的意思,在這個(gè)包中幾乎包含了和進(jìn)程有關(guān)的所有子模塊。由于提供的子模塊非常多，為了方便大家歸類記憶，我將這部分大致分為四個(gè)部分：創(chuàng)建進(jìn)程部分，進(jìn)程同步部分，進(jìn)程池部分，進(jìn)程之間數(shù)據(jù)共享。
二、multiprocess中process模塊
process模塊是一個(gè)創(chuàng)建進(jìn)程的模塊，借助這個(gè)模塊，就可以完成進(jìn)程的創(chuàng)建。
Process([group [, target [, name [, args [, kwargs]]]]])，由該類實(shí)例化得到的對(duì)象，表示一個(gè)子進(jìn)程中的任務(wù)(尚未啟動(dòng))
強(qiáng)調(diào)：
需要使用關(guān)鍵字的方式來(lái)指定參數(shù)
args指定的為傳給target函數(shù)的位置參數(shù)，是一個(gè)元組形式，必須有逗號(hào)
參數(shù)介紹：
group參數(shù)未使用，值始終為None
target表示調(diào)用對(duì)象，即子進(jìn)程要執(zhí)行的任務(wù)
args表示調(diào)用對(duì)象的位置參數(shù)元組，args=(1,2,'randy',)
kwargs表示調(diào)用對(duì)象的字典，kwargs={'name':'randy','age':18}
name為子進(jìn)程的名稱
3.1 方法介紹
p.start()：啟動(dòng)進(jìn)程，并調(diào)用該子進(jìn)程中的p.run()
p.run()：進(jìn)程啟動(dòng)時(shí)運(yùn)行的方法，正是它去調(diào)用target指定的函數(shù)，我們自定義類的類中一定要實(shí)現(xiàn)該方法
p.terminate()：強(qiáng)制終止進(jìn)程p，不會(huì)進(jìn)行任何清理操作，如果p創(chuàng)建了子進(jìn)程，該子進(jìn)程就成了僵尸進(jìn)程，使用該方法需要特別小心這種情況。如果p還保存了一個(gè)鎖那么也將不會(huì)被釋放，進(jìn)而導(dǎo)致死鎖
p.is_alive()：如果p仍然運(yùn)行，返回True
p.join([timeout])：主進(jìn)程等待p終止(強(qiáng)調(diào)：是主進(jìn)程處于等的狀態(tài)，而p是處于運(yùn)行的狀態(tài))。timeout是可選的超時(shí)時(shí)間，需要強(qiáng)調(diào)的是，p.join只能join住start開(kāi)啟的進(jìn)程，而不能join住run開(kāi)啟的進(jìn)程
3.2 屬性介紹
p.daemon：默認(rèn)值為False，如果設(shè)為True，代表p為后臺(tái)運(yùn)行的守護(hù)進(jìn)程，當(dāng)p的父進(jìn)程終止時(shí)，p也隨之終止，并且設(shè)定為True后，p不能創(chuàng)建自己的新進(jìn)程，必須在p.start()之前設(shè)置
p.name：進(jìn)程的名稱
p.pid：進(jìn)程的pid
p.exitcode：進(jìn)程在運(yùn)行時(shí)為None、如果為–N，表示被信號(hào)N結(jié)束(了解即可)
p.authkey：進(jìn)程的身份驗(yàn)證鍵,默認(rèn)是由os.urandom()隨機(jī)生成的32字符的字符串。這個(gè)鍵的用途是為涉及網(wǎng)絡(luò)連接的底層進(jìn)程間通信提供安全性，這類連接只有在具有相同的身份驗(yàn)證鍵時(shí)才能成功(了解即可)
3.3 在windows中使用process模塊注意事項(xiàng)
在Windows操作系統(tǒng)中由于沒(méi)有fork(linux操作系統(tǒng)中創(chuàng)建進(jìn)程的機(jī)制)，在創(chuàng)建子進(jìn)程的時(shí)候會(huì)自動(dòng) import 啟動(dòng)它的這個(gè)文件，而在 import 的時(shí)候又執(zhí)行了整個(gè)文件。因此如果將process()直接寫在文件中就會(huì)無(wú)限遞歸創(chuàng)建子進(jìn)程報(bào)錯(cuò)。所以必須把創(chuàng)建子進(jìn)程的部分使用if __name__ =='__main__' 判斷保護(hù)起來(lái)，import 的時(shí)候，就不會(huì)遞歸運(yùn)行了。
四、使用process模塊創(chuàng)建進(jìn)程
在一個(gè)python進(jìn)程中開(kāi)啟子進(jìn)程，start方法和并發(fā)效果。
4.1在python創(chuàng)建子進(jìn)程方式一
import time
from multiprocessing import Process
def f(name):
print("進(jìn)程開(kāi)始")
time.sleep(1) # 子進(jìn)程進(jìn)入堵塞狀態(tài)，結(jié)束后，進(jìn)入就緒狀態(tài)，等待拿到cpu的使用權(quán)
print("進(jìn)程結(jié)束")
time.sleep(1)
"""
創(chuàng)建進(jìn)程這個(gè)print語(yǔ)句會(huì)執(zhí)行兩次, 原因是創(chuàng)建進(jìn)程首先執(zhí)行了當(dāng)前程序的代碼，則會(huì)執(zhí)行一次
接著創(chuàng)建進(jìn)程就是復(fù)制了一份代碼，在子進(jìn)程中還會(huì)在執(zhí)行一次，所以就會(huì)執(zhí)行打印兩次
"""
print('進(jìn)程測(cè)試')
if __name__ == '__main__':
# args表示傳遞的參數(shù)
"""
創(chuàng)建一個(gè)進(jìn)程，他會(huì)將主進(jìn)程的代碼復(fù)制一份到另外的一個(gè)程序，
而當(dāng)前的主程序和子程序?yàn)楫惒綘顟B(tài)，整個(gè)的程序會(huì)等待所有的主
進(jìn)程和子進(jìn)程運(yùn)行完畢之后，才結(jié)束當(dāng)前的程序
"""
p = Process(target=f, args=('bob',))
p.start()
time.sleep(1)
print('執(zhí)行主進(jìn)程的內(nèi)容了')
進(jìn)程測(cè)試
進(jìn)程測(cè)試
進(jìn)程開(kāi)始2
進(jìn)程結(jié)束2
主進(jìn)程
4.2 在python中創(chuàng)建子進(jìn)程方式二
from multiprocessing import Process
import time
class Task(Process):
def __init__(self, name):
# self.name = name # 這樣賦值添加屬性,在super()__init__時(shí)候有重新初始化了,所以要在init下面修改值
super().__init__()
self.name = name
def run(self):
print(f"子進(jìn)程的名稱{self.name}")
time.sleep(0.03)
print("子進(jìn)程結(jié)束")
if __name__ == '__main__':
p = Task('randy')
p.start() # 想操作系統(tǒng)， 發(fā)送開(kāi)啟子進(jìn)程的請(qǐng)求
print("主進(jìn)程")
主進(jìn)程
子進(jìn)程的名稱randy
子進(jìn)程結(jié)束
4.3 python中子進(jìn)程和主進(jìn)程的內(nèi)存空間是隔離的
from multiprocessing import Process
import time
x = 10
def task():
global x
print(f"子進(jìn)程修改之前{x}")
x = 100
print(f"子進(jìn)程修改之后x: {x}")
if __name__ == '__main__':
p = Process(target=task)
p.start()
time.sleep(0.5)
print(f"全局x的值： {x}")
子進(jìn)程修改之前10
子進(jìn)程修改之后x: 100
全局x的值： 10
python中子進(jìn)程和主進(jìn)程的內(nèi)存空間是隔離的
4.4 join方法使用
from multiprocessing import Process
import time
def task(x):
print(f"{x}進(jìn)程開(kāi)始")
time.sleep(3)
print(f"{x}進(jìn)程結(jié)束")
"""
創(chuàng)建進(jìn)程這個(gè)print語(yǔ)句會(huì)執(zhí)行兩次, 原因是創(chuàng)建進(jìn)程首先執(zhí)行了當(dāng)前程序的代碼，則會(huì)執(zhí)行一次
接著創(chuàng)建進(jìn)程就是復(fù)制了一份代碼，在子進(jìn)程中還會(huì)在執(zhí)行一次，所以就會(huì)執(zhí)行打印兩次
"""
print('進(jìn)程測(cè)試')
if __name__ == '__main__':
p1 = Process(target=task, args=(1, ))
p1.start()
# join會(huì)阻塞住主進(jìn)程在等待子進(jìn)程結(jié)束，然后在執(zhí)行join下面的代碼(內(nèi)部會(huì)調(diào)用wait)
p1.join()
print("主進(jìn)程")
# p1 = Process(target=task, args=(1, ))
# p1.start()
# p2 = Process(target=task, args=(2, ))
# p2.start()
# p1.join()
# p2.join()
4.5 join多個(gè)進(jìn)程時(shí)間統(tǒng)計(jì)
# 實(shí)現(xiàn)并行
from multiprocessing import Process
import time
def task(x):
print(f"{x}進(jìn)程開(kāi)始")
time.sleep(x)
print(f"{x}進(jìn)程結(jié)束")
"""
創(chuàng)建進(jìn)程這個(gè)print語(yǔ)句會(huì)執(zhí)行兩次, 原因是創(chuàng)建進(jìn)程首先執(zhí)行了當(dāng)前程序的代碼，則會(huì)執(zhí)行一次
接著創(chuàng)建進(jìn)程就是復(fù)制了一份代碼，在子進(jìn)程中還會(huì)在執(zhí)行一次，所以就會(huì)執(zhí)行打印兩次
"""
print('進(jìn)程測(cè)試')
if __name__ == '__main__':
p1 = Process(target=task, args=(1, ))
p2 = Process(target=task, args=(2, ))
p3 = Process(target=task, args=(3, ))
# 開(kāi)始時(shí)間
start = time.time()
p1.start()
p2.start()
p3.start()
# join會(huì)阻塞住主進(jìn)程在等待子進(jìn)程結(jié)束，然后在執(zhí)行join下面的代碼(內(nèi)部會(huì)調(diào)用wait)
p1.join()
p2.join()
p3.join()
end = time.time()
"""
程序運(yùn)行的時(shí)間為3s多，主要是因?yàn)閯?chuàng)建的三個(gè)子進(jìn)程會(huì)同時(shí)啟動(dòng)
會(huì)以時(shí)間最長(zhǎng)的進(jìn)程為基準(zhǔn)，
"""
print("程序運(yùn)行時(shí)間%s" %(end-start)) # 程序運(yùn)行時(shí)間3.5375335216522217
# 實(shí)現(xiàn)串行
from multiprocessing import Process
import time
def task(x):
print(f"{x}進(jìn)程開(kāi)始")
time.sleep(x)
print(f"{x}進(jìn)程結(jié)束")
"""
創(chuàng)建進(jìn)程這個(gè)print語(yǔ)句會(huì)執(zhí)行兩次, 原因是創(chuàng)建進(jìn)程首先執(zhí)行了當(dāng)前程序的代碼，則會(huì)執(zhí)行一次
接著創(chuàng)建進(jìn)程就是復(fù)制了一份代碼，在子進(jìn)程中還會(huì)在執(zhí)行一次，所以就會(huì)執(zhí)行打印兩次
"""
print('進(jìn)程測(cè)試')
if __name__ == '__main__':
p1 = Process(target=task, args=(1, ))
p2 = Process(target=task, args=(2, ))
p3 = Process(target=task, args=(3, ))
# 開(kāi)始時(shí)間
start = time.time()
# 實(shí)現(xiàn)串行，線程會(huì)一個(gè)一個(gè)的執(zhí)行線程，一個(gè)線程執(zhí)行完之后才會(huì)執(zhí)行下一個(gè)線程
p1.start()
p1.join()
p2.start()
p2.join()
p3.start()
p3.join()
end = time.time()
"""
程序運(yùn)行的時(shí)間為6s多，主要是因?yàn)閯?chuàng)建的三個(gè)子進(jìn)程會(huì)同時(shí)啟動(dòng)
會(huì)以時(shí)間最長(zhǎng)的進(jìn)程為基準(zhǔn)，
"""
print("程序運(yùn)行時(shí)間%s" %(end-start)) # 程序運(yùn)行時(shí)間7.236638784408569
程序運(yùn)行時(shí)間3.5375335216522217
程序運(yùn)行時(shí)間7.236638784408569
#詳細(xì)解析如下：
#進(jìn)程只要start就會(huì)在開(kāi)始運(yùn)行了,所以p1-p4.start()時(shí),系統(tǒng)中已經(jīng)有四個(gè)并發(fā)的進(jìn)程了
#而我們p1.join()是在等p1結(jié)束,沒(méi)錯(cuò)p1只要不結(jié)束主線程就會(huì)一直卡在原地,這也是問(wèn)題的關(guān)鍵
#join是讓主線程等,而p1-p4仍然是并發(fā)執(zhí)行的,p1.join的時(shí)候,其余p2,p3,p4仍然在運(yùn)行,等#p1.join結(jié)束,可能p2,p3,p4早已經(jīng)結(jié)束了,這樣p2.join,p3.join.p4.join直接通過(guò)檢測(cè)，無(wú)需等待
# 所以4個(gè)join花費(fèi)的總時(shí)間仍然是耗費(fèi)時(shí)間最長(zhǎng)的那個(gè)進(jìn)程運(yùn)行的時(shí)間
4.6 多個(gè)進(jìn)程同時(shí)運(yùn)行
from multiprocessing import Process
import time
def task(x):
print(f"{x}進(jìn)程開(kāi)始")
time.sleep(x)
print(f"{x}進(jìn)程結(jié)束")
print('進(jìn)程測(cè)試')
if __name__ == '__main__':
start = time.time()
p_list = []
# 創(chuàng)建并啟動(dòng)線程
for i in range(1,5):
p = Process(target=task, args=(i, ))
p.start()
p_list.append(p)
# 使用join方法
for p in p_list:
p.join()
end = time.time()
print("程序運(yùn)行時(shí)間%s" %(end-start))
4.7 查看主進(jìn)程和子進(jìn)程的進(jìn)程號(hào)
from multiprocessing import Process,current_process
import time
import os
def task():
print("進(jìn)程開(kāi)始")
time.sleep(0.2)
# 在子進(jìn)程查看自己的pid
print(f'在子進(jìn)程中查看自己的pid: {current_process().pid}')
print(f'在子進(jìn)程中查看自己的pid: {os.getpid()}')
# 在子進(jìn)程中查看父進(jìn)程pid
print(f'在子進(jìn)程中查看父進(jìn)程pid: {os.getppid()}')
print("進(jìn)程結(jié)束")
if __name__ == '__main__':
p = Process(target=task)
p.start()
print(f"在主進(jìn)程中查看子進(jìn)程的pid：{p.pid}")
print(f'主進(jìn)程的pid: {os.getpid()}')
print(f'主進(jìn)程中父進(jìn)程pid: {os.getppid()}')
"""
在window中的進(jìn)程創(chuàng)建查看pid號(hào)他的順序是從小到大排序,主線程pid大于子線程的pid
os.getpid() 獲取當(dāng)前進(jìn)程的pid
os.getppid() 獲取當(dāng)前進(jìn)程的父進(jìn)程
子進(jìn)程對(duì)象.pid 獲取當(dāng)前進(jìn)程的子進(jìn)程的pid
"""
進(jìn)階，多個(gè)進(jìn)程同時(shí)運(yùn)行(注意，子進(jìn)程的執(zhí)行順序不是根據(jù)啟動(dòng)順序決定的)
4.8 process中常用的屬性
from multiprocessing import Process,current_process
import time
import os
def task():
print("進(jìn)程開(kāi)始")
time.sleep(0.2)
# 在子進(jìn)程查看自己的pid
print(f'在子進(jìn)程中查看自己的pid: {current_process().pid}')
print("進(jìn)程結(jié)束")
if __name__ == '__main__':
p = Process(target=task)
p.start()
# 1 查看進(jìn)程的名稱
print(p.name)
# 2 判斷進(jìn)程是否還存在
print(p.is_alive())
time.sleep(3)
print(p.is_alive())
# 3 告訴操作系統(tǒng)結(jié)束之后關(guān)閉所有進(jìn)程
p2 = Process(target=task)
p2.start()
p2.terminate()
print("terminate: ", p2.is_alive())
p2.join()
print("terminate: ", p2.is_alive())
五、守護(hù)進(jìn)程
會(huì)隨著主進(jìn)程的結(jié)束而結(jié)束。
主進(jìn)程創(chuàng)建守護(hù)進(jìn)程
其一：守護(hù)進(jìn)程會(huì)在主進(jìn)程代碼執(zhí)行結(jié)束后就終止
其二：守護(hù)進(jìn)程內(nèi)無(wú)法再開(kāi)啟子進(jìn)程,否則拋出異常：AssertionError: daemonic processes are not allowed to have children
注意：進(jìn)程之間是互相獨(dú)立的，主進(jìn)程代碼運(yùn)行結(jié)束，守護(hù)進(jìn)程隨即終止。
5.1 守護(hù)進(jìn)程的啟動(dòng)
import os
import time
from multiprocessing import Process
class Myprocess(Process):
def __init__(self,person):
super().__init__()
self.person = person
def run(self):
print(os.getpid(),self.name)
print('%s正在和女主播聊天' %self.person)
p=Myprocess('哪吒')
p.daemon=True # 一定要在p.start()前設(shè)置,設(shè)置p為守護(hù)進(jìn)程,守護(hù)進(jìn)程中禁止p創(chuàng)建子進(jìn)程,并且父進(jìn)程代碼執(zhí)行結(jié)束,p即終止運(yùn)行
p.start()
time.sleep(10) # 在sleep時(shí)查看進(jìn)程id對(duì)應(yīng)的進(jìn)程ps -ef|grep id
print('主')
5.2主進(jìn)程代碼執(zhí)行結(jié)束守護(hù)進(jìn)程立即結(jié)束
from multiprocessing import Process
def foo():
print(123)
time.sleep(1)
print("end123")
def bar():
print(456)
time.sleep(3)
print("end456")
p1=Process(target=foo)
p2=Process(target=bar)
p1.daemon=True
p1.start()
p2.start()
time.sleep(0.1)
print("main-------") # 打印該行則主進(jìn)程代碼結(jié)束,則守護(hù)進(jìn)程p1應(yīng)該被終止.#可能會(huì)有p1任務(wù)執(zhí)行的打印信息123,因?yàn)橹鬟M(jìn)程打印main----時(shí),p1也執(zhí)行了,但是隨即被終止
六、socket聊天并發(fā)實(shí)例
6.1 使用多進(jìn)程是新socket聊天并發(fā)-server端
from socket import *
from multiprocessing import Process
server=socket(AF_INET,SOCK_STREAM)
server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
server.bind(('127.0.0.1',8080))
server.listen(5)
def talk(conn,client_addr):
while True:
try:
# 注意在這里不能使用input進(jìn)行交互信息，因?yàn)槭窃谧舆M(jìn)程中輸入的，所以你輸入不對(duì)
msg=conn.recv(1024)
if not msg:break
conn.send(msg.upper())
except Exception:
break
if __name__ == '__main__': # windows下start進(jìn)程一定要寫到這下面
while True:
conn,client_addr=server.accept()
p=Process(target=talk,args=(conn,client_addr))
p.start()
6.1 使用多進(jìn)程是新socket聊天并發(fā)-client端
import socket
client = socket.socket()
client.connect(("127.0.0.1", 8888))
while True:
msg = input("請(qǐng)輸入信息")
if msg == 'q':
break
client.send(msg.encode('utf-8'))
data = client.recv(1024)
print(data)
import socket
client = socket.socket()
client.connect(("127.0.0.1", 8888))
while True:
msg = input("請(qǐng)輸入信息")
if msg == 'q':
break
client.send(msg.encode('utf-8'))
data = client.recv(1024)
print(data)
總結(jié)
以上是生活随笔為你收集整理的python启动多个进程_Python程序中的进程操作--—--开启多进程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： nodejs变量
- 下一篇： SQL盲注及python脚本编写