Python 标准库之 subprocesss
Python 目前已經廢棄了 os.system、os.spawn*、os.popen*、popen2.*、commands.* 來執行其他語言的命令,取而代之的是 subprocess 模塊。
運行 Python 的時候,我們都是在創建并運行一個進程。像 Linux 進程那樣,一個進程可以 fork 一個子進程,并讓這個子進程 exec 另外一個程序。在 Python 中,我們通過標準庫中的 subprocess 包來 fork 一個子進程,并運行一個外部的程序。
subprocess 允許你能創建很多子進程,創建的時候能指定子進程和子進程的 input/output/error 管道,執行后能獲取輸出結果和執行狀態。
1. 常用的方法有
- subprocess.call
subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)
運行 args 描述的命令,等待命令完成后返回狀態碼,如果超過 timeout,子進程將會被 kill 掉,并再次等待。子進程被終止后會拋出 TimeoutExpired 異常。該方法必須等待命令執行完畢,會阻塞主進程。
注意:針對該函數,不要使用 stdout = PIPE 或 stderr = PIPE。因為不是從當前進程中讀取管道(pipe),如果子進程沒有生成足夠的輸出來填充 os 的管道緩沖區,可能會阻塞子進程。其中 shell 參數為 False 時,命令需要通過列表的方式傳入,當 shell 為 True 時,可直接傳入命令 。
In [54]: subprocess.call("df -h", shell=True)Filesystem Size Used Avail Use% Mounted onudev 7.8G 0 7.8G 0% /devtmpfs 1.6G 18M 1.6G 2% /run/dev/sda3 909G 8.7G 855G 2% /tmpfs 7.8G 98M 7.7G 2% /dev/shmtmpfs 5.0M 4.0K 5.0M 1% /run/locktmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup/dev/sda2 512M 3.5M 509M 1% /boot/efitmpfs 1.6G 64K 1.6G 1% /run/user/1000
Out[54]: 0In [56]: subprocess.call(['df','-h'], shell=False)Filesystem Size Used Avail Use% Mounted onudev 7.8G 0 7.8G 0% /devtmpfs 1.6G 18M 1.6G 2% /run/dev/sda3 909G 8.7G 855G 2% /tmpfs 7.8G 98M 7.7G 2% /dev/shmtmpfs 5.0M 4.0K 5.0M 1% /run/locktmpfs 7.8G 0 7.8G 0% /sys/fs/cgroup/dev/sda2 512M 3.5M 509M 1% /boot/efitmpfs 1.6G 64K 1.6G 1% /run/user/1000
Out[56]: 0
- subprocess.check_call
subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)
用法與 subprocess.call() 類似,如果執行狀態碼是 0 ,則返回0,否則拋異常。同樣會阻塞主進程。
- subprocess.check_output
subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False, timeout=None)
用法與上面兩個方法類似,區別是,如果當返回值為0時,直接返回輸出結果,如果返回值不為0,直接拋出異常。同樣會阻塞主進程。
- subprocess.Popen
在一些復雜場景中,我們需要將一個進程的執行輸出作為另一個進程的輸入。在另一些場景中,我們需要先進入到某個輸入環境,然后再執行一系列的指令等。
subprocess.Popen(args, bufsize=0, stdin=None, stdout=None, stderr=None,shell=False, cwd=None,env=None,universal_newlines=False)
Popen 對象創建后,主程序不會自動等待子進程完成。我們必須調用對象的 wait() 方法,父進程才會等待 (也就是阻塞block)。該方法有以下參數:args:必填參數shell命令,可以是字符串,或者序列類型,如 list, tuplebufsize:緩沖區大小,可不用關心stdin,stdout,stderr:分別表示程序的標準輸入,標準輸出及標準錯誤shell:與上面方法中用法相同,如果shell為True,指定命令將通過shell執行。出于安全考慮,如果命令字符串參數需要通過外部的輸入來構成的時候,強烈建議設置shell = False,不然容易造成shell注入之類的。cwd:用于設置子進程的當前目錄env:用于指定子進程的環境變量。如果env=None,則默認從父進程繼承環境變量universal_newlines:不同系統的的換行符不同,當該參數設定為true時,則表示使用\n作為換行符(Unix行結束符:'\n', Windows行結束符:'\r\n')
示例:
# 在/root下創建一個suprocesstest的目錄
import subprocess
a = subprocess.Popen('mkdir subprocesstest',shell=True,cwd='/root')# 將一個子進程的輸出,作為另一個子進程的輸入
child1 = subprocess.Popen(["cat","/etc/passwd"], stdout=subprocess.PIPE)
child2 = subprocess.Popen(["grep","0:0"],stdin=child1.stdout, stdout=subprocess.PIPE)
out = child2.communicate()
Popen 類實例有以下幾個方法:
child = subprocess.Popen('sleep 60',shell=True,stdout=subprocess.PIPE)
注意:
Popen() # 創建子進程并執行,該子進程執行并不會阻塞父進程,該子進程和當前父進程是異步執行的。child.poll() # 檢查子進程狀態,是否中斷,設置并返回returncodechild.kill() # 終止子進程child.send_signal() # 向子進程發送信號child.terminate() # 終止子進程child.wait() # 等待子進程終止,設置并返回returncode。如果進程在timeout(單位秒)之后依然#沒終止,則拋出TimeoutExpired異常,可以捕獲該異常并再次嘗試等待。wait 函數會阻塞當前父進程,等待子進程運行結束,子進程結束之后返回子進程的退出值,0表示正常執行完成。
警告
當使用stdout = PIPE and / or stderr = PIPE時,如果子進程生成足夠的輸出到管道,這會阻止操作系統管道緩沖區接收更多數據,進而造成死鎖。
為了避免該事件,使用 communicate()
child.communicate(input=None, timeout=None)
input:可選參數,參數值為發送給子進程的數據,如果不需要發送數據,則為None。如果universal_newlines為 False,則input數據類型必須為字節,否則可為字符串。
communicate() 返回一個元組:(stdoutdata, stderrdata),會阻塞當前父進程,直到子進程執行完成,父進程才會往下繼續執行。與子進程進行交互。向stdin發送數據,或從stdout和stderr中讀取數據。可選參數input指定發送到子進程的參數。
注意:
如果希望通過進程的stdin向其發送數據,在創建Popen對象的時候,參數stdin必須被設置為PIPE。同樣,如果希望從stdout和stderr獲取數據,必須將stdout和stderr設置為PIPE。
如果進程在timeout(單位秒)之后依然沒終止,則拋出 TimeoutExpired 異常。子進程不會被 kill 掉,所以為了完成交互,恰當的清理友好執行的程序,應該 kill 子進程。
with subprocess.Popen(['dir'], stdout=subprocess.PIPE,stderr=subprocess.PIPE, shell=True, universal_newlines = True) as proc:
try:outs, errs = proc.communicate(timeout=15) #超時時間為15秒print(outs, errs)
except subprocess.TimeoutExpired:proc.kill()outs, errs = proc.communicate()print(outs, errs)
注意:讀取的數據緩存在內存,所以如果數據太大或者無限制,不要使用該函數。
- 其它方法
subprocess.PIPE 可用于Popen函數stdin,stdout或者stderr參數的指特定值,表示必須打開一個指向標準流的管道。
subprocess.STDOUT 可用于Popen函數stdin,stdout或者stderr參數的指特定值,表示標準錯誤信息必須一起寫入同樣的句柄,比如標準輸出。
參考:
http://blog.sina.com.cn/s/blog_13cc013b50102wv83.html
https://blog.csdn.net/songfreeman/article/details/50735045
https://www.cnblogs.com/sunailong/p/5162748.html
https://blog.csdn.net/seetheworld518/article/details/48805261
https://hacpai.com/article/1462524113048
https://blog.csdn.net/ronnyjiang/article/details/53333538
https://www.cnblogs.com/lincappu/p/8270709.html
https://www.cnblogs.com/zhou2019/p/10582716.html
https://www.runoob.com/w3cnote/python3-subprocess.html
總結
以上是生活随笔為你收集整理的Python 标准库之 subprocesss的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python 标准库之 commands
- 下一篇: Python 标准库之 time