1. 概念說明

1.1?用戶空間與內(nèi)核空間

現(xiàn)在操作系統(tǒng)都是采用虛擬存儲器，那么對32位操作系統(tǒng)而言，它的尋址空間(虛擬存儲空間)為4G(2的32次方)。操作系統(tǒng)的核心是內(nèi)核，獨立于普通的應(yīng)用程序，可以訪問受保護的內(nèi)存空間，也有訪問底層硬件設(shè)備的所有權(quán)限。為了保證用戶進程不能直接操作內(nèi)核(kernel)，保證內(nèi)核的安全，操心系統(tǒng)將虛擬空間劃分為兩部分，一部分為內(nèi)核空間，一部分為用戶空間。針對linux操作系統(tǒng)而言，將最高的1G字節(jié)(從虛擬地址0xC0000000到0xFFFFFFFF)，供內(nèi)核使用，稱為內(nèi)核空間，而將較低的3G字節(jié)(從虛擬地址0x00000000到0xBFFFFFFF)，供各個進程使用，稱為用戶空間。

1.2 進程切換

為了控制進程的執(zhí)行，內(nèi)核必須有能力掛起正在CPU上運行的進程，并恢復(fù)以前掛起的某個進程的執(zhí)行。這種行為被稱為進程切換。因此可以說，任何進程都是在操作系統(tǒng)內(nèi)核的支持下運行的，是與內(nèi)核緊密相關(guān)的。

從一個進程的運行轉(zhuǎn)到另一個進程上運行，這個過程中經(jīng)過下面這些變化：

1. 保存處理機上下文，包括程序計數(shù)器和其他寄存器。

2. 更新PCB信息。

3. 把進程的PCB移入相應(yīng)的隊列，如就緒、在某事件阻塞等隊列。

4. 選擇另一個進程執(zhí)行，并更新其PCB。

5. 更新內(nèi)存管理的數(shù)據(jù)結(jié)構(gòu)。

6. 恢復(fù)處理機上下文。

注：總而言之就是很耗資源，具體的可以參考這篇文章：進程切換

1.3 進程阻塞

正在執(zhí)行的進程，由于期待的某些事件未發(fā)生，如請求系統(tǒng)資源失敗、等待某種操作的完成、新數(shù)據(jù)尚未到達或無新工作做等，則由系統(tǒng)自動執(zhí)行阻塞原語(Block)，使自己由運行狀態(tài)變?yōu)樽枞麪顟B(tài)。可見，進程的阻塞是進程自身的一種主動行為，也因此只有處于運行態(tài)的進程(獲得CPU)，才可能將其轉(zhuǎn)為阻塞狀態(tài)。當進程進入阻塞狀態(tài)，是不占用CPU資源的。

1.4 文件描述符

文件描述符(File descriptor)是計算機科學中的一個術(shù)語，

文件描述符在形式上是一個非負整數(shù)。實際上，它是一個索引值，指向內(nèi)核為每一個進程所維護的該進程打開文件的記錄表。當程序打開一個現(xiàn)有文件或者創(chuàng)建一個新文件時，內(nèi)核向進程返回一個文件描述符。在程序設(shè)計中，一些涉及底層的程序編寫往往會圍繞著文件描述符展開。但是文件描述符這一概念往往只適用于UNIX、Linux

1.5 緩存I/O

緩存 I/O 又被稱作標準 I/O，大多數(shù)文件系統(tǒng)的默認 I/O 操作都是緩存 I/O。在 Linux 的緩存 I/O 機制中，操作系統(tǒng)會將 I/O 的數(shù)據(jù)緩存在文件系統(tǒng)的頁緩存( page cache )中，也就是說，數(shù)據(jù)會先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中，然后才會從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。

緩存 I/O 的缺點：

數(shù)據(jù)在傳輸過程中需要在應(yīng)用程序地址空間和內(nèi)核進行多次數(shù)據(jù)拷貝操作，這些數(shù)據(jù)拷貝操作所帶來的 CPU 以及內(nèi)存開銷是非常大的。

2. 同步與異步

首先來解釋同步和異步的概念，這兩個概念與消息的通知機制有關(guān)。也就是同步與異步主要是從消息通知機制角度來說的。

2.1 概念描述

同步就是一個任務(wù)的完成需要依賴另外一個任務(wù)時，只有等待被依賴的任務(wù)完成后，依賴的任務(wù)才能算完成，這是一種可靠的任務(wù)序列。要么成功都成功，失敗都失敗，兩個任務(wù)的狀態(tài)可以保持一致。

異步是不需要等待被依賴的任務(wù)完成，只是通知被依賴的任務(wù)要完成什么工作，依賴的任務(wù)也立即執(zhí)行，只要自己完成了整個任務(wù)就算完成了。至于被依賴的任務(wù)最終是否真正完成，依賴它的任務(wù)無法確定，所以它是不可靠的任務(wù)序列。

2.2 消息通知

異步的概念和同步相對。當一個同步調(diào)用發(fā)出后，調(diào)用者要一直等待返回消息(結(jié)果)通知后，才能進行后續(xù)的執(zhí)行；當一個異步過程調(diào)用發(fā)出后，調(diào)用者不能立刻得到返回消息(結(jié)果)。實際處理這個調(diào)用的部件在完成后，通過狀態(tài)、通知和回調(diào)來通知調(diào)用者。

這里提到執(zhí)行部件和調(diào)用者通過三種途徑返回結(jié)果：狀態(tài)、通知和回調(diào)。使用哪一種通知機制，依賴于執(zhí)行部件的實現(xiàn)，除非執(zhí)行部件提供多種選擇，否則不受調(diào)用者控制。

如果執(zhí)行部件用狀態(tài)來通知，那么調(diào)用者就需要每隔一定時間檢查一次，效率就很低(有些初學多線程編程的人，總喜歡用一個循環(huán)去檢查某個變量的值，這其實是一種很嚴重的錯誤)；

如果是使用通知的方式，效率則很高，因為執(zhí)行部件幾乎不需要做額外的操作。至于回調(diào)函數(shù)，其實和通知沒太多區(qū)別。

2.3 場景比喻

舉個例子，比如我去銀行辦理業(yè)務(wù)，可能會有兩種方式：

選擇排隊等候；

另種選擇取一個小紙條上面有我的號碼，等到排到我這一號時由柜臺的人通知我輪到我去辦理業(yè)務(wù)了；

第一種：前者(排隊等候)就是同步等待消息通知，也就是我要一直在等待銀行辦理業(yè)務(wù)情況；

第二種：后者(等待別人通知)就是異步等待消息通知。在異步消息處理中，等待消息通知者(在這個例子中就是等待辦理業(yè)務(wù)的人)往往注冊一個回調(diào)機制，在所等待的事件被觸發(fā)時由觸發(fā)機制(在這里是柜臺的人)通過某種機制(在這里是寫在小紙條上的號碼，喊號)找到等待該事件的人。

3. 阻塞與非阻塞

阻塞和非阻塞這兩個概念與程序(線程)等待消息通知(無所謂同步或者異步)時的狀態(tài)有關(guān)。也就是說阻塞與非阻塞主要是程序(線程)等待消息通知時的狀態(tài)角度來說的。

3.1 概念描述

阻塞調(diào)用是指調(diào)用結(jié)果返回之前，當前線程會被掛起，一直處于等待消息通知，不能夠執(zhí)行其他業(yè)務(wù)。函數(shù)只有在得到結(jié)果之后才會返回。

阻塞調(diào)用和同步調(diào)用不同點：

對于同步調(diào)用來說，很多時候當前線程可能還是激活的，只是從邏輯上當前函數(shù)沒有返回而已，此時，這個線程可能也會處理其他的消息。還有一點，在這里先擴展下：

a.如果這個線程在等待當前函數(shù)返回時，仍在執(zhí)行其他消息處理，那這種情況就叫做同步非阻塞；

b.如果這個線程在等待當前函數(shù)返回時，沒有執(zhí)行其他消息處理，而是處于掛起等待狀態(tài)，那這種情況就叫做同步阻塞；

所以同步的實現(xiàn)方式會有兩種：同步阻塞、同步非阻塞；同理，異步也會有兩種實現(xiàn)：異步阻塞、異步非阻塞；

2.對于阻塞調(diào)用來說，則當前線程就會被掛起等待當前函數(shù)返回；

非阻塞和阻塞的概念相對應(yīng)，指在不能立刻得到結(jié)果之前，該函數(shù)不會阻塞當前線程，而會立刻返回。雖然表面上看非阻塞的方式可以明顯的提高CPU的利用率，但是也帶了另外一種后果就是系統(tǒng)的線程切換增加。增加的CPU執(zhí)行時間能不能補償系統(tǒng)的切換成本需要好好評估。

3.2 場景比喻

繼續(xù)上面的那個例子，不論是排隊還是使用號碼等待通知，如果在這個等待的過程中，等待者除了等待消息通知之外不能做其它的事情，那么該機制就是阻塞的，表現(xiàn)在程序中,也就是該程序一直阻塞在該函數(shù)調(diào)用處不能繼續(xù)往下執(zhí)行。

相反，有的人喜歡在銀行辦理這些業(yè)務(wù)的時候一邊打打電話發(fā)發(fā)短信一邊等待，這樣的狀態(tài)就是非阻塞的，因為他(等待者)沒有阻塞在這個消息通知上，而是一邊做自己的事情一邊等待。

但是需要注意了，同步非阻塞形式實際上是效率低下的，想象一下你一邊打著電話一邊還需要抬頭看到底隊伍排到你了沒有。如果把打電話和觀察排隊的位置看成是程序的兩個操作的話，這個程序需要在這兩種不同的行為之間來回的切換，效率可想而知是低下的；而異步非阻塞形式卻沒有這樣的問題，因為打電話是你(等待者)的事情，而通知你則是柜臺(消息觸發(fā)機制)的事情，程序沒有在兩種不同的操作中來回切換。

4. IO多路復(fù)用

剛才說了，對于一次IO訪問(以read舉例)，數(shù)據(jù)會先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中，然后才會從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。所以說，當一個read操作發(fā)生時，它會經(jīng)歷兩個階段：

1. 等待數(shù)據(jù)準備 (Waiting for the data to be ready)

2. 將數(shù)據(jù)從內(nèi)核拷貝到進程中 (Copying the data from the kernel to the process)

正式因為這兩個階段，linux系統(tǒng)產(chǎn)生了下面五種網(wǎng)絡(luò)模式的方案。

- 阻塞 I/O(blocking IO)

- 非阻塞 I/O(nonblocking IO)

- I/O 多路復(fù)用( IO multiplexing)

- 信號驅(qū)動 I/O( signal driven IO)

- 異步 I/O(asynchronous IO)

注：由于signal driven IO在實際中并不常用，所以我這只提及剩下的四種IO Model。

4.1 阻塞 I/O(blocking IO)

在linux中，默認情況下所有的socket都是blocking，一個典型的讀操作流程大概是這樣：

當用戶進程調(diào)用了recvfrom這個系統(tǒng)調(diào)用，kernel就開始了IO的第一個階段：準備數(shù)據(jù)(對于網(wǎng)絡(luò)IO來說，很多時候數(shù)據(jù)在一開始還沒有到達。比如，還沒有收到一個完整的UDP包。這個時候kernel就要等待足夠的數(shù)據(jù)到來)。這個過程需要等待，也就是說數(shù)據(jù)被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中是需要一個過程的。而在用戶進程這邊，整個進程會被阻塞(當然，是進程自己選擇的阻塞)。當kernel一直等到數(shù)據(jù)準備好了，它就會將數(shù)據(jù)從kernel中拷貝到用戶內(nèi)存，然后kernel返回結(jié)果，用戶進程才解除block的狀態(tài)，重新運行起來。

blocking IO的特點就是在IO執(zhí)行的兩個階段都被block了。

4.2 非阻塞 I/O(nonblocking IO)

linux下，可以通過設(shè)置socket使其變?yōu)閚on-blocking。當對一個non-blocking socket執(zhí)行讀操作時，流程是這個樣子：

當用戶進程發(fā)出read操作時，如果kernel中的數(shù)據(jù)還沒有準備好，那么它并不會block用戶進程，而是立刻返回一個error。從用戶進程角度講 ，它發(fā)起一個read操作后，并不需要等待，而是馬上就得到了一個結(jié)果。用戶進程判斷結(jié)果是一個error時，它就知道數(shù)據(jù)還沒有準備好，于是它可以再次發(fā)送read操作。一旦kernel中的數(shù)據(jù)準備好了，并且又再次收到了用戶進程的system call，那么它馬上就將數(shù)據(jù)拷貝到了用戶內(nèi)存，然后返回。

nonblocking IO的特點是用戶進程需要不斷的主動詢問kernel數(shù)據(jù)好了沒有。

4.3 I/O 多路復(fù)用( IO multiplexing)

IO multiplexing就是我們說的select，poll，epoll，有些地方也稱這種IO方式為event driven IO。select/epoll的好處就在于單個process就可以同時處理多個網(wǎng)絡(luò)連接的IO。它的基本原理就是select，poll，epoll這個function會不斷的輪詢所負責的所有socket，當某個socket有數(shù)據(jù)到達了，就通知用戶進程。

當用戶進程調(diào)用了select，那么整個進程會被block，而同時，kernel會“監(jiān)視”所有select負責的socket，當任何一個socket中的數(shù)據(jù)準備好了，select就會返回。這個時候用戶進程再調(diào)用read操作，將數(shù)據(jù)從kernel拷貝到用戶進程。

所以，I/O 多路復(fù)用的特點是通過一種機制一個進程能同時等待多個文件描述符，而這些文件描述符(套接字描述符)其中的任意一個進入讀就緒狀態(tài)，select()函數(shù)就可以返回。

這個圖和blocking IO的圖其實并沒有太大的不同，事實上，還更差一些。因為這里需要使用兩個system call (select 和 recvfrom)，而blocking IO只調(diào)用了一個system call (recvfrom)。但是，用select的優(yōu)勢在于它可以同時處理多個connection。

所以，如果處理的連接數(shù)不是很高的話，使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好，可能延遲還更大。select/epoll的優(yōu)勢并不是對于單個連接能處理得更快，而是在于能處理更多的連接。)

在IO multiplexing Model中，實際中，對于每一個socket，一般都設(shè)置成為non-blocking，但是，如上圖所示，整個用戶的process其實是一直被block的。只不過process是被select這個函數(shù)block，而不是被socket IO給block。

4.4 異步 I/O(asynchronous IO)

inux下的asynchronous IO其實用得很少。先看一下它的流程：

用戶進程發(fā)起read操作之后，立刻就可以開始去做其它的事。而另一方面，從kernel的角度，當它受到一個asynchronous read之后，首先它會立刻返回，所以不會對用戶進程產(chǎn)生任何block。然后，kernel會等待數(shù)據(jù)準備完成，然后將數(shù)據(jù)拷貝到用戶內(nèi)存，當這一切都完成之后，kernel會給用戶進程發(fā)送一個signal，告訴它read操作完成了。

4.5 總結(jié)

blocking和non-blocking的區(qū)別：

調(diào)用blocking IO會一直block住對應(yīng)的進程直到操作完成，而non-blocking IO在kernel還準備數(shù)據(jù)的情況下會立刻返回。

synchronous IO和asynchronous IO的區(qū)別：

在說明synchronous IO和asynchronous IO的區(qū)別之前，需要先給出兩者的定義。POSIX的定義是這樣子的：

- A synchronous I/O operation causes the requesting process to be blocked until that I/O operation completes;

- An asynchronous I/O operation does not cause the requesting process to be blocked;

兩者的區(qū)別就在于synchronous IO做”IO operation”的時候會將process阻塞。按照這個定義，之前所述的blocking IO，non-blocking IO，IO multiplexing都屬于synchronous IO。

有人會說，non-blocking IO并沒有被block啊。這里有個非常“狡猾”的地方，定義中所指的”IO operation”是指真實的IO操作，就是例子中的recvfrom這個system call。non-blocking IO在執(zhí)行recvfrom這個system call的時候，如果kernel的數(shù)據(jù)沒有準備好，這時候不會block進程。但是，當kernel中數(shù)據(jù)準備好的時候，recvfrom會將數(shù)據(jù)從kernel拷貝到用戶內(nèi)存中，這個時候進程是被block了，在這段時間內(nèi)，進程是被block的。

而asynchronous IO則不一樣，當進程發(fā)起IO 操作之后，就直接返回再也不理睬了，直到kernel發(fā)送一個信號，告訴進程說IO完成。在這整個過程中，進程完全沒有被block。

各個IO Model的比較如圖所示：

通過上面的圖片，可以發(fā)現(xiàn)non-blocking IO和asynchronous IO的區(qū)別還是很明顯的。在non-blocking IO中，雖然進程大部分時間都不會被block，但是它仍然要求進程去主動的check，并且當數(shù)據(jù)準備完成以后，也需要進程主動的再次調(diào)用recvfrom來將數(shù)據(jù)拷貝到用戶內(nèi)存。而asynchronous IO則完全不同。它就像是用戶進程將整個IO操作交給了他人(kernel)完成，然后他人做完后發(fā)信號通知。在此期間，用戶進程不需要去檢查IO操作的狀態(tài)，也不需要主動的去拷貝數(shù)據(jù)。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的python复制文件夹不阻塞_python学习笔记-（十四）I/O多路复用 阻塞、非阻塞、同步、异步...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。