2019獨角獸企業重金招聘Python工程師標準>>>

最近看到“服務器并發處理能力”章節，被里面的“I/O模型“搞得有點頭暈，所以這里希望通過概念的辨析和對比，能更好的理解Linux的 I/O模型。

同步（synchronous） IO和異步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO分別是什么，到底有什么區別？

比較常用的IO Model有以下4種：?blocking IO、nonblocking IO、IO multiplexing、asynchronous IO
由于signal driven IO在實際中并不常用，所以我這只提及剩下的四種IO Model。

1、blocking IO

用戶進程進行I/O操作，一直阻塞到I/O操作完成為止。

示例代碼

while ( (n=read(STDIN_FILENO, buf, BUFSIZ) ) > 0)if (write (STDOUT_FILENO, buf, n) != n)err_sys (write error ”) ; 在linux中，默認情況下所有的socket都是blocking，當用戶進程調用了recvfrom這個系統調用，kernel就開始了IO的第一個階段：準備數據。對于network io來說，很多時候數據在一開始還沒有到達（比如，還沒有收到一個完整的UDP包），這個時候kernel就要等待足夠的數據到來。而在用戶進程這邊，整個進程會被阻塞。當kernel一直等到數據準備好了，它就會將數據從kernel中拷貝到用戶內存，然后kernel返回結果，用戶進程才解除block的狀態，重新運行起來。
所以，blocking IO的特點就是在IO執行的兩個階段都被block了。

2、non-blocking IO

linux下，可以通過設置socket使其變為non-blocking。當對一個non-blocking socket執行讀操作時，流程是這個樣子：

//nbtest.c #include <stdio.h> #include <unistd.h> #include <fcntl.h> #include <stdlib.h> #include <errno.h>char buffer[4096];int main(int argc, char **argv) {int delay = 1, n, m = 0;if (argc > 1)delay=atoi(argv[1]);fcntl(0, F_SETFL, fcntl(0,F_GETFL) | O_NONBLOCK); /* stdin */fcntl(1, F_SETFL, fcntl(1,F_GETFL) | O_NONBLOCK); /* stdout */while (1) {n = read(0, buffer, 4096);if (n >= 0)m = write(1, buffer, n);if ((n < 0 || m < 0) && (errno != EAGAIN))break;sleep(delay);}perror(n < 0 ? "stdin" : "stdout");exit(1); } 我們用strace來跟蹤一下程序執行的結果：

out.txt的內容如下：

可以清楚的看到read讀取失敗的情況。實際上，該方式需要應用程序以一種輪詢的方式來實現數據讀取，多次無謂的系統調用會加大系統開銷，影響應整個系統的吞吐量。

3、IO multiplexing

IO multiplexing這個詞可能有點陌生，但是如果我說select，epoll，大概就都能明白了。有些地方也稱這種IO方式為event driven IO。我們都知道，select/epoll的好處就在于單個process就可以同時處理多個網絡連接的IO。它的基本原理就是select/epoll這個function會不斷的輪詢所負責的所有socket，當某個socket有數據到達了，就通知用戶進程。它的流程如圖：

當用戶進程調用了select，那么整個進程會被block，而同時，kernel會“監視”所有select負責的socket，當任何一個socket中的數據準備好了，select就會返回。這個時候用戶進程再調用read操作，將數據從kernel拷貝到用戶進程。

這個圖和blocking IO的圖其實并沒有太大的不同，事實上，還更差一些。因為這里需要使用兩個system call (select 和 recvfrom)，而blocking IO只調用了一個system call (recvfrom)。但是，用select的優勢在于它可以同時處理多個connection。（多說一句。所以，如果處理的連接數不是很高的話，使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好，可能延遲還更大。select/epoll的優勢并不是對于單個連接能處理得更快，而是在于能處理更多的連接。）
在IO multiplexing Model中，實際中，對于每一個socket，一般都設置成為non-blocking，但是，如上圖所示，整個用戶的process其實是一直被block的。只不過process是被select這個函數block，而不是被socket IO給block。

#include <stdio.h> #include <unistd.h> #include <stdlib.h> #include <errno.h> #include <sys/poll.h> #include <fcntl.h>char buffer[4096];int main(int argc, char **argv) {struct pollfd pfd;int n;fcntl(0, F_SETFL, fcntl(0,F_GETFL) | O_NONBLOCK); /* stdin */pfd.fd = 0; /* stdin */pfd.events = POLLIN;while (1) {n=read(0, buffer, 4096);if (n >= 0)write(1, buffer, n);n = poll(&pfd, 1, -1);if (n < 0)break;}perror( n<0 ? "stdin" : "stdout");exit(1); } 我們用strace來跟蹤一下程序執行的結果：

out.txt文件：

該方式中，select(或poll)的調用仍然會阻塞進程，與一般典型的I/O不一樣的它是等待事件通知。但是它引入了超時機制，可以讓應用程序有權力避免過長時間等待；另一方面，如果應用程序需要讀寫多個文件，該方式可以一顯身手。典型的應用就是telnet命令(詳細見《UNIX環境高級編程》)。

4、Asynchronous I/O

linux下的asynchronous IO其實用得很少。先看一下它的流程：

用戶進程發起read操作之后，立刻就可以開始去做其它的事。而另一方面，從kernel的角度，當它受到一個asynchronous read之后，首先它會立刻返回，所以不會對用戶進程產生任何block。然后，kernel會等待數據準備完成，然后將數據拷貝到用戶內存，當這一切都完成之后，kernel會給用戶進程發送一個signal，告訴它read操作完成了。

到目前為止，已經將四個IO Model都介紹完了。現在回過頭來回答最初的那幾個問題：blocking和non-blocking的區別在哪，synchronous IO和asynchronous IO的區別在哪。

先回答最簡單的這個：blocking vs non-blocking。前面的介紹中其實已經很明確的說明了這兩者的區別。調用blocking IO會一直block住對應的進程直到操作完成，而non-blocking IO在kernel還準備數據的情況下會立刻返回。

在說明synchronous IO和asynchronous IO的區別之前，需要先給出兩者的定義。Stevens給出的定義（其實是POSIX的定義）是這樣子的：

????A synchronous I/O operation causes the requesting process to be blocked until that?I/O operation?completes;
??? An asynchronous I/O operation does not cause the requesting process to be blocked;?

兩者的區別就在于synchronous IO做”IO operation”的時候會將process阻塞。按照這個定義，之前所述的blocking IO，non-blocking IO，IO multiplexing都屬于synchronous IO。有人可能會說，non-blocking IO并沒有被block啊。這里有個非常“狡猾”的地方，定義中所指的”IO operation”是指真實的IO操作，就是例子中的recvfrom這個system call。non-blocking IO在執行recvfrom這個system call的時候，如果kernel的數據沒有準備好，這時候不會block進程。但是，當kernel中數據準備好的時候，recvfrom會將數據從kernel拷貝到用戶內存中，這個時候進程是被block了，在這段時間內，進程是被block的。而asynchronous IO則不一樣，當進程發起IO 操作之后，就直接返回再也不理睬了，直到kernel發送一個信號，告訴進程說IO完成。在這整個過程中，進程完全沒有被block。

各個IO Model的比較如圖所示：

經過上面的介紹，會發現non-blocking IO和asynchronous IO的區別還是很明顯的。在non-blocking IO中，雖然進程大部分時間都不會被block，但是它仍然要求進程去主動的check，并且當數據準備完成以后，也需要進程主動的再次調用recvfrom來將數據拷貝到用戶內存。而asynchronous IO則完全不同。它就像是用戶進程將整個IO操作交給了他人（kernel）完成，然后他人做完后發信號通知。在此期間，用戶進程不需要去檢查IO操作的狀態，也不需要主動的去拷貝數據。

最后，再舉幾個不是很恰當的例子來說明這四個IO Model:
有A，B，C，D四個人在釣魚：
A用的是最老式的魚竿，所以呢，得一直守著，等到魚上鉤了再拉桿；
B的魚竿有個功能，能夠顯示是否有魚上鉤，所以呢，B就和旁邊的MM聊天，隔會再看看有沒有魚上鉤，有的話就迅速拉桿；
C用的魚竿和B差不多，但他想了一個好辦法，就是同時放好幾根魚竿，然后守在旁邊，一旦有顯示說魚上鉤了，它就將對應的魚竿拉起來；
D是個有錢人，干脆雇了一個人幫他釣魚，一旦那個人把魚釣上來了，就給D發個短信。

轉載于:https://my.oschina.net/linyouqing/blog/151101

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的Linux I/O 模型（待修改）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。