原作者：藍形參

原文：http://www.zhihu.com/question/20114168/answer/14024115

使用多線程還是用IO復用select/epoll?

• 多線程模型適用于處理短連接，且連接的打開關閉非常頻繁的情形，但不適合處理長連接。多線程模型默認情況下，（在Linux）每個線程會開8M的棧空間，再TCP長連接的情況下，2000/分鐘的請求，幾乎可以假定有上萬甚至十幾萬的并發(fā)連接，假定有10000個連接，開這么多個線程需要10000*8M=80G的內存空間！即使調整每個線程的棧空間，也很難滿足更多的需求。甚至攻擊者可以利用這一點發(fā)動DDoS，只要一個連接連上服務器什么也不做，就能吃掉服務器幾M的內存，這不同于多進程模型，線程間內存無法共享，因為所有線程處在同一個地址空間中。內存是多線程模型的軟肋。
• 在UNIX平臺下多進程模型擅長處理并發(fā)長連接，但卻不適用于連接頻繁產(chǎn)生和關閉的情形。Windows平臺忽略此項。 同樣的連接需要的內存數(shù)量并不比多線程模型少，但是得益于操作系統(tǒng)虛擬內存的Copy on? Write機制，fork產(chǎn)生的進程和父進程共享了很大一部分物理內存。但是多進程模型在執(zhí)行效率上太低，接受一個連接需要幾百個時鐘周期，產(chǎn)生一個進程 可能消耗幾萬個CPU時鐘周期，兩者的開銷不成比例。而且由于每個進程的地址空間是獨立的，如果需要進行進程間通信的話，只能使用IPC進行進程間通 信，而不能直接對內存進行訪問。在CPU能力不足的情況下同樣容易遭受DDos，攻擊者只需要連上服務器，然后立刻關閉連接，服務端則需要打開一個進程再關閉。

• 同時需要保持很多的長連接，而且連接的開關很頻繁，最高效的模型是非阻塞、異步IO模型。而且不要用select/poll，這兩個API的有著O(N)的時間復雜度。在Linux用epoll，BSD用kqueue，Windows用IOCP，或者用libevent封裝的統(tǒng)一接口（對于不同平臺libevent實現(xiàn)時采用各個平臺特有的API），這些平臺特有的API時間復雜度為O(1)。????? 然而在非阻塞，異步I/O模型下的編程是非常痛苦的。由于I/O操作不再阻塞，報文的解析需要小心翼翼，并且需要親自管理維護每個鏈接的狀態(tài)。并且為了充分利用CPU，還應結合線程池，避免在輪詢線程中處理業(yè)務邏輯。
  ????? 但這種模型的效率是極高的。以知名的http服務器nginx為例，可以輕松應付上千萬的空連接+少量活動鏈接，每個連接連接僅需要幾K的內核緩沖區(qū)，想要應付更多的空連接，只需簡單的增加內存（數(shù)據(jù)來源為淘寶一位工程師的一次技術講座，并未實測）。這使得DDoS攻擊者的成本大大增加，這種模型攻擊者只能將服務器的帶寬全部占用，才能達到目的，而兩方的投入是不成比例的。
  

epoll 或者 kqueue 的原理是什么？

首先我們來定義流的概念，一個流可以是文件，socket，pipe等等可以進行I/O操作的內核對象。
不管是文件，還是套接字，還是管道，我們都可以把他們看作流。
之后我們來討論I/O的操作，通過read，我們可以從流中讀入數(shù)據(jù)；通過write，我們可以往流寫入數(shù)據(jù)。現(xiàn)在假定一個情形，我們需要從流中讀數(shù)據(jù)，但是流中還沒有數(shù)據(jù)，（典型的例子為，客戶端要從socket讀如數(shù)據(jù)，但是服務器還沒有把數(shù)據(jù)傳回來），這時候該怎么辦？

• 阻塞。阻塞是個什么概念呢？比如某個時候你在等快遞，但是你不知道快遞什么時候過來，而且你沒有別的事可以干（或者說接下來的事要等快遞來了才能做）；那么你可以去睡覺了，因為你知道快遞把貨送來時一定會給你打個電話（假定一定能叫醒你）。
• 非阻塞忙輪詢。接著上面等快遞的例子，如果用忙輪詢的方法，那么你需要知道快遞員的手機號，然后每分鐘給他掛個電話：“你到了沒？”

很明顯一般人不會用第二種做法，不僅顯很無腦，浪費話費不說，還占用了快遞員大量的時間。
大部分程序也不會用第二種做法，因為第一種方法經(jīng)濟而簡單，經(jīng)濟是指消耗很少的CPU時間，如果線程睡眠了，就掉出了系統(tǒng)的調度隊列，暫時不會去瓜分CPU寶貴的時間片了。

為了了解阻塞是如何進行的，我們來討論緩沖區(qū)，以及內核緩沖區(qū)，最終把I/O事件解釋清楚。緩沖區(qū)的引入是為了減少頻繁I/O操作而引起頻繁的系統(tǒng)調用（你知道它很慢的），當你操作一個流時，更多的是以緩沖區(qū)為單位進行操作，這是相對于用戶空間而言。對于內核來說，也需要緩沖區(qū)。
假設有一個管道，進程A為管道的寫入方，Ｂ為管道的讀出方。

1. 假設一開始內核緩沖區(qū)是空的，B作為讀出方，被阻塞著。然后首先A往管道寫入，這時候內核緩沖區(qū)由空的狀態(tài)變到非空狀態(tài)，內核就會產(chǎn)生一個事件告訴Ｂ該醒來了，這個事件姑且稱之為“緩沖區(qū)非空”。
2. 但是“緩沖區(qū)非空”事件通知B后，B卻還沒有讀出數(shù)據(jù)；且內核許諾了不能把寫入管道中的數(shù)據(jù)丟掉這個時候，Ａ寫入的數(shù)據(jù)會滯留在內核緩沖區(qū)中，如果內核也緩沖區(qū)滿了，B仍未開始讀數(shù)據(jù)，最終內核緩沖區(qū)會被填滿，這個時候會產(chǎn)生一個I/O事件，告訴進程A，你該等等（阻塞）了，我們把這個事件定義為“緩沖區(qū)滿”。
3. 假設后來Ｂ終于開始讀數(shù)據(jù)了，于是內核的緩沖區(qū)空了出來，這時候內核會告訴A，內核緩沖區(qū)有空位了，你可以從長眠中醒來了，繼續(xù)寫數(shù)據(jù)了，我們把這個事件叫做“緩沖區(qū)非滿”
4. 也許事件Y1已經(jīng)通知了A，但是A也沒有數(shù)據(jù)寫入了，而Ｂ繼續(xù)讀出數(shù)據(jù)，知道內核緩沖區(qū)空了。這個時候內核就告訴B，你需要阻塞了！，我們把這個時間定為“緩沖區(qū)空”。

這四個情形涵蓋了四個I/O事件，緩沖區(qū)滿，緩沖區(qū)空，緩沖區(qū)非空，緩沖區(qū)非滿（注都是說的內核緩沖區(qū)，且這四個術語都是我生造的，僅為解釋其原理而造）。這四個I/O事件是進行阻塞同步的根本。（如果不能理解“同步”是什么概念，請學習操作系統(tǒng)的鎖，信號量，條件變量等任務同步方面的相關知識）。

然后我們來說說阻塞I/O的缺點。但是阻塞I/O模式下，一個線程只能處理一個流的I/O事件。如果想要同時處理多個流，要么多進程(fork)，要么多線程(pthread_create)，很不幸這兩種方法效率都不高。
于是再來考慮非阻塞忙輪詢的I/O方式，我們發(fā)現(xiàn)我們可以同時處理多個流了（把一個流從阻塞模式切換到非阻塞模式再此不予討論）：
while true {
? for i in stream[]; {
??????????? if i has data
????????????????? read until unavailable
}
}
我們只要不停的把所有流從頭到尾問一遍，又從頭開始。這樣就可以處理多個流了，但這樣的做法顯然不好，因為如果所有的流都沒有數(shù)據(jù)，那么只會白白浪費CPU。這里要補充一點，阻塞模式下，內核對于I/O事件的處理是阻塞或者喚醒，而非阻塞模式下則把I/O事件交給其他對象（后文介紹的select以及epoll）處理甚至直接忽略。

為了避免CPU空轉，可以引進了一個代理（一開始有一位叫做select的代理，后來又有一位叫做poll的代理，不過兩者的本質是一樣的）。這個代理比較厲害，可以同時觀察許多流的I/O事件，在空閑的時候，會把當前線程阻塞掉，當有一個或多個流有I/O事件時，就從阻塞態(tài)中醒來，于是我們的程序就會輪詢一遍所有的流（于是我們可以把“忙”字去掉了）。代碼長這樣:
while true {
? select(streams[])
? for i in streams[] {
??????????? if i has data
????????????????? read until unavailable
}
}
于是，如果沒有I/O事件產(chǎn)生，我們的程序就會阻塞在select處。但是依然有個問題，我們從select那里僅僅知道了，有I/O事件發(fā)生了，但卻并不知道是那幾個流（可能有一個，多個，甚至全部），我們只能無差別輪詢所有流，找出能讀出數(shù)據(jù)，或者寫入數(shù)據(jù)的流，對他們進行操作。
但是使用select，我們有O(n)的無差別輪詢復雜度，同時處理的流越多，每一次無差別輪詢時間就越長。再次
說了這么多，終于能好好解釋epoll了
epoll可以理解為event poll，不同于忙輪詢和無差別輪詢，epoll之會把哪個流發(fā)生了怎樣的I/O事件通知我們。此時我們對這些流的操作都是有意義的。（復雜度降低到了O(1)）
在討論epoll的實現(xiàn)細節(jié)之前，先把epoll的相關操作列出：

• epoll_create 創(chuàng)建一個epoll對象，一般epollfd = epoll_create()
  
• epoll_ctl （epoll_add/epoll_del的合體），往epoll對象中增加/刪除某一個流的某一個事件
  比如
  epoll_ctl(epollfd, EPOLL_CTL_ADD, socket, EPOLLIN);//注冊緩沖區(qū)非空事件，即有數(shù)據(jù)流入
  epoll_ctl(epollfd, EPOLL_CTL_DEL, socket, EPOLLOUT);//注冊緩沖區(qū)非滿事件，即流可以被寫入
• epoll_wait(epollfd,...)等待直到注冊的事件發(fā)生
  

（注：當對一個非阻塞流的讀寫發(fā)生緩沖區(qū)滿或緩沖區(qū)空，write/read會返回-1，并設置errno=EAGAIN。而epoll只關心緩沖區(qū)非滿和緩沖區(qū)非空事件）。
一個epoll模式的代碼大概的樣子是：
while true {
??? active_stream[] = epoll_wait(epollfd)
??? for i in active_stream[] {
??????? read or write till unavailable
}
}
限于篇幅，我只說這么多，以揭示原理性的東西，至于epoll的使用細節(jié)，請參考man和google，實現(xiàn)細節(jié)，請參閱linux kernel source。

總結

以上是生活随笔為你收集整理的使用多线程还是用IO复用select/epoll? epoll 或者 kqueue 的原理是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。