日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

IO多路复用select,poll epoll以及区别

發布時間:2024/1/8 编程问答 24 豆豆
生活随笔 收集整理的這篇文章主要介紹了 IO多路复用select,poll epoll以及区别 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

看這個一次讀懂 Select、Poll、Epoll IO復用技術 文章來簡單理解下,如果不是很明白的話,可以參考下面轉的知乎上面白話文列子

作者:Leslie
鏈接:https://www.zhihu.com/question/32163005/answer/76577586
來源:知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。

要弄清問題 先要知道問題的出現原因
原因:
由于進程的執行過程是線性的(也就是順序執行),當我們調用低速系統I/O(read,write,accept等等),進程可能阻塞,此時進程就阻塞
在這個調用上,不能執行其他操作.阻塞很正常. 接下來考慮這么一個問題:一個服務器進程和一個客戶端進程通信,服務器端read(sockfd1,bud,bufsize),此時客戶端進程沒有發送數據,那么read(阻塞調用)將阻塞直到客戶端調用write(sockfd,but,size)
發來數據. 在一個客戶和服務器通信時這沒什么問題,當多個客戶與服務器通信時,若服務器阻塞于其中一個客戶sockfd1,當另一個客戶的數據到達套接字sockfd2時,服務器不能處理,仍然阻塞在read(sockfd1,...)上;此時問題就出現了,不能及時處理另一個客戶的
服務,咋么辦?I/O多路復用來解決!I/O多路復用:繼續上面的問題,有多個客戶連接,sockfd1,sockfd2,sockfd3..sockfdn同時監聽這n個客戶,當其中有一個發來消息時就從select的阻塞中返回,然后就調用read讀取收到消息的sockfd,然后又循環回select
阻塞;
這樣就不會因為阻塞在其中一個上而不能處
理另一個客戶的消息

Q:
那這樣子,在讀取socket1的數據時,如果其它socket有數據來,那么也要等到socket1讀取完了才能繼續讀取其它socket的數據吧。那不是也阻塞住了嗎?而且讀取到的數據也要開啟線程處理吧,那這和多線程IO有什么區別呢?

A:
1.CPU本來就是線性的 不論什么都需要順序處理 并行只能是多核CPU
http://2.io多路復用本來就是用來解決對多個I/O監聽時,一個I/O阻塞影響其他I/O的問題,跟多線程沒關系.
3.跟多線程相比較,線程切換需要切換到內核進行線程切換,需要消耗時間和資源. 而I/O多路復用不需要切換線/進程,效率相對較高,特別是對高并發的應用nginx就是用I/O多路復用,故而性能極佳.但多線程編程邏輯和處理上比I/O多路復用簡單.而I/O多路復用處理起來較為復雜.

作者:匿名用戶
鏈接:https://www.zhihu.com/question/32163005/answer/55687802
來源:知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。

這些名詞比較繞口,理解涵義就好。一個epoll場景:一個酒吧服務員(一個線程),前面趴了一群醉漢,突然一個吼一聲“倒酒”(事件),你小跑過去給他倒一杯,然后隨他去吧,突然又一個要倒酒,你又過去倒上,就這樣一個服務員服務好多人,有時沒人喝酒,服務員處于空閑狀態,可以干點別的玩玩手機。至于epoll與select,poll的區別在于后兩者的場景中醉漢不說話,你要挨個問要不要酒,沒時間玩手機了。io多路復用大概就是指這幾個醉漢共用一個服務員。

作者:levin
鏈接:https://www.zhihu.com/question/32163005/answer/255238636
來源:知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。
?

IO 多路復用是5種I/O模型中的第3種,對各種模型講個故事,描述下區別:

故事情節為:老李去買火車票,三天后買到一張退票。參演人員(老李,黃牛,售票員,快遞員),往返車站耗費1小時。

1.阻塞I/O模型

老李去火車站買票,排隊三天買到一張退票。

耗費:在車站吃喝拉撒睡 3天,其他事一件沒干。

2.非阻塞I/O模型

老李去火車站買票,隔12小時去火車站問有沒有退票,三天后買到一張票。

耗費:往返車站6次,路上6小時,其他時間做了好多事。

3.I/O復用模型

1.select/poll

老李去火車站買票,委托黃牛,然后每隔6小時電話黃牛詢問,黃牛三天內買到票,然后老李去火車站交錢領票。

耗費:往返車站2次,路上2小時,黃牛手續費100元,打電話17次

2.epoll

老李去火車站買票,委托黃牛,黃牛買到后即通知老李去領,然后老李去火車站交錢領票。

耗費:往返車站2次,路上2小時,黃牛手續費100元,無需打電話

4.信號驅動I/O模型

老李去火車站買票,給售票員留下電話,有票后,售票員電話通知老李,然后老李去火車站交錢領票。

耗費:往返車站2次,路上2小時,免黃牛費100元,無需打電話

5.異步I/O模型

老李去火車站買票,給售票員留下電話,有票后,售票員電話通知老李并快遞送票上門。

耗費:往返車站1次,路上1小時,免黃牛費100元,無需打電話

1同2的區別是:自己輪詢

2同3的區別是:委托黃牛

3同4的區別是:電話代替黃牛

4同5的區別是:電話通知是自取還是送票上門

?

作者:羅志宇
鏈接:https://www.zhihu.com/question/32163005/answer/55772739
來源:知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。

這個還是很好說清楚的。

假設你是一個機場的空管, 你需要管理到你機場的所有的航線, 包括進港,出港, 有些航班需要放到停機坪等待,有些航班需要去登機口接乘客。

你會怎么做?

最簡單的做法,就是你去招一大批空管員,然后每人盯一架飛機, 從進港,接客,排位,出港,航線監控,直至交接給下一個空港,全程監控。

那么問題就來了:

  • 很快你就發現空管塔里面聚集起來一大票的空管員,交通稍微繁忙一點,新的空管員就已經擠不進來了。
  • 空管員之間需要協調,屋子里面就1, 2個人的時候還好,幾十號人以后 ,基本上就成菜市場了。
  • 空管員經常需要更新一些公用的東西,比如起飛顯示屏,比如下一個小時后的出港排期,最后你會很驚奇的發現,每個人的時間最后都花在了搶這些資源上。

?

現實上我們的空管同時管幾十架飛機稀松平常的事情, 他們怎么做的呢?
他們用這個東西

這個東西叫flight progress strip. 每一個塊代表一個航班,不同的槽代表不同的狀態,然后一個空管員可以管理一組這樣的塊(一組航班),而他的工作,就是在航班信息有新的更新的時候,把對應的塊放到不同的槽子里面。

?

這個東西現在還沒有淘汰哦,只是變成電子的了而已。。

是不是覺得一下子效率高了很多,一個空管塔里可以調度的航線可以是前一種方法的幾倍到幾十倍。

如果你把每一個航線當成一個Sock(I/O 流), 空管當成你的服務端Sock管理代碼的話.

第一種方法就是最傳統的多進程并發模型 (每進來一個新的I/O流會分配一個新的進程管理。)
第二種方法就是I/O多路復用 (單個線程,通過記錄跟蹤每個I/O流(sock)的狀態,來同時管理多個I/O流 。)

其實“I/O多路復用”這個坑爹翻譯可能是這個概念在中文里面如此難理解的原因。所謂的I/O多路復用在英文中其實叫 I/O multiplexing. 如果你搜索multiplexing啥意思,基本上都會出這個圖:

于是大部分人都直接聯想到"一根網線,多個sock復用" 這個概念,包括上面的幾個回答, 其實不管你用多進程還是I/O多路復用, 網線都只有一根好伐。多個Sock復用一根網線這個功能是在內核+驅動層實現的

重要的事情再說一遍: I/O multiplexing 這里面的 multiplexing 指的其實是在單個線程通過記錄跟蹤每一個Sock(I/O流)的狀態(對應空管塔里面的Fight progress strip槽)來同時管理多個I/O流. 發明它的原因,是盡量多的提高服務器的吞吐能力。

?

是不是聽起來好拗口,看個圖就懂了.

?


在同一個線程里面, 通過撥開關的方式,來同時傳輸多個I/O流, (學過EE的人現在可以站出來義正嚴辭說這個叫“時分復用”了)。

?

什么,你還沒有搞懂“一個請求到來了,nginx使用epoll接收請求的過程是怎樣的”, 多看看這個圖就了解了。提醒下,ngnix會有很多鏈接進來, epoll會把他們都監視起來,然后像撥開關一樣,誰有數據就撥向誰,然后調用相應的代碼處理。

------------------------------------------
了解這個基本的概念以后,其他的就很好解釋了。

select, poll, epoll 都是I/O多路復用的具體的實現,之所以有這三個鬼存在,其實是他們出現是有先后順序的。

I/O多路復用這個概念被提出來以后, select是第一個實現 (1983 左右在BSD里面實現的)。

select 被實現以后,很快就暴露出了很多問題。

  • select 會修改傳入的參數數組,這個對于一個需要調用很多次的函數,是非常不友好的。
  • select 如果任何一個sock(I/O stream)出現了數據,select 僅僅會返回,但是并不會告訴你是那個sock上有數據,于是你只能自己一個一個的找,10幾個sock可能還好,要是幾萬的sock每次都找一遍,這個無謂的開銷就頗有海天盛筵的豪氣了。
  • select 只能監視1024個鏈接, 這個跟草榴沒啥關系哦,linux 定義在頭文件中的,參見FD_SETSIZE。
  • select 不是線程安全的,如果你把一個sock加入到select, 然后突然另外一個線程發現,尼瑪,這個sock不用,要收回。對不起,這個select 不支持的,如果你喪心病狂的竟然關掉這個sock, select的標準行為是。。呃。。不可預測的, 這個可是寫在文檔中的哦.

“If a file descriptor being monitored by select() is closed in another thread, the result is unspecified”
霸不霸氣

于是14年以后(1997年)一幫人又實現了poll, poll 修復了select的很多問題,比如

  • poll 去掉了1024個鏈接的限制,于是要多少鏈接呢, 主人你開心就好。
  • poll 從設計上來說,不再修改傳入數組,不過這個要看你的平臺了,所以行走江湖,還是小心為妙。

其實拖14年那么久也不是效率問題, 而是那個時代的硬件實在太弱,一臺服務器處理1千多個鏈接簡直就是神一樣的存在了,select很長段時間已經滿足需求。

但是poll仍然不是線程安全的, 這就意味著,不管服務器有多強悍,你也只能在一個線程里面處理一組I/O流。你當然可以那多進程來配合了,不過然后你就有了多進程的各種問題。

于是5年以后, 在2002, 大神 Davide Libenzi 實現了epoll.

epoll 可以說是I/O 多路復用最新的一個實現,epoll 修復了poll 和select絕大部分問題, 比如:

  • epoll 現在是線程安全的。
  • epoll 現在不僅告訴你sock組里面數據,還會告訴你具體哪個sock有數據,你不用自己去找了。

?

epoll 當年的patch,現在還在,下面鏈接可以看得到:
/dev/epoll Home Page

貼一張霸氣的圖,看看當年神一樣的性能(測試代碼都是死鏈了, 如果有人可以刨墳找出來,可以研究下細節怎么測的).


橫軸Dead connections 就是鏈接數的意思,叫這個名字只是它的測試工具叫deadcon. 縱軸是每秒處理請求的數量,你可以看到,epoll每秒處理請求的數量基本不會隨著鏈接變多而下降的。poll 和/dev/poll 就很慘了。

?

可是epoll 有個致命的缺點。。只有linux支持。比如BSD上面對應的實現是kqueue。

其實有些國內知名廠商把epoll從安卓里面裁掉這種腦殘的事情我會主動告訴你嘛。什么,你說沒人用安卓做服務器,尼瑪你是看不起p2p軟件了啦。

而ngnix 的設計原則里面, 它會使用目標平臺上面最高效的I/O多路復用模型咯,所以才會有這個設置。一般情況下,如果可能的話,盡量都用epoll/kqueue吧。

詳細的在這里:
Connection processing methods

PS: 上面所有這些比較分析,都建立在大并發下面,如果你的并發數太少,用哪個,其實都沒有區別。 如果像是在歐朋數據中心里面的轉碼服務器那種動不動就是幾萬幾十萬的并發,不用epoll我可以直接去撞墻了。

?

總結

以上是生活随笔為你收集整理的IO多路复用select,poll epoll以及区别的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。