日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

读过的最好的epoll讲解

發布時間:2023/11/30 编程问答 45 豆豆
生活随笔 收集整理的這篇文章主要介紹了 读过的最好的epoll讲解 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

首先我們來定義流的概念,一個流可以是文件,socket,pipe等等可以進行I/O操作的內核對象。

? ? 不管是文件,還是套接字,還是管道,我們都可以把他們看作流。

? ? 之后我們來討論I/O的操作,通過read,我們可以從流中讀入數據;通過write,我們可以往流寫入數據。現在假定一個情形,我們需要從流中讀數據,但是流中還沒有數據,(典型的例子為,客戶端要從socket讀如數據,但是服務器還沒有把數據傳回來),這時候該怎么辦?

阻塞:阻塞是個什么概念呢?比如某個時候你在等快遞,但是你不知道快遞什么時候過來,而且你沒有別的事可以干(或者說接下來的事要等快遞來了才能做);那么你可以去睡覺了,因為你知道快遞把貨送來時一定會給你打個電話(假定一定能叫醒你)。

非阻塞忙輪詢:接著上面等快遞的例子,如果用忙輪詢的方法,那么你需要知道快遞員的手機號,然后每分鐘給他掛個電話:“你到了沒?”

? ? 很明顯一般人不會用第二種做法,不僅顯很無腦,浪費話費不說,還占用了快遞員大量的時間。

? ? 大部分程序也不會用第二種做法,因為第一種方法經濟而簡單,經濟是指消耗很少的CPU時間,如果線程睡眠了,就掉出了系統的調度隊列,暫時不會去瓜分CPU寶貴的時間片了。

? ? 為了了解阻塞是如何進行的,我們來討論緩沖區,以及內核緩沖區,最終把I/O事件解釋清楚。緩沖區的引入是為了減少頻繁I/O操作而引起頻繁的系統調用(你知道它很慢的),當你操作一個流時,更多的是以緩沖區為單位進行操作,這是相對于用戶空間而言。對于內核來說,也需要緩沖區。

假設有一個管道,進程A為管道的寫入方,B為管道的讀出方。

假設一開始內核緩沖區是空的,B作為讀出方,被阻塞著。然后首先A往管道寫入,這時候內核緩沖區由空的狀態變到非空狀態,內核就會產生一個事件告訴B該醒來了,這個事件姑且稱之為“緩沖區非空”。

? ? 但是“緩沖區非空”事件通知B后,B卻還沒有讀出數據;且內核許諾了不能把寫入管道中的數據丟掉這個時候,A寫入的數據會滯留在內核緩沖區中,如果內核也緩沖區滿了,B仍未開始讀數據,最終內核緩沖區會被填滿,這個時候會產生一個I/O事件,告訴進程A,你該等等(阻塞)了,我們把這個事件定義為“緩沖區滿”。

假設后來B終于開始讀數據了,于是內核的緩沖區空了出來,這時候內核會告訴A,內核緩沖區有空位了,你可以從長眠中醒來了,繼續寫數據了,我們把這個事件叫做“緩沖區非滿”

? ? 也許事件Y1已經通知了A,但是A也沒有數據寫入了,而B繼續讀出數據,知道內核緩沖區空了。這個時候內核就告訴B,你需要阻塞了!,我們把這個時間定為“緩沖區空”。

這四個情形涵蓋了四個I/O事件,緩沖區滿,緩沖區空,緩沖區非空,緩沖區非滿(注都是說的內核緩沖區,且這四個術語都是我生造的,僅為解釋其原理而造)。這四個I/O事件是進行阻塞同步的根本。(如果不能理解“同步”是什么概念,請學習操作系統的鎖,信號量,條件變量等任務同步方面的相關知識)。

? ? 然后我們來說說阻塞I/O的缺點。但是阻塞I/O模式下,一個線程只能處理一個流的I/O事件。如果想要同時處理多個流,要么多進程(fork),要么多線程(pthread_create),很不幸這兩種方法效率都不高。

? ? 于是再來考慮非阻塞忙輪詢的I/O方式,我們發現我們可以同時處理多個流了(把一個流從阻塞模式切換到非阻塞模式再此不予討論):

  • while?true?{

  • ????for?i?in?stream[];?{

  • ????????if?i?has?data

  • ????????????read?until?unavailable

  • ????}

  • }

  • ? ? 我們只要不停的把所有流從頭到尾問一遍,又從頭開始。這樣就可以處理多個流了,但這樣的做法顯然不好,因為如果所有的流都沒有數據,那么只會白白浪費CPU。這里要補充一點,阻塞模式下,內核對于I/O事件的處理是阻塞或者喚醒,而非阻塞模式下則把I/O事件交給其他對象(后文介紹的select以及epoll)處理甚至直接忽略。

    ? ? 為了避免CPU空轉,可以引進了一個代理(一開始有一位叫做select的代理,后來又有一位叫做poll的代理,不過兩者的本質是一樣的)。這個代理比較厲害,可以同時觀察許多流的I/O事件,在空閑的時候,會把當前線程阻塞掉,當有一個或多個流有I/O事件時,就從阻塞態中醒來,于是我們的程序就會輪詢一遍所有的流(于是我們可以把“忙”字去掉了)。代碼長這樣:

  • while?true?{

  • ????select(streams[])

  • ????for?i?in?streams[]?{

  • ????????if?i?has?data

  • ????????????read?until?unavailable

  • ????}

  • }

  • ? ? 于是,如果沒有I/O事件產生,我們的程序就會阻塞在select處。但是依然有個問題,我們從select那里僅僅知道了,有I/O事件發生了,但卻并不知道是那幾個流(可能有一個,多個,甚至全部),我們只能無差別輪詢所有流,找出能讀出數據,或者寫入數據的流,對他們進行操作。

    ? ? 但是使用select,我們有O(n)的無差別輪詢復雜度,同時處理的流越多,沒一次無差別輪詢時間就越長。再次

    說了這么多,終于能好好解釋epoll了

    ? ? epoll可以理解為event poll,不同于忙輪詢和無差別輪詢,epoll之會把哪個流發生了怎樣的I/O事件通知我們。此時我們對這些流的操作都是有意義的。(復雜度降低到了O(1))

    ? ? 在討論epoll的實現細節之前,先把epoll的相關操作列出:

    epoll_create 創建一個epoll對象,一般epollfd = epoll_create()

    epoll_ctl (epoll_add/epoll_del的合體),往epoll對象中增加/刪除某一個流的某一個事件

    比如

    epoll_ctl(epollfd, EPOLL_CTL_ADD, socket, EPOLLIN);//注冊緩沖區非空事件,即有數據流入

    epoll_ctl(epollfd, EPOLL_CTL_DEL, socket, EPOLLOUT);//注冊緩沖區非滿事件,即流可以被寫入

    epoll_wait(epollfd,...)等待直到注冊的事件發生

    (注:當對一個非阻塞流的讀寫發生緩沖區滿或緩沖區空,write/read會返回-1,并設置errno=EAGAIN。而epoll只關心緩沖區非滿和緩沖區非空事件)。

    一個epoll模式的代碼大概的樣子是:

  • while?true?{

  • ????active_stream[]?=?epoll_wait(epollfd)

  • ????for?i?in?active_stream[]?{

  • ????????read?or?write?till

  • ????}

  • }

  • ? ? 限于篇幅,我只說這么多,以揭示原理性的東西,至于epoll的使用細節,請參考man和google,實現細節,請參閱linux kernel source。

    ?

    ------

    文章來源:http://blog.csdn.net/xiajun07061225/article/details/9250579

    ?

    什么是epoll

    ?

    epoll是什么?按照man手冊的說法:是為處理大批量句柄而作了改進的poll。當然,這不是2.6內核才有的,它是在2.5.44內核中被引進的(epoll(4) is a new API introduced in Linux kernel 2.5.44),它幾乎具備了之前所說的一切優點,被公認為Linux2.6下性能最好的多路I/O就緒通知方法。

    ?

    epoll的相關系統調用

    epoll只有epoll_create,epoll_ctl,epoll_wait 3個系統調用。

    ?

    1. int epoll_create(int size);

    創建一個epoll的句柄。自從linux2.6.8之后,size參數是被忽略的。需要注意的是,當創建好epoll句柄后,它就是會占用一個fd值,在linux下如果查看/proc/進程id/fd/,是能夠看到這個fd的,所以在使用完epoll后,必須調用close()關閉,否則可能導致fd被耗盡。

    ?

    2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

    epoll的事件注冊函數,它不同于select()是在監聽事件時告訴內核要監聽什么類型的事件,而是在這里先注冊要監聽的事件類型。

    第一個參數是epoll_create()的返回值。

    第二個參數表示動作,用三個宏來表示:

    EPOLL_CTL_ADD:注冊新的fd到epfd中;

    EPOLL_CTL_MOD:修改已經注冊的fd的監聽事件;

    EPOLL_CTL_DEL:從epfd中刪除一個fd;

    ?

    第三個參數是需要監聽的fd。

    第四個參數是告訴內核需要監聽什么事,struct epoll_event結構如下:

    ?

    [cpp]?view plain?copy

    ?

  • //保存觸發事件的某個文件描述符相關的數據(與具體使用方式有關)??
  • ??
  • typedef?union?epoll_data?{??
  • ????void?*ptr;??
  • ????int?fd;??
  • ????__uint32_t?u32;??
  • ????__uint64_t?u64;??
  • }?epoll_data_t;??
  • ?//感興趣的事件和被觸發的事件??
  • struct?epoll_event?{??
  • ????__uint32_t?events;?/*?Epoll?events?*/??
  • ????epoll_data_t?data;?/*?User?data?variable?*/??
  • };??
  • ?

    ?

    events可以是以下幾個宏的集合:

    EPOLLIN?:表示對應的文件描述符可以讀(包括對端SOCKET正常關閉);

    EPOLLOUT:表示對應的文件描述符可以寫;

    EPOLLPRI:表示對應的文件描述符有緊急的數據可讀(這里應該表示有帶外數據到來);

    EPOLLERR:表示對應的文件描述符發生錯誤;

    EPOLLHUP:表示對應的文件描述符被掛斷;

    EPOLLET:?將EPOLL設為邊緣觸發(Edge Triggered)模式,這是相對于水平觸發(Level Triggered)來說的。

    EPOLLONESHOT:只監聽一次事件,當監聽完這次事件之后,如果還需要繼續監聽這個socket的話,需要再次把這個socket加入到EPOLL隊列里

    ?

    ?

    3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

    收集在epoll監控的事件中已經發送的事件。參數events是分配好的epoll_event結構體數組,epoll將會把發生的事件賦值到events數組中(events不可以是空指針,內核只負責把數據復制到這個events數組中,不會去幫助我們在用戶態中分配內存)。maxevents告之內核這個events有多大,這個?maxevents的值不能大于創建epoll_create()時的size,參數timeout是超時時間(毫秒,0會立即返回,-1將不確定,也有說法說是永久阻塞)。如果函數調用成功,返回對應I/O上已準備好的文件描述符數目,如返回0表示已超時。

    ?

    epoll工作原理

    epoll同樣只告知那些就緒的文件描述符,而且當我們調用epoll_wait()獲得就緒文件描述符時,返回的不是實際的描述符,而是一個代表就緒描述符數量的值,你只需要去epoll指定的一個數組中依次取得相應數量的文件描述符即可,這里也使用了內存映射(mmap)技術,這樣便徹底省掉了這些文件描述符在系統調用時復制的開銷。

    ?

    另一個本質的改進在于epoll采用基于事件的就緒通知方式。在select/poll中,進程只有在調用一定的方法后,內核才對所有監視的文件描述符進行掃描,而epoll事先通過epoll_ctl()來注冊一個文件描述符,一旦基于某個文件描述符就緒時,內核會采用類似callback的回調機制,迅速激活這個文件描述符,當進程調用epoll_wait()時便得到通知。

    ?

    Epoll的2種工作方式-水平觸發(LT)和邊緣觸發(ET)

    ?

    假如有這樣一個例子:

    1. 我們已經把一個用來從管道中讀取數據的文件句柄(RFD)添加到epoll描述符

    2. 這個時候從管道的另一端被寫入了2KB的數據

    3. 調用epoll_wait(2),并且它會返回RFD,說明它已經準備好讀取操作

    4. 然后我們讀取了1KB的數據

    5. 調用epoll_wait(2)......

    ?

    Edge Triggered 工作模式:

    如果我們在第1步將RFD添加到epoll描述符的時候使用了EPOLLET標志,那么在第5步調用epoll_wait(2)之后將有可能會掛起,因為剩余的數據還存在于文件的輸入緩沖區內,而且數據發出端還在等待一個針對已經發出數據的反饋信息。只有在監視的文件句柄上發生了某個事件的時候 ET 工作模式才會匯報事件。因此在第5步的時候,調用者可能會放棄等待仍在存在于文件輸入緩沖區內的剩余數據。在上面的例子中,會有一個事件產生在RFD句柄上,因為在第2步執行了一個寫操作,然后,事件將會在第3步被銷毀。因為第4步的讀取操作沒有讀空文件輸入緩沖區內的數據,因此我們在第5步調用 epoll_wait(2)完成后,是否掛起是不確定的。epoll工作在ET模式的時候,必須使用非阻塞套接口,以避免由于一個文件句柄的阻塞讀/阻塞寫操作把處理多個文件描述符的任務餓死。最好以下面的方式調用ET模式的epoll接口,在后面會介紹避免可能的缺陷。

    ? ?i ? ?基于非阻塞文件句柄

    ? ?ii ? 只有當read(2)或者write(2)返回EAGAIN時才需要掛起,等待。但這并不是說每次read()時都需要循環讀,直到讀到產生一個EAGAIN才認為此次事件處理完成,當read()返回的讀到的數據長度小于請求的數據長度時,就可以確定此時緩沖中已沒有數據了,也就可以認為此事讀事件已處理完成。

    ?

    Level Triggered 工作模式

    相反的,以LT方式調用epoll接口的時候,它就相當于一個速度比較快的poll(2),并且無論后面的數據是否被使用,因此他們具有同樣的職能。因為即使使用ET模式的epoll,在收到多個chunk的數據的時候仍然會產生多個事件。調用者可以設定EPOLLONESHOT標志,在 epoll_wait(2)收到事件后epoll會與事件關聯的文件句柄從epoll描述符中禁止掉。因此當EPOLLONESHOT設定后,使用帶有 EPOLL_CTL_MOD標志的epoll_ctl(2)處理文件句柄就成為調用者必須作的事情。

    ?

    ?

    LT(level triggered)是epoll缺省的工作方式,并且同時支持block和no-block socket.在這種做法中,內核告訴你一個文件描述符是否就緒了,然后你可以對這個就緒的fd進行IO操作。如果你不作任何操作,內核還是會繼續通知你?的,所以,這種模式編程出錯誤可能性要小一點。傳統的select/poll都是這種模型的代表.

    ?

    ET (edge-triggered)是高速工作方式,只支持no-block socket,它效率要比LT更高。ET與LT的區別在于,當一個新的事件到來時,ET模式下當然可以從epoll_wait調用中獲取到這個事件,可是如果這次沒有把這個事件對應的套接字緩沖區處理完,在這個套接字中沒有新的事件再次到來時,在ET模式下是無法再次從epoll_wait調用中獲取這個事件的。而LT模式正好相反,只要一個事件對應的套接字緩沖區還有數據,就總能從epoll_wait中獲取這個事件。

    因此,LT模式下開發基于epoll的應用要簡單些,不太容易出錯。而在ET模式下事件發生時,如果沒有徹底地將緩沖區數據處理完,則會導致緩沖區中的用戶請求得不到響應。

    圖示說明:

    ?

    Nginx默認采用ET模式來使用epoll。

    ?

    epoll的優點:

    1.支持一個進程打開大數目的socket描述符(FD)

    ??? select?最不能忍受的是一個進程所打開的FD是有一定限制的,由FD_SETSIZE設置,默認值是2048。對于那些需要支持的上萬連接數目的IM服務器來說顯然太少了。這時候你一是可以選擇修改這個宏然后重新編譯內核,不過資料也同時指出這樣會帶來網絡效率的下降,二是可以選擇多進程的解決方案(傳統的?Apache方案),不過雖然linux上面創建進程的代價比較小,但仍舊是不可忽視的,加上進程間數據同步遠比不上線程間同步的高效,所以也不是一種完美的方案。不過?epoll則沒有這個限制,它所支持的FD上限是最大可以打開文件的數目,這個數字一般遠大于2048,舉個例子,在1GB內存的機器上大約是10萬左右,具體數目可以cat /proc/sys/fs/file-max察看,一般來說這個數目和系統內存關系很大。

    ?

    2.IO效率不隨FD數目增加而線性下降

    ????傳統的select/poll另一個致命弱點就是當你擁有一個很大的socket集合,不過由于網絡延時,任一時間只有部分的socket是"活躍"的,但是select/poll每次調用都會線性掃描全部的集合,導致效率呈現線性下降。但是epoll不存在這個問題,它只會對"活躍"的socket進行操作---這是因為在內核實現中epoll是根據每個fd上面的callback函數實現的。那么,只有"活躍"的socket才會主動的去調用?callback函數,其他idle狀態socket則不會,在這點上,epoll實現了一個"偽"AIO,因為這時候推動力在os內核。在一些?benchmark中,如果所有的socket基本上都是活躍的---比如一個高速LAN環境,epoll并不比select/poll有什么效率,相反,如果過多使用epoll_ctl,效率相比還有稍微的下降。但是一旦使用idle connections模擬WAN環境,epoll的效率就遠在select/poll之上了。

    ?

    3.使用mmap加速內核與用戶空間的消息傳遞

    ????這點實際上涉及到epoll的具體實現了。無論是select,poll還是epoll都需要內核把FD消息通知給用戶空間,如何避免不必要的內存拷貝就很重要,在這點上,epoll是通過內核于用戶空間mmap同一塊內存實現的。而如果你想我一樣從2.5內核就關注epoll的話,一定不會忘記手工?mmap這一步的。

    ?

    4.內核微調

    這一點其實不算epoll的優點了,而是整個linux平臺的優點。也許你可以懷疑linux平臺,但是你無法回避linux平臺賦予你微調內核的能力。比如,內核TCP/IP協議棧使用內存池管理sk_buff結構,那么可以在運行時期動態調整這個內存pool(skb_head_pool)的大小---?通過echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函數的第2個參數(TCP完成3次握手的數據包隊列長度),也可以根據你平臺內存大小動態調整。更甚至在一個數據包面數目巨大但同時每個數據包本身大小卻很小的特殊系統上嘗試最新的NAPI網卡驅動架構。

    ?

    linux下epoll如何實現高效處理百萬句柄的

    開發高性能網絡程序時,windows開發者們言必稱iocp,linux開發者們則言必稱epoll。大家都明白epoll是一種IO多路復用技術,可以非常高效的處理數以百萬計的socket句柄,比起以前的select和poll效率高大發了。我們用起epoll來都感覺挺爽,確實快,那么,它到底為什么可以高速處理這么多并發連接呢?

    ?

    使用起來很清晰,首先要調用epoll_create建立一個epoll對象。參數size是內核保證能夠正確處理的最大句柄數,多于這個最大數時內核可不保證效果。

    ?

    epoll_ctl可以操作上面建立的epoll,例如,將剛建立的socket加入到epoll中讓其監控,或者把?epoll正在監控的某個socket句柄移出epoll,不再監控它等等。

    ?

    epoll_wait在調用時,在給定的timeout時間內,當在監控的所有句柄中有事件發生時,就返回用戶態的進程。

    ?

    從上面的調用方式就可以看到epoll比select/poll的優越之處:因為后者每次調用時都要傳遞你所要監控的所有socket給select/poll系統調用,這意味著需要將用戶態的socket列表copy到內核態,如果以萬計的句柄會導致每次都要copy幾十幾百KB的內存到內核態,非常低效。而我們調用epoll_wait時就相當于以往調用select/poll,但是這時卻不用傳遞socket句柄給內核,因為內核已經在epoll_ctl中拿到了要監控的句柄列表。

    ?

    所以,實際上在你調用epoll_create后,內核就已經在內核態開始準備幫你存儲要監控的句柄了,每次調用epoll_ctl只是在往內核的數據結構里塞入新的socket句柄。

    ?當一個進程調用epoll_creaqte方法時,Linux內核會創建一個eventpoll結構體,這個結構體中有兩個成員與epoll的使用方式密切相關:

    [cpp]?view plain?copy

    ?

  • /*?
  • ?
  • ?171?*?This?structure?is?stored?inside?the?"private_data"?member?of?the?file?
  • ?
  • ?172?*?structure?and?represents?the?main?data?structure?for?the?eventpoll?
  • ?
  • ?173?*?interface.?
  • ?
  • ?174?*/??
  • ??
  • ?175struct?eventpoll?{??
  • ??
  • ?176????????/*?Protect?the?access?to?this?structure?*/??
  • ??
  • ?177????????spinlock_t?lock;??
  • ??
  • ?178??
  • ??
  • ?179????????/*?
  • ?
  • ?180?????????*?This?mutex?is?used?to?ensure?that?files?are?not?removed?
  • ?
  • ?181?????????*?while?epoll?is?using?them.?This?is?held?during?the?event?
  • ?
  • ?182?????????*?collection?loop,?the?file?cleanup?path,?the?epoll?file?exit?
  • ?
  • ?183?????????*?code?and?the?ctl?operations.?
  • ?
  • ?184?????????*/??
  • ??
  • ?185????????struct?mutex?mtx;??
  • ??
  • ?186??
  • ??
  • ?187????????/*?Wait?queue?used?by?sys_epoll_wait()?*/??
  • ??
  • ?188????????wait_queue_head_t?wq;??
  • ??
  • ?189??
  • ??
  • ?190????????/*?Wait?queue?used?by?file->poll()?*/??
  • ??
  • ?191????????wait_queue_head_t?poll_wait;??
  • ??
  • ?192??
  • ??
  • ?193????????/*?List?of?ready?file?descriptors?*/??
  • ??
  • ?194????????struct?list_head?rdllist;??
  • ??
  • ?195??
  • ??
  • ?196????????/*?RB?tree?root?used?to?store?monitored?fd?structs?*/??
  • ??
  • ?197????????struct?rb_root?rbr;//紅黑樹根節點,這棵樹存儲著所有添加到epoll中的事件,也就是這個epoll監控的事件??
  • ?198??
  • ?199????????/*?
  • ?200?????????*?This?is?a?single?linked?list?that?chains?all?the?"struct?epitem"?that?
  • ?201?????????*?happened?while?transferring?ready?events?to?userspace?w/out?
  • ?202?????????*?holding?->lock.?
  • ?203?????????*/??
  • ?204????????struct?epitem?*ovflist;??
  • ?205??
  • ?206????????/*?wakeup_source?used?when?ep_scan_ready_list?is?running?*/??
  • ?207????????struct?wakeup_source?*ws;??
  • ?208??
  • ?209????????/*?The?user?that?created?the?eventpoll?descriptor?*/??
  • ?210????????struct?user_struct?*user;??
  • ?211??
  • ?212????????struct?file?*file;??
  • ?213??
  • ?214????????/*?used?to?optimize?loop?detection?check?*/??
  • ?215????????int?visited;??
  • ?216????????struct?list_head?visited_list_link;//雙向鏈表中保存著將要通過epoll_wait返回給用戶的、滿足條件的事件??
  • ?217};??
  • ?

    每一個epoll對象都有一個獨立的eventpoll結構體,這個結構體會在內核空間中創造獨立的內存,用于存儲使用epoll_ctl方法向epoll對象中添加進來的事件。這樣,重復的事件就可以通過紅黑樹而高效的識別出來。

    ?

    在epoll中,對于每一個事件都會建立一個epitem結構體:

    [cpp]?view plain?copy

    ?

  • /*?
  • ?130?*?Each?file?descriptor?added?to?the?eventpoll?interface?will?
  • ?131?*?have?an?entry?of?this?type?linked?to?the?"rbr"?RB?tree.?
  • ?132?*?Avoid?increasing?the?size?of?this?struct,?there?can?be?many?thousands?
  • ?133?*?of?these?on?a?server?and?we?do?not?want?this?to?take?another?cache?line.?
  • ?134?*/??
  • ?135struct?epitem?{??
  • ?136????????/*?RB?tree?node?used?to?link?this?structure?to?the?eventpoll?RB?tree?*/??
  • ?137????????struct?rb_node?rbn;??
  • ?138??
  • ?139????????/*?List?header?used?to?link?this?structure?to?the?eventpoll?ready?list?*/??
  • ?140????????struct?list_head?rdllink;??
  • ?141??
  • ?142????????/*?
  • ?143?????????*?Works?together?"struct?eventpoll"->ovflist?in?keeping?the?
  • ?144?????????*?single?linked?chain?of?items.?
  • ?145?????????*/??
  • ?146????????struct?epitem?*next;??
  • ?147??
  • ?148????????/*?The?file?descriptor?information?this?item?refers?to?*/??
  • ?149????????struct?epoll_filefd?ffd;??
  • ?150??
  • ?151????????/*?Number?of?active?wait?queue?attached?to?poll?operations?*/??
  • ?152????????int?nwait;??
  • ?153??
  • ?154????????/*?List?containing?poll?wait?queues?*/??
  • ?155????????struct?list_head?pwqlist;??
  • ?156??
  • ?157????????/*?The?"container"?of?this?item?*/??
  • ?158????????struct?eventpoll?*ep;??
  • ?159??
  • ?160????????/*?List?header?used?to?link?this?item?to?the?"struct?file"?items?list?*/??
  • ?161????????struct?list_head?fllink;??
  • ?162??
  • ?163????????/*?wakeup_source?used?when?EPOLLWAKEUP?is?set?*/??
  • ?164????????struct?wakeup_source?__rcu?*ws;??
  • ?165??
  • ?166????????/*?The?structure?that?describe?the?interested?events?and?the?source?fd?*/??
  • ?167????????struct?epoll_event?event;??
  • ?168};??
  • ?

    此外,epoll還維護了一個雙鏈表,用戶存儲發生的事件。當epoll_wait調用時,僅僅觀察這個list鏈表里有沒有數據即eptime項即可。有數據就返回,沒有數據就sleep,等到timeout時間到后即使鏈表沒數據也返回。所以,epoll_wait非常高效。

    ?

    而且,通常情況下即使我們要監控百萬計的句柄,大多一次也只返回很少量的準備就緒句柄而已,所以,epoll_wait僅需要從內核態copy少量的句柄到用戶態而已,如何能不高效?!

    ?

    那么,這個準備就緒list鏈表是怎么維護的呢?當我們執行epoll_ctl時,除了把socket放到epoll文件系統里file對象對應的紅黑樹上之外,還會給內核中斷處理程序注冊一個回調函數,告訴內核,如果這個句柄的中斷到了,就把它放到準備就緒list鏈表里。所以,當一個socket上有數據到了,內核在把網卡上的數據copy到內核中后就來把socket插入到準備就緒鏈表里了。

    ?

    如此,一顆紅黑樹,一張準備就緒句柄鏈表,少量的內核cache,就幫我們解決了大并發下的socket處理問題。執行epoll_create時,創建了紅黑樹和就緒鏈表,執行epoll_ctl時,如果增加socket句柄,則檢查在紅黑樹中是否存在,存在立即返回,不存在則添加到樹干上,然后向內核注冊回調函數,用于當中斷事件來臨時向準備就緒鏈表中插入數據。執行epoll_wait時立刻返回準備就緒鏈表里的數據即可。

    ?

    epoll的使用方法

    那么究竟如何來使用epoll呢?其實非常簡單。

    ?

    通過在包含一個頭文件#include <sys/epoll.h>?以及幾個簡單的API將可以大大的提高你的網絡服務器的支持人數。

    ?

    首先通過create_epoll(int maxfds)來創建一個epoll的句柄。這個函數會返回一個新的epoll句柄,之后的所有操作將通過這個句柄來進行操作。在用完之后,記得用close()來關閉這個創建出來的epoll句柄。

    ?

    之后在你的網絡主循環里面,每一幀的調用epoll_wait(int epfd, epoll_event events, int max events, int timeout)來查詢所有的網絡接口,看哪一個可以讀,哪一個可以寫了。基本的語法為:

    nfds = epoll_wait(kdpfd, events, maxevents, -1);

    ?

    其中kdpfd為用epoll_create創建之后的句柄,events是一個epoll_event*的指針,當epoll_wait這個函數操作成功之后,epoll_events里面將儲存所有的讀寫事件。max_events是當前需要監聽的所有socket句柄數。最后一個timeout是?epoll_wait的超時,為0的時候表示馬上返回,為-1的時候表示一直等下去,直到有事件返回,為任意正整數的時候表示等這么長的時間,如果一直沒有事件,則返回。一般如果網絡主循環是單獨的線程的話,可以用-1來等,這樣可以保證一些效率,如果是和主邏輯在同一個線程的話,則可以用0來保證主循環的效率。

    ?

    epoll_wait返回之后應該是一個循環,遍歷所有的事件。

    ?

    ?

    幾乎所有的epoll程序都使用下面的框架:

    [cpp]?view plain?copy

    ?

  • for(?;?;?)??
  • ???{??
  • ???????nfds?=?epoll_wait(epfd,events,20,500);??
  • ???????for(i=0;i<nfds;++i)??
  • ???????{??
  • ???????????if(events[i].data.fd==listenfd)?//有新的連接??
  • ???????????{??
  • ???????????????connfd?=?accept(listenfd,(sockaddr?*)&clientaddr,?&clilen);?//accept這個連接??
  • ???????????????ev.data.fd=connfd;??
  • ???????????????ev.events=EPOLLIN|EPOLLET;??
  • ???????????????epoll_ctl(epfd,EPOLL_CTL_ADD,connfd,&ev);?//將新的fd添加到epoll的監聽隊列中??
  • ???????????}??
  • ??
  • ???????????else?if(?events[i].events&EPOLLIN?)?//接收到數據,讀socket??
  • ???????????{??
  • ???????????????n?=?read(sockfd,?line,?MAXLINE))?<?0????//讀??
  • ???????????????ev.data.ptr?=?md;?????//md為自定義類型,添加數據??
  • ???????????????ev.events=EPOLLOUT|EPOLLET;??
  • ???????????????epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);//修改標識符,等待下一個循環時發送數據,異步處理的精髓??
  • ???????????}??
  • ???????????else?if(events[i].events&EPOLLOUT)?//有數據待發送,寫socket??
  • ???????????{??
  • ???????????????struct?myepoll_data*?md?=?(myepoll_data*)events[i].data.ptr;????//取數據??
  • ???????????????sockfd?=?md->fd;??
  • ???????????????send(?sockfd,?md->ptr,?strlen((char*)md->ptr),?0?);????????//發送數據??
  • ???????????????ev.data.fd=sockfd;??
  • ???????????????ev.events=EPOLLIN|EPOLLET;??
  • ???????????????epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);?//修改標識符,等待下一個循環時接收數據??
  • ???????????}??
  • ???????????else??
  • ???????????{??
  • ???????????????//其他的處理??
  • ???????????}??
  • ???????}??
  • ???}??
  • ?

    epoll的程序實例

    ?

    [cpp]?view plain?copy

    ?

  • ?#include?<stdio.h>??
  • #include?<stdlib.h>??
  • #include?<unistd.h>??
  • #include?<errno.h>??
  • #include?<sys/socket.h>??
  • #include?<netdb.h>??
  • #include?<fcntl.h>??
  • #include?<sys/epoll.h>??
  • #include?<string.h>??
  • ??
  • #define?MAXEVENTS?64??
  • ??
  • //函數:??
  • //功能:創建和綁定一個TCP?socket??
  • //參數:端口??
  • //返回值:創建的socket??
  • static?int??
  • create_and_bind?(char?*port)??
  • {??
  • ??struct?addrinfo?hints;??
  • ??struct?addrinfo?*result,?*rp;??
  • ??int?s,?sfd;??
  • ??
  • ??memset?(&hints,?0,?sizeof?(struct?addrinfo));??
  • ??hints.ai_family?=?AF_UNSPEC;?????/*?Return?IPv4?and?IPv6?choices?*/??
  • ??hints.ai_socktype?=?SOCK_STREAM;?/*?We?want?a?TCP?socket?*/??
  • ??hints.ai_flags?=?AI_PASSIVE;?????/*?All?interfaces?*/??
  • ??
  • ??s?=?getaddrinfo?(NULL,?port,?&hints,?&result);??
  • ??if?(s?!=?0)??
  • ????{??
  • ??????fprintf?(stderr,?"getaddrinfo:?%s\n",?gai_strerror?(s));??
  • ??????return?-1;??
  • ????}??
  • ??
  • ??for?(rp?=?result;?rp?!=?NULL;?rp?=?rp->ai_next)??
  • ????{??
  • ??????sfd?=?socket?(rp->ai_family,?rp->ai_socktype,?rp->ai_protocol);??
  • ??????if?(sfd?==?-1)??
  • ????????continue;??
  • ??
  • ??????s?=?bind?(sfd,?rp->ai_addr,?rp->ai_addrlen);??
  • ??????if?(s?==?0)??
  • ????????{??
  • ??????????/*?We?managed?to?bind?successfully!?*/??
  • ??????????break;??
  • ????????}??
  • ??
  • ??????close?(sfd);??
  • ????}??
  • ??
  • ??if?(rp?==?NULL)??
  • ????{??
  • ??????fprintf?(stderr,?"Could?not?bind\n");??
  • ??????return?-1;??
  • ????}??
  • ??
  • ??freeaddrinfo?(result);??
  • ??
  • ??return?sfd;??
  • }??
  • ??
  • ??
  • //函數??
  • //功能:設置socket為非阻塞的??
  • static?int??
  • make_socket_non_blocking?(int?sfd)??
  • {??
  • ??int?flags,?s;??
  • ??
  • ??//得到文件狀態標志??
  • ??flags?=?fcntl?(sfd,?F_GETFL,?0);??
  • ??if?(flags?==?-1)??
  • ????{??
  • ??????perror?("fcntl");??
  • ??????return?-1;??
  • ????}??
  • ??
  • ??//設置文件狀態標志??
  • ??flags?|=?O_NONBLOCK;??
  • ??s?=?fcntl?(sfd,?F_SETFL,?flags);??
  • ??if?(s?==?-1)??
  • ????{??
  • ??????perror?("fcntl");??
  • ??????return?-1;??
  • ????}??
  • ??
  • ??return?0;??
  • }??
  • ??
  • //端口由參數argv[1]指定??
  • int??
  • main?(int?argc,?char?*argv[])??
  • {??
  • ??int?sfd,?s;??
  • ??int?efd;??
  • ??struct?epoll_event?event;??
  • ??struct?epoll_event?*events;??
  • ??
  • ??if?(argc?!=?2)??
  • ????{??
  • ??????fprintf?(stderr,?"Usage:?%s?[port]\n",?argv[0]);??
  • ??????exit?(EXIT_FAILURE);??
  • ????}??
  • ??
  • ??sfd?=?create_and_bind?(argv[1]);??
  • ??if?(sfd?==?-1)??
  • ????abort?();??
  • ??
  • ??s?=?make_socket_non_blocking?(sfd);??
  • ??if?(s?==?-1)??
  • ????abort?();??
  • ??
  • ??s?=?listen?(sfd,?SOMAXCONN);??
  • ??if?(s?==?-1)??
  • ????{??
  • ??????perror?("listen");??
  • ??????abort?();??
  • ????}??
  • ??
  • ??//除了參數size被忽略外,此函數和epoll_create完全相同??
  • ??efd?=?epoll_create1?(0);??
  • ??if?(efd?==?-1)??
  • ????{??
  • ??????perror?("epoll_create");??
  • ??????abort?();??
  • ????}??
  • ??
  • ??event.data.fd?=?sfd;??
  • ??event.events?=?EPOLLIN?|?EPOLLET;//讀入,邊緣觸發方式??
  • ??s?=?epoll_ctl?(efd,?EPOLL_CTL_ADD,?sfd,?&event);??
  • ??if?(s?==?-1)??
  • ????{??
  • ??????perror?("epoll_ctl");??
  • ??????abort?();??
  • ????}??
  • ??
  • ??/*?Buffer?where?events?are?returned?*/??
  • ??events?=?calloc?(MAXEVENTS,?sizeof?event);??
  • ??
  • ??/*?The?event?loop?*/??
  • ??while?(1)??
  • ????{??
  • ??????int?n,?i;??
  • ??
  • ??????n?=?epoll_wait?(efd,?events,?MAXEVENTS,?-1);??
  • ??????for?(i?=?0;?i?<?n;?i++)??
  • ????????{??
  • ??????????if?((events[i].events?&?EPOLLERR)?||??
  • ??????????????(events[i].events?&?EPOLLHUP)?||??
  • ??????????????(!(events[i].events?&?EPOLLIN)))??
  • ????????????{??
  • ??????????????/*?An?error?has?occured?on?this?fd,?or?the?socket?is?not?
  • ?????????????????ready?for?reading?(why?were?we?notified?then?)?*/??
  • ??????????????fprintf?(stderr,?"epoll?error\n");??
  • ??????????????close?(events[i].data.fd);??
  • ??????????????continue;??
  • ????????????}??
  • ??
  • ??????????else?if?(sfd?==?events[i].data.fd)??
  • ????????????{??
  • ??????????????/*?We?have?a?notification?on?the?listening?socket,?which?
  • ?????????????????means?one?or?more?incoming?connections.?*/??
  • ??????????????while?(1)??
  • ????????????????{??
  • ??????????????????struct?sockaddr?in_addr;??
  • ??????????????????socklen_t?in_len;??
  • ??????????????????int?infd;??
  • ??????????????????char?hbuf[NI_MAXHOST],?sbuf[NI_MAXSERV];??
  • ??
  • ??????????????????in_len?=?sizeof?in_addr;??
  • ??????????????????infd?=?accept?(sfd,?&in_addr,?&in_len);??
  • ??????????????????if?(infd?==?-1)??
  • ????????????????????{??
  • ??????????????????????if?((errno?==?EAGAIN)?||??
  • ??????????????????????????(errno?==?EWOULDBLOCK))??
  • ????????????????????????{??
  • ??????????????????????????/*?We?have?processed?all?incoming?
  • ?????????????????????????????connections.?*/??
  • ??????????????????????????break;??
  • ????????????????????????}??
  • ??????????????????????else??
  • ????????????????????????{??
  • ??????????????????????????perror?("accept");??
  • ??????????????????????????break;??
  • ????????????????????????}??
  • ????????????????????}??
  • ??
  • ??????????????????????????????????//將地址轉化為主機名或者服務名??
  • ??????????????????s?=?getnameinfo?(&in_addr,?in_len,??
  • ???????????????????????????????????hbuf,?sizeof?hbuf,??
  • ???????????????????????????????????sbuf,?sizeof?sbuf,??
  • ???????????????????????????????????NI_NUMERICHOST?|?NI_NUMERICSERV);//flag參數:以數字名返回??
  • ??????????????????????????????????//主機地址和服務地址??
  • ??
  • ??????????????????if?(s?==?0)??
  • ????????????????????{??
  • ??????????????????????printf("Accepted?connection?on?descriptor?%d?"??
  • ?????????????????????????????"(host=%s,?port=%s)\n",?infd,?hbuf,?sbuf);??
  • ????????????????????}??
  • ??
  • ??????????????????/*?Make?the?incoming?socket?non-blocking?and?add?it?to?the?
  • ?????????????????????list?of?fds?to?monitor.?*/??
  • ??????????????????s?=?make_socket_non_blocking?(infd);??
  • ??????????????????if?(s?==?-1)??
  • ????????????????????abort?();??
  • ??
  • ??????????????????event.data.fd?=?infd;??
  • ??????????????????event.events?=?EPOLLIN?|?EPOLLET;??
  • ??????????????????s?=?epoll_ctl?(efd,?EPOLL_CTL_ADD,?infd,?&event);??
  • ??????????????????if?(s?==?-1)??
  • ????????????????????{??
  • ??????????????????????perror?("epoll_ctl");??
  • ??????????????????????abort?();??
  • ????????????????????}??
  • ????????????????}??
  • ??????????????continue;??
  • ????????????}??
  • ??????????else??
  • ????????????{??
  • ??????????????/*?We?have?data?on?the?fd?waiting?to?be?read.?Read?and?
  • ?????????????????display?it.?We?must?read?whatever?data?is?available?
  • ?????????????????completely,?as?we?are?running?in?edge-triggered?mode?
  • ?????????????????and?won't?get?a?notification?again?for?the?same?
  • ?????????????????data.?*/??
  • ??????????????int?done?=?0;??
  • ??
  • ??????????????while?(1)??
  • ????????????????{??
  • ??????????????????ssize_t?count;??
  • ??????????????????char?buf[512];??
  • ??
  • ??????????????????count?=?read?(events[i].data.fd,?buf,?sizeof(buf));??
  • ??????????????????if?(count?==?-1)??
  • ????????????????????{??
  • ??????????????????????/*?If?errno?==?EAGAIN,?that?means?we?have?read?all?
  • ?????????????????????????data.?So?go?back?to?the?main?loop.?*/??
  • ??????????????????????if?(errno?!=?EAGAIN)??
  • ????????????????????????{??
  • ??????????????????????????perror?("read");??
  • ??????????????????????????done?=?1;??
  • ????????????????????????}??
  • ??????????????????????break;??
  • ????????????????????}??
  • ??????????????????else?if?(count?==?0)??
  • ????????????????????{??
  • ??????????????????????/*?End?of?file.?The?remote?has?closed?the?
  • ?????????????????????????connection.?*/??
  • ??????????????????????done?=?1;??
  • ??????????????????????break;??
  • ????????????????????}??
  • ??
  • ??????????????????/*?Write?the?buffer?to?standard?output?*/??
  • ??????????????????s?=?write?(1,?buf,?count);??
  • ??????????????????if?(s?==?-1)??
  • ????????????????????{??
  • ??????????????????????perror?("write");??
  • ??????????????????????abort?();??
  • ????????????????????}??
  • ????????????????}??
  • ??
  • ??????????????if?(done)??
  • ????????????????{??
  • ??????????????????printf?("Closed?connection?on?descriptor?%d\n",??
  • ??????????????????????????events[i].data.fd);??
  • ??
  • ??????????????????/*?Closing?the?descriptor?will?make?epoll?remove?it?
  • ?????????????????????from?the?set?of?descriptors?which?are?monitored.?*/??
  • ??????????????????close?(events[i].data.fd);??
  • ????????????????}??
  • ????????????}??
  • ????????}??
  • ????}??
  • ??
  • ??free?(events);??
  • ??
  • ??close?(sfd);??
  • ??
  • ??return?EXIT_SUCCESS;??
  • }??
  • ?

    ?

    運行方式:

    在一個終端運行此程序:epoll.out PORT

    另一個終端:telnet ?127.0.0.1 PORT

    截圖:

    ?

    ?

    參考資料:

    ?

    http://man7.org/linux/man-pages/man2/epoll_create.2.html

    https://banu.com/blog/2/how-to-use-epoll-a-complete-example-in-c/

    總結

    以上是生活随笔為你收集整理的读过的最好的epoll讲解的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    精品国产自 | 激情小说 五月 | 天天天干天天射天天天操 | 91成人免费看片 | 婷婷国产在线观看 | 黄色性av | 麻豆传媒电影在线观看 | 欧美色精品天天在线观看视频 | 天天操夜夜拍 | av在线免费观看不卡 | 二区中文字幕 | 一级电影免费在线观看 | av免费电影网站 | 天天草天天干天天 | 91精品久久久久久粉嫩 | 成人在线视频你懂的 | 国产精品av免费 | 在线观看视频你懂 | 亚洲精品456在线播放 | 91豆麻精品91久久久久久 | 人人干人人超 | 日韩欧美99| 国产成人专区 | 黄色av一区 | 亚洲精品影视 | 丰满少妇在线观看资源站 | 免费成人av在线 | 久久久综合九色合综国产精品 | 国产精品久久久久久五月尺 | 国产日产高清dvd碟片 | 精品产品国产在线不卡 | 亚洲日本黄色 | 中文字幕日韩一区二区三区不卡 | 色资源中文字幕 | 国产成人福利在线观看 | 九九热免费视频在线观看 | 操一草| 日本精品va在线观看 | 国产福利一区二区在线 | 国产999| 国产喷水在线 | 尤物一区二区三区 | 久久夜色精品国产欧美乱 | 在线看成人| 网站你懂的 | 亚洲人人精品 | 中文字幕视频一区二区 | 波多野结衣一区二区三区中文字幕 | 69国产成人综合久久精品欧美 | 国产九九精品视频 | 日韩亚洲在线 | 天天碰天天操视频 | 一级a毛片高清视频 | 欧美特一级 | 成人免费色 | 亚洲国产合集 | 日日干 天天干 | 久久草草影视免费网 | 美女一二三区 | 日韩大片在线播放 | 五月情婷婷 | 亚洲在线日韩 | 手机av片| www视频在线免费观看 | 综合色天天 | 人人添人人 | 国产高清精 | 成人精品视频久久久久 | 1024手机在线看 | 国产 日韩 欧美 在线 | 中文字幕在线影视资源 | 日韩欧美视频 | 一区二区三区动漫 | 超碰免费97| 国产中文a | 日韩手机在线观看 | 国产一区二区三区在线免费观看 | 日韩美精品视频 | sm免费xx网站| 国产xvideos免费视频播放 | 欧美在线91| av在线短片 | 中文在线资源 | www.香蕉视频 | 免费在线观看av | 久久老司机精品视频 | 国产一二三在线视频 | 日日干网 | 免费日韩一区二区 | 一级一片免费看 | 久福利 | 久久综合五月天婷婷伊人 | 黄色大全免费网站 | japanese黑人亚洲人4k | 91成人精品国产刺激国语对白 | 在线观看视频你懂的 | 91激情视频在线观看 | 久久在线免费观看视频 | 精品国精品自拍自在线 | 黄色日本免费 | 成人丝袜 | 一区二区三区观看 | 天堂av在线网站 | 国产一区二区三区久久久 | 久9在线| 婷婷国产在线观看 | 欧美一区二区日韩一区二区 | 欧美日韩亚洲第一页 | 国产美女永久免费 | 成人a级黄色片 | 黄色av电影网 | 免费看一级特黄a大片 | 国产在线观看国语版免费 | 国产一区自拍视频 | 久久99国产一区二区三区 | 日韩精品免费一线在线观看 | 综合激情网 | 深夜免费福利视频 | av线上免费观看 | www.91成人 | 亚洲精品久久久久久中文传媒 | 欧美精品久久久久久久久久丰满 | 911精品美国片911久久久 | 久久久久久久久久久久影院 | 免费观看黄| 在线观看日本韩国电影 | 亚洲码国产日韩欧美高潮在线播放 | 欧美日韩一级在线 | 亚洲免费av观看 | 国产在线高清视频 | 日韩毛片在线一区二区毛片 | 国产高清成人av | 久精品视频免费观看2 | 岛国大片免费视频 | 欧美日韩3p | 日韩三级.com | 伊人五月天.com | 五月天国产| 亚洲一区二区麻豆 | 亚州免费视频 | 国色天香在线 | 天天草夜夜 | 亚洲欧美综合 | 欧美少妇bbwhd | 国产91精品高清一区二区三区 | 中文字幕在线视频网站 | 国产特级毛片aaaaaa高清 | 99精品国产一区二区三区不卡 | 国产精品一区久久久久 | 午夜视频在线观看网站 | 日本在线视频一区二区三区 | 日韩在线观看不卡 | 日韩av成人在线观看 | 国产精品久久久久一区二区 | 亚洲四虎影院 | 久操中文字幕在线观看 | 国产成人av免费在线观看 | 日韩av中文在线观看 | 国产99久久久国产精品成人免费 | 色综合在 | 国产97在线播放 | 91精品久久久久久综合乱菊 | 中文一区在线观看 | 成人久久18免费网站 | 激情五月五月婷婷 | 97人人模人人爽人人喊中文字 | 国产麻豆精品久久一二三 | 精品成人a区在线观看 | 91麻豆精品国产91久久久无限制版 | 国产精品美女久久久网av | 成人av资源网 | 99久久精品久久亚洲精品 | 久草在线免费在线观看 | 中文字幕在线影院 | 日韩欧美国产激情在线播放 | www.91国产 | 亚洲午夜久久久久久久久电影网 | 看全黄大色黄大片 | 色综合中文综合网 | 日韩网 | 免费在线观看成人 | 伊人宗合网 | 狠狠色丁香婷婷综合欧美 | 天天干婷婷 | 免费在线观看成年人视频 | 四虎成人精品永久免费av | 日本少妇视频 | 国产精品久久久久久欧美 | 国产裸体永久免费视频网站 | 久久怡红院| 天天射天天射天天射 | 国产精品久久久久免费a∨ 欧美一级性生活片 | 成 人 黄 色 视频播放1 | 久久综合欧美精品亚洲一区 | 中文字幕免费国产精品 | 国产精品区二区三区日本 | 国模视频一区二区 | 日韩mv欧美mv国产精品 | 91av观看| 亚洲三级网站 | 国产中文字幕在线免费观看 | 少妇性bbb搡bbb爽爽爽欧美 | 综合av在线 | 国产日韩欧美网站 | 精品久久久久久国产 | 亚洲精品综合欧美二区变态 | 青青草国产免费 | 九九热只有这里有精品 | 丁香花在线视频观看免费 | 精品久久一区二区 | 在线观看视频三级 | 精品一区二区综合 | 欧美激情操 | 精品福利在线视频 | 97超碰中文字幕 | 狠狠狠色丁香婷婷综合久久88 | 91亚洲国产成人久久精品网站 | 亚洲国产精品500在线观看 | 五月婷婷丁香网 | 偷拍精偷拍精品欧洲亚洲网站 | 国产中文字幕在线播放 | 狠狠综合久久 | 国产精品一区二区久久久久 | 在线你懂的视频 | 精品在线一区二区三区 | av网址最新 | 日韩精品一区二区三区在线视频 | 伊人五月综合 | 日韩欧美一区二区三区在线观看 | 国产手机在线视频 | 国内成人精品视频 | av免费观看在线 | 视频在线一区二区三区 | 精品视频在线播放 | 亚洲人成人天堂h久久 | 狠狠狠狠狠狠狠 | 欧美大片大全 | 91视频久久久久久 | av在线播放免费 | 免费色网| 蜜臀一区二区三区精品免费视频 | 亚洲午夜剧场 | 久久久久久久久久久免费 | 久久好看免费视频 | 欧美日韩在线观看一区二区三区 | 91亚洲影院 | 免费视频你懂得 | www中文在线 | 一区二区三区在线播放 | 久久精品久久久精品美女 | 亚洲 欧美 综合 在线 精品 | 午夜在线资源 | 在线黄频| 国产高清av| 久99久久 | 久热av在线 | 久久久久免费精品国产小说色大师 | 91自拍视频在线观看 | 日本超碰在线 | 午夜视频在线瓜伦 | 日韩毛片久久久 | 韩国三级一区 | 久久人人爽视频 | 日韩欧美高清一区二区 | 久久九九影视网 | 99亚洲国产精品 | 国产 日韩 欧美 中文 在线播放 | 国产精品高清免费在线观看 | 久久久国产精品麻豆 | 手机av观看| 欧美日韩在线观看视频 | www久久com| 国产小视频国产精品 | 精品视频资源站 | 狠狠躁日日躁狂躁夜夜躁 | 亚洲精品66 | 一区二区三区观看 | www.婷婷色 | 玖玖国产精品视频 | 久久精品国产免费 | 日韩视频在线观看视频 | 欧美日韩在线精品一区二区 | 中文在线字幕免费观看 | 日本少妇视频 | 国产精品刺激对白麻豆99 | 一区二区三区电影大全 | 91亚洲视频在线观看 | 国产福利一区二区三区视频 | 九色视频自拍 | 欧美日韩中文另类 | 中文字幕美女免费在线 | 狠狠干电影 | 国产中文字幕一区二区三区 | 天天射天天操天天 | 久草视频在线免费播放 | 悠悠av资源片 | 成人一级在线观看 | 中文字幕高清视频 | 91av电影在线 | 久久激情视频 | 日韩成人免费在线电影 | 日韩精品综合在线 | 91成人观看 | 免费av影视 | 亚洲特级片 | 一级黄色片在线观看 | 97超碰在线久草超碰在线观看 | 天天操天天爽天天干 | 91精品欧美一区二区三区 | 国产99久久九九精品 | 99热精品国产一区二区在线观看 | 亚洲午夜精品一区二区三区电影院 | 中文字幕一区二区三区四区 | 久久精品中文 | 97超在线视频 | 中文字幕人成人 | 国产高清亚洲 | 丁香六月在线观看 | 国产专区一 | 久久精品这里精品 | 911香蕉| 中文字幕av免费 | 亚洲精品视频免费观看 | 亚洲精品高清一区二区三区四区 | av资源免费观看 | 狠狠色狠狠色终合网 | 久久久久亚洲精品国产 | 精品久久久免费视频 | 国产黄在线看 | 午夜国产在线观看 | 91成人免费看片 | 深夜免费小视频 | 蜜桃视频在线观看一区 | www.天天射| 精品九九九九 | 9在线观看免费高清完整版在线观看明 | 亚洲精品国精品久久99热 | 天天射天天爽 | 日韩动漫免费观看高清完整版在线观看 | 日本三级久久久 | 日韩欧美一区二区在线观看 | 日韩网站在线看片你懂的 | 国产成人精品一区二区三区在线 | 国产精品中文久久久久久久 | 久久96国产精品久久99漫画 | 国产一级一片免费播放放a 一区二区三区国产欧美 | 国产精品久久久久久999 | 欧美精品乱码久久久久久 | 一区二区三区在线电影 | 五月婷婷丁香激情 | 中文字幕 国产 一区 | 国产操在线 | 欧美激情另类 | 久久亚洲人 | 久久精品国产免费观看 | 中文国产成人精品久久一 | 亚洲精品大全 | 免费看成年人 | 99久久综合狠狠综合久久 | wwxxxx日本 | 国产精品12 | 免费在线观看成人小视频 | 在线 你懂 | 夜夜操狠狠干 | 夜夜躁天天躁很躁波 | 精品国产色| 国产999精品 | 天天操天天干天天玩 | 激情小说 五月 | 狠狠狠狠狠操 | 国产亚洲一级高清 | 97超在线视频 | 亚洲精品女人 | 97在线观看免费观看高清 | 精品在线视频播放 | 2019中文字幕第一页 | 成人亚洲精品国产www | www.黄色片网站 | 亚洲高清视频在线播放 | 在线播放av网址 | 日日夜夜综合网 | 日本中文字幕网 | 久久精品www人人爽人人 | 欧美日韩一二三四区 | 天天综合导航 | 国产一区在线播放 | 91高清免费观看 | 在线观看资源 | 中文字幕在线播放一区 | 在线看日韩 | 色网站黄| 国产又粗又硬又长又爽的视频 | av看片网 | 日韩一级电影在线观看 | 在线观看 亚洲 | 亚洲高清视频一区二区三区 | 久久久久久久久久电影 | 丁香婷婷社区 | 亚洲狠狠| 国产中文字幕免费 | 天天干夜夜夜操天 | 中文字幕免费成人 | 色91在线视频 | 激情五月婷婷激情 | 96超碰在线 | 国产在线观看a | 黄a在线看 | 91精品专区 | 九九久久在线看 | 欧美大码xxxx | 久久成人国产精品一区二区 | 五月天丁香亚洲 | 国产精品综合av一区二区国产馆 | 激情久久小说 | 高清日韩一区二区 | 久久综合射 | 91视频黄色| 日韩在线精品视频 | 国产亚洲精品久久久久久无几年桃 | 久久久久国产精品www | 日韩专区一区二区 | 天天操天天添 | 亚洲精品自拍视频在线观看 | 亚洲人成人99网站 | 亚洲精品国产成人av在线 | 月下香电影 | 成人网色| 中文字幕在线观看免费高清电影 | 国产亚洲精品成人av久久ww | 亚洲国产免费看 | 亚洲免费精品视频 | 天天色天天综合网 | 四虎伊人 | 婷婷视频在线播放 | 日韩av电影手机在线观看 | 久草在线官网 | 国产在线观看中文字幕 | 手机在线看永久av片免费 | 久久精品专区 | 国产色网 | 欧美日韩在线精品一区二区 | 91精品国产欧美一区二区 | 2020天天干夜夜爽 | 免费av 在线 | 高清av在线免费观看 | 精品国产乱码久久久久久天美 | 成人在线电影观看 | 天堂在线免费视频 | 天天草天天草 | 99久久er热在这里只有精品66 | 精品五月天 | 91伊人| 国产精品毛片一区二区在线看 | 91精品国产92久久久久 | 天天干天天操av | 天天操夜 | 99热9 | 欧美精品久久久久性色 | 久久激情电影 | 国产一区二区在线观看免费 | 99精品视频在线播放观看 | 一区二区三区在线免费 | 中文字幕在线播放第一页 | 欧美在线观看小视频 | 日韩综合视频在线观看 | 中文字幕在线观看网 | 国产精品久久久久久久午夜 | 欧美一级专区免费大片 | 亚洲天天综合 | 国产精品永久久久久久久久久 | 免费在线观看成人av | 人人超碰免费 | 亚洲成av人片一区二区梦乃 | 成人午夜在线观看 | 国产在线播放一区二区 | 射射射av | 日韩精品一区二区三区不卡 | 日本字幕网 | 日本久久精品 | 欧美在线观看禁18 | 夜夜夜影院 | 国产精品久久久亚洲 | 免费看国产a | 欧美日韩国产页 | 天天爽夜夜爽人人爽一区二区 | 国产一线二线三线性视频 | 婷婷六月综合网 | 狠狠干美女 | www.黄色| 久久久亚洲精品 | 亚洲精品国偷拍自产在线观看 | 欧美精品免费在线观看 | 天天操天天干天天干 | 免费污片 | 中文字幕最新精品 | 最近免费在线观看 | 精品国产99国产精品 | 国产尤物一区二区三区 | 中国一级片在线 | 国产精品成人av久久 | www99久久| 亚洲精品在线免费观看视频 | 日韩三级在线观看 | www.日日操.com| 国产精品网红福利 | 亚洲一区 影院 | 人人爽人人爽人人片av免 | 亚洲乱码国产乱码精品天美传媒 | 亚洲专区在线视频 | 午夜久久成人 | 福利视频精品 | 韩国av在线播放 | 国产视频美女 | 日韩久久久久久 | 免费精品视频 | 97超视频免费观看 | 久久久久国产精品一区二区 | 久久免费在线观看 | 国产精品久久久久久久婷婷 | 午夜久久久久久久久久久 | 一区中文字幕在线观看 | 国产精品久久av | 亚洲精品无 | 欧美日韩视频在线 | 五月开心综合 | 99久久这里有精品 | 中文字幕综合在线 | 国产精品福利小视频 | 久久久久国产精品免费网站 | 另类老妇性bbwbbw高清 | 97人人添人澡人人爽超碰动图 | 日韩精品免费一线在线观看 | 黄免费网站 | av成人免费 | 色综合亚洲精品激情狠狠 | 久草在线视频免费资源观看 | 精品亚洲男同gayvideo网站 | 日韩激情片在线观看 | 午夜av在线播放 | 精品国产一区二区久久 | 91丨九色丨蝌蚪丰满 | 欧美日韩国产高清视频 | 在线中文字幕视频 | www.午夜色.com| av中文字幕免费在线观看 | 色综合久久综合中文综合网 | 日韩免费电影一区二区 | 狠狠狠狠狠干 | 91在线精品秘密一区二区 | 最新中文字幕在线观看视频 | 久久99精品国产麻豆婷婷 | 在线播放一区二区三区 | av大全在线免费观看 | 久久九九影院 | 欧美日韩中文字幕在线视频 | 综合久久久久 | 久久免费视频8 | www国产在线 | 天堂av在线 | 美女视频永久黄网站免费观看国产 | 91av视频在线观看免费 | 91手机视频 | 日韩欧美视频免费在线观看 | 日韩欧美综合在线视频 | 91黄色在线看 | av黄在线播放 | 日韩精品综合在线 | av在线播放快速免费阴 | 激情五月综合网 | 中文字幕在线久一本久 | 在线看一区 | 日韩专区av | 看av免费网站 | 免费日韩 精品中文字幕视频在线 | 国产999视频 | 亚洲国产99 | 97免费在线观看 | 亚洲国产免费av | 久久视频精品在线观看 | 欧美一级片免费在线观看 | 国产第页 | 激情综合中文娱乐网 | 日日弄天天弄美女bbbb | 天天久久夜夜 | 久久成人精品电影 | 国产视频精选在线 | 国产日韩视频在线观看 | 久久久久久久久久久免费av | 天堂视频中文在线 | 五月天九九 | 国产精品乱码在线 | 久久夜色精品亚洲噜噜国4 午夜视频在线观看欧美 | 日韩欧美中文 | 丝袜美女视频网站 | 日韩av不卡在线观看 | 欧美日韩综合在线 | 亚洲精品久久久久久中文传媒 | 丁香六月婷婷综合 | 在线小视频你懂得 | 国产资源在线视频 | 91在线网站| 一本一本久久aa综合精品 | 欧美日韩国产精品一区二区亚洲 | 91看片在线免费观看 | 国产精品福利一区 | 岛国片在线 | 日韩理论在线观看 | 最新中文字幕视频 | 99精品视频在线免费观看 | 国产成人精品在线观看 | 奇米四色影狠狠爱7777 | 韩日成人av | 国产精品成人在线观看 | 国产一区二区三区黄 | 97在线超碰 | 97超碰在线免费观看 | 人人要人人澡人人爽人人dvd | 日本成址在线观看 | 国产精品中文 | 亚洲综合黄色 | 91精品夜夜| 日韩电影在线看 | 欧美地下肉体性派对 | 婷婷亚洲最大 | 国产又粗又猛又爽又黄的视频免费 | 国产精品九九久久久久久久 | 欧美国产日韩一区二区三区 | 天天插天天干 | 久 久久影院 | 国产中文字幕在线观看 | 一区二区不卡视频在线观看 | 操操操干干干 | 91麻豆看国产在线紧急地址 | 亚洲午夜激情网 | 久久成人国产 | 婷婷丁香久久五月婷婷 | 精品女同一区二区三区在线观看 | 成人免费在线网 | 丁香5月婷婷久久 | 91精品在线免费视频 | 精品二区久久 | 久久理论电影网 | 精品国产一区二区三区久久 | 超级碰碰碰碰 | 国产小视频在线播放 | 国产91电影在线观看 | 国产精品毛片久久蜜 | av电影免费观看 | 亚洲男男gaygay无套同网址 | 免费高清看电视网站 | 日韩一区二区三区免费视频 | 久久久久久久久久久久影院 | 天天爽天天碰狠狠添 | 成人一级免费电影 | 伊色综合久久之综合久久 | 久久乱码卡一卡2卡三卡四 五月婷婷久 | 蜜桃av综合网 | 成人免费观看av | 91传媒免费在线观看 | 日韩在线视频观看 | 狠狠干狠狠色 | 成人综合婷婷国产精品久久免费 | 国产精品久久久久久久久免费 | 激情久久伊人 | 精品国产一区二区三区四区在线观看 | 最新日韩中文字幕 | 成人av久久 | 亚洲毛片视频 | 不卡精品 | 国产精品九九久久99视频 | 五月婷婷激情网 | 91色国产在线 | 免费看在线看www777 | 欧美日韩国产综合网 | 热久久99这里有精品 | 国产精品正在播放 | 人人搞人人搞 | 国产1区2区3区在线 亚洲自拍偷拍色图 | 久久高清毛片 | 女人18毛片a级毛片一区二区 | 国产精品系列在线播放 | 精品视频在线视频 | 日日夜夜国产 | 九九热久久免费视频 | 色资源在线观看 | 九九热国产 | 97成人在线免费视频 | 国产欧美精品一区二区三区 | 嫩草91影院| 欧美一级艳片视频免费观看 | 最新精品国产 | 国产精品永久免费 | 亚洲永久av | 99色婷婷| 夜色在线资源 | 九九影视理伦片 | 久久久精品久久日韩一区综合 | 99在线视频网站 | 日本中文在线观看 | 色偷偷av男人天堂 | 人人看人人爱 | 国产在线中文字幕 | 97福利| 叶爱av在线 | 99riav1国产精品视频 | 国产麻豆精品一区二区 | 成人免费在线视频观看 | 国产日韩精品一区二区三区在线 | 天堂在线成人 | 最新国产精品久久精品 | 97碰在线 | 国产精品久久婷婷六月丁香 | 丁香九月激情综合 | 九九色在线观看 | 色五月色开心色婷婷色丁香 | 国产日本亚洲高清 | 成年人在线看片 | 色是在线视频 | 免费a级毛片在线看 | 欧美一区日韩精品 | 日本久久久久 | 日本精品视频网站 | 欧美99热| 亚洲片在线观看 | 欧洲av在线| 午夜电影久久 | 日本xxxx.com | 欧美日韩一区二区三区在线观看视频 | 亚洲激情电影在线 | 欧美日韩在线观看一区 | 亚洲欧美国产精品 | 91精品老司机久久一区啪 | 日韩三级精品 | 天天干天天操天天 | 久久99国产精品久久99 | 中文字幕欲求不满 | 成年人黄色免费视频 | 国产高清不卡av | 日本精品中文字幕在线观看 | 不卡av电影在线观看 | 国产黄在线播放 | 日韩免费看的电影 | 亚洲精品午夜一区人人爽 | 国产美女精品视频 | 成年人免费在线观看网站 | 夜夜夜夜夜夜操 | 免费看成人片 | 最近日本韩国中文字幕 | 久久久久久久久久久久久9999 | 特级毛片爽www免费版 | 岛国av在线 | 欧美伊人网| 精品黄色片 | 中文字幕在线视频网站 | 97狠狠操 | 天天久久综合 | 天天综合网天天 | 国内精品免费久久影院 | 日韩在线观看小视频 | 色婷婷福利 | 久久免费播放视频 | 亚洲在线视频观看 | 久久黄色影院 | 在线成人一区二区 | 久久成视频 | 国产中文字幕在线播放 | 18pao国产成视频永久免费 | 91在线观看欧美日韩 | 丁香婷婷深情五月亚洲 | 久久久久久久久久久久电影 | 97超级碰碰碰视频在线观看 | 91 在线视频播放 | 91成人在线观看高潮 | 色综合天天色综合 | 久久成人久久 | 成人在线观看免费 | 欧洲精品久久久久毛片完整版 | 激情综合一区 | 综合在线亚洲 | 天天综合网久久综合网 | 草久久影院 | 夜夜爽天天爽 | 在线免费视频你懂的 | 日韩xxxxxxxxx | 99在线视频网站 | 中文字幕人成人 | 国产福利一区二区三区视频 | av一二三区 | 欧美一区二区三区在线播放 | 黄色av免费看 | 国产精品原创av片国产免费 | 精品视频久久久久久 | 亚洲成人免费在线 | 中文字幕第一页在线 | 99精品乱码国产在线观看 | 狠狠操导航 | 亚洲一区二区三区在线看 | 国产亚洲欧美精品久久久久久 | 激情综合色综合久久 | 天天综合色天天综合 | 香蕉视频在线免费看 | 免费福利在线观看 | 美女网色 | 毛片美女网站 | 西西www4444大胆在线 | 亚洲精品中文在线观看 | 国产成人免费观看 | av在观看 | 免费av小说 | 国产激情电影综合在线看 | 狠狠搞,com | 99精品在线观看 | 97香蕉久久超级碰碰高清版 | 美女亚洲精品 | 五月婷婷,六月丁香 | www.com在线观看 | 日本久久免费电影 | 99视频在线 | 91成人在线网站 | 国产精品毛片一区视频播 | 97av视频在线| 激情五月婷婷 | av在线播放免费 | 久久久久影视 | 久久久久久美女 | 深爱激情久久 | 亚洲一级国产 | 午夜久久影视 | 少妇搡bbbb搡bbb搡忠贞 | 一区二区不卡 | 欧美精品999 | 国产成人高清av | 日本久久综合网 | 日韩网页 | h网站免费在线观看 | 亚洲精选视频免费看 | 国产黄在线 | 在线 国产 日韩 | 欧美亚洲国产一卡 | 国产一级一片免费播放放 | 亚洲资源一区 | 欧美三级高清 | 六月色丁 | 亚洲精品激情 | 国产在线高清视频 | 日韩成人精品一区二区三区 | 久久99精品久久久久久三级 | 亚洲va欧美| 日韩av高清在线观看 | 99久久精品无免国产免费 | 蜜臀精品久久久久久蜜臀 | 国产在线a免费观看 | 国产h片在线观看 | 成人影视片| 中文字幕第一页在线播放 | www.神马久久 | 九九精品毛片 | 天天操天天操天天操天天操 | 欧美亚洲三级 | av 一区二区三区四区 | 香蕉免费在线 | 国产精品久久久久久久久久ktv | 免费观看一区二区三区视频 | 人人爽人人爱 | 亚洲国产精品日韩 | 国产视频在线观看免费 | 亚洲国产网站 | 久久美女高清视频 | 97在线视频免费播放 | 午夜国产福利在线 | 99精品视频在线播放观看 | 在线视频欧美日韩 | 精品国产成人在线影院 | 国产精品每日更新 | 国产亚洲激情视频在线 | av亚洲产国偷v产偷v自拍小说 | 国产高清视频免费观看 | 欧美日本啪啪无遮挡网站 | 国产高清不卡av | 有码一区二区三区 | 97人人精品| wwwwww色| 日韩在线观看视频在线 | 日韩欧美一区二区三区在线 | www.狠狠色 | 天天操夜操 | 国内精品在线看 | 麻豆视频一区二区 | 国产精品麻豆果冻传媒在线播放 | 狠狠干2018 | 国产一级淫片在线观看 | 国产在线看 | www.久久久久| 日韩美女黄色片 | 国产伦精品一区二区三区在线 | 在线不卡中文字幕播放 | 亚洲精品91天天久久人人 | 97视频免费观看 | 中文字幕电影高清在线观看 | 亚洲成av人片在线观看 | 国产精品久久久久久久婷婷 | 高清国产午夜精品久久久久久 | 91精品国产成人 | 日日干美女| 欧美精品在线观看免费 | 福利视频一区二区 | 波多野结衣在线视频一区 | 精品久久五月天 | 久久精品导航 | 精品播放| 国产精品久久久av久久久 | 91精品在线观看视频 | 伊人永久| 黄色精品一区二区 | 成人av在线观 | 一区二区理论片 | 99爱视频在线观看 | 国产xvideos免费视频播放 | 国产精品av在线免费观看 | 六月色婷 | 99在线高清视频在线播放 | 日本中文在线 | 免费观看www7722午夜电影 | 久久99久久99久久 | 色视频在线免费观看 | 91精彩视频在线观看 | 深爱婷婷网| 欧美色精品天天在线观看视频 | 66av99精品福利视频在线 | 亚洲激情视频在线 | av在线免费不卡 | 久久久综合九色合综国产精品 | 亚洲视频1 | 国内精品久久久久影院男同志 | 国产精品久久片 | 992tv在线观看网站 | 精品免费一区 | 国产馆在线播放 | 91天堂在线观看 | 精品国产伦一区二区三区观看说明 | 日本免费久久高清视频 | 成人免费视频免费观看 | 日韩在线观看的 | 不卡av免费在线观看 | 人人玩人人爽 | 97电影在线看视频 | 丁香一区二区 | 97精品国产97久久久久久免费 | a√天堂资源 | 99久高清在线观看视频99精品热在线观看视频 | 久久久久久97三级 | 88av网站| 黄色大片免费网站 | 国产精品video | 怡红院久久 | 97国产精品亚洲精品 | 国产精品一区二区免费 | 亚洲婷婷伊人 | 99色在线播放 | 国产一区二区不卡视频 | 不卡的av电影在线观看 | 91麻豆精品国产自产在线游戏 | 在线视频免费观看 | 亚洲国产日韩精品 | av免费电影在线观看 | 欧美不卡在线 | 九九视频这里只有精品 | 四虎影视成人精品国库在线观看 | 久久精品理论 | 久草在线免费色站 | 久久久国产一区 | 中文乱码视频在线观看 | 欧美日韩a视频 | 日本三级大片 | 日韩美视频 | 国产护士hd高朝护士1 | 91精品视频免费观看 | 国产精品高潮呻吟久久av无 | 少妇搡bbbb搡bbb搡69 | 激情视频91| 国产精品久久久久久久久久久久久 | 亚洲精品字幕在线观看 | 久久久久久久久网站 | 日日天天干 | 久久精品视频3 | 亚洲精品国产高清 | 亚洲精品66| 欧美精品久久久久性色 | 亚洲精品免费在线观看 | 精品国产一区二区久久 | 亚洲最大免费成人网 | 亚洲 欧美 精品 | 欧美色图视频一区 | 色综合久久五月天 | 中文字幕在线视频免费播放 | 日本韩国欧美在线观看 | 精品美女久久久久 | 国产精品电影一区二区 |