日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 运维知识 > linux >内容正文

linux

linux socket epoll

發(fā)布時(shí)間:2025/3/15 linux 47 豆豆
生活随笔 收集整理的這篇文章主要介紹了 linux socket epoll 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

什么是epoll

epoll是什么?按照man手冊的說法:是為處理大批量句柄而作了改進(jìn)的poll。當(dāng)然,這不是2.6內(nèi)核才有的,它是在2.5.44內(nèi)核中被引進(jìn)的(epoll(4) is a new API introduced in Linux kernel 2.5.44),它幾乎具備了之前所說的一切優(yōu)點(diǎn),被公認(rèn)為Linux2.6下性能最好的多路I/O就緒通知方法。

?

epoll的相關(guān)系統(tǒng)調(diào)用

epoll只有epoll_create,epoll_ctl,epoll_wait 3個系統(tǒng)調(diào)用。

?

1. int epoll_create(int size);

創(chuàng)建一個epoll的句柄。自從linux2.6.8之后,size參數(shù)是被忽略的。需要注意的是,當(dāng)創(chuàng)建好epoll句柄后,它就是會占用一個fd值,在linux下如果查看/proc/進(jìn)程id/fd/,是能夠看到這個fd的,所以在使用完epoll后,必須調(diào)用close()關(guān)閉,否則可能導(dǎo)致fd被耗盡。

?

2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

epoll事件注冊函數(shù),它不同于select()是在監(jiān)聽事件時(shí)告訴內(nèi)核要監(jiān)聽什么類型的事件,而是在這里先注冊要監(jiān)聽的事件類型。

第一個參數(shù)是epoll_create()的返回值。

第二個參數(shù)表示動作,用三個宏來表示:

EPOLL_CTL_ADD:注冊新的fdepfd中;

EPOLL_CTL_MOD:修改已經(jīng)注冊的fd的監(jiān)聽事件;

EPOLL_CTL_DEL:從epfd中刪除一個fd

?

第三個參數(shù)是需要監(jiān)聽的fd

第四個參數(shù)是告訴內(nèi)核需要監(jiān)聽什么事,struct epoll_event結(jié)構(gòu)如下:

[cpp] view plaincopy print?
  • //保存觸發(fā)事件的某個文件描述符相關(guān)的數(shù)據(jù)(與具體使用方式有關(guān))??
  • ??
  • typedef?union?epoll_data?{??
  • ????void?*ptr;??
  • ????int?fd;??
  • ????__uint32_t?u32;??
  • ????__uint64_t?u64;??
  • }?epoll_data_t;??
  • ?//感興趣的事件和被觸發(fā)的事件??
  • struct?epoll_event?{??
  • ????__uint32_t?events;?/*?Epoll?events?*/??
  • ????epoll_data_t?data;?/*?User?data?variable?*/??
  • };??
  • //保存觸發(fā)事件的某個文件描述符相關(guān)的數(shù)據(jù)(與具體使用方式有關(guān))typedef union epoll_data {void *ptr;int fd;__uint32_t u32;__uint64_t u64; } epoll_data_t;//感興趣的事件和被觸發(fā)的事件 struct epoll_event {__uint32_t events; /* Epoll events */epoll_data_t data; /* User data variable */ };

    events可以是以下幾個宏的集合:

    EPOLLIN?:表示對應(yīng)的文件描述符可以讀(包括對端SOCKET正常關(guān)閉);

    EPOLLOUT:表示對應(yīng)的文件描述符可以寫;

    EPOLLPRI:表示對應(yīng)的文件描述符有緊急的數(shù)據(jù)可讀(這里應(yīng)該表示有帶外數(shù)據(jù)到來);

    EPOLLERR:表示對應(yīng)的文件描述符發(fā)生錯誤;

    EPOLLHUP:表示對應(yīng)的文件描述符被掛斷;

    EPOLLET?EPOLL設(shè)為邊緣觸發(fā)(Edge Triggered)模式,這是相對于水平觸發(fā)(Level Triggered)來說的。

    EPOLLONESHOT:只監(jiān)聽一次事件,當(dāng)監(jiān)聽完這次事件之后,如果還需要繼續(xù)監(jiān)聽這個socket的話,需要再次把這個socket加入到EPOLL隊(duì)列里


    3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

    收集在epoll監(jiān)控的事件中已經(jīng)發(fā)送的事件。參數(shù)events是分配好的epoll_event結(jié)構(gòu)體數(shù)組,epoll將會把發(fā)生的事件賦值到events數(shù)組中(events不可以是空指針,內(nèi)核只負(fù)責(zé)把數(shù)據(jù)復(fù)制到這個events數(shù)組中,不會去幫助我們在用戶態(tài)中分配內(nèi)存)maxevents告之內(nèi)核這個events有多大,這個?maxevents的值不能大于創(chuàng)建epoll_create()時(shí)的size,參數(shù)timeout是超時(shí)時(shí)間(毫秒,0會立即返回,-1將不確定,也有說法說是永久阻塞)。如果函數(shù)調(diào)用成功,返回對應(yīng)I/O上已準(zhǔn)備好的文件描述符數(shù)目,如返回0表示已超時(shí)。

    ?

    epoll工作原理

    epoll同樣只告知那些就緒的文件描述符,而且當(dāng)我們調(diào)用epoll_wait()獲得就緒文件描述符時(shí),返回的不是實(shí)際的描述符,而是一個代表就緒描述符數(shù)量的值,你只需要去epoll指定的一個數(shù)組中依次取得相應(yīng)數(shù)量的文件描述符即可,這里也使用了內(nèi)存映射(mmap)技術(shù),這樣便徹底省掉了這些文件描述符在系統(tǒng)調(diào)用時(shí)復(fù)制的開銷。

    ?

    另一個本質(zhì)的改進(jìn)在于epoll采用基于事件的就緒通知方式。在select/poll中,進(jìn)程只有在調(diào)用一定的方法后,內(nèi)核才對所有監(jiān)視的文件描述符進(jìn)行掃描,而epoll事先通過epoll_ctl()來注冊一個文件描述符,一旦基于某個文件描述符就緒時(shí),內(nèi)核會采用類似callback的回調(diào)機(jī)制,迅速激活這個文件描述符,當(dāng)進(jìn)程調(diào)用epoll_wait()時(shí)便得到通知。

    ?

    Epoll2種工作方式-水平觸發(fā)(LT)和邊緣觸發(fā)(ET

    假如有這樣一個例子:

    1. 我們已經(jīng)把一個用來從管道中讀取數(shù)據(jù)的文件句柄(RFD)添加到epoll描述符

    2. 這個時(shí)候從管道的另一端被寫入了2KB的數(shù)據(jù)

    3. 調(diào)用epoll_wait(2),并且它會返回RFD,說明它已經(jīng)準(zhǔn)備好讀取操作

    4. 然后我們讀取了1KB的數(shù)據(jù)

    5. 調(diào)用epoll_wait(2)......


    Edge Triggered 工作模式:

    如果我們在第1步將RFD添加到epoll描述符的時(shí)候使用了EPOLLET標(biāo)志,那么在第5步調(diào)用epoll_wait(2)之后將有可能會掛起,因?yàn)槭S嗟臄?shù)據(jù)還存在于文件的輸入緩沖區(qū)內(nèi),而且數(shù)據(jù)發(fā)出端還在等待一個針對已經(jīng)發(fā)出數(shù)據(jù)的反饋信息。只有在監(jiān)視的文件句柄上發(fā)生了某個事件的時(shí)候 ET 工作模式才會匯報(bào)事件。因此在第5步的時(shí)候,調(diào)用者可能會放棄等待仍在存在于文件輸入緩沖區(qū)內(nèi)的剩余數(shù)據(jù)。在上面的例子中,會有一個事件產(chǎn)生在RFD句柄上,因?yàn)樵诘?步執(zhí)行了一個寫操作,然后,事件將會在第3步被銷毀。因?yàn)榈?步的讀取操作沒有讀空文件輸入緩沖區(qū)內(nèi)的數(shù)據(jù),因此我們在第5步調(diào)用 epoll_wait(2)完成后,是否掛起是不確定的。epoll工作在ET模式的時(shí)候,必須使用非阻塞套接口,以避免由于一個文件句柄的阻塞讀/阻塞寫操作把處理多個文件描述符的任務(wù)餓死。最好以下面的方式調(diào)用ET模式的epoll接口,在后面會介紹避免可能的缺陷。

    ? ?i ? ?基于非阻塞文件句柄

    ? ?ii ? 只有當(dāng)read(2)或者write(2)返回EAGAIN時(shí)才需要掛起,等待。但這并不是說每次read()時(shí)都需要循環(huán)讀,直到讀到產(chǎn)生一個EAGAIN才認(rèn)為此次事件處理完成,當(dāng)read()返回的讀到的數(shù)據(jù)長度小于請求的數(shù)據(jù)長度時(shí),就可以確定此時(shí)緩沖中已沒有數(shù)據(jù)了,也就可以認(rèn)為此事讀事件已處理完成。


    Level Triggered 工作模式

    相反的,以LT方式調(diào)用epoll接口的時(shí)候,它就相當(dāng)于一個速度比較快的poll(2),并且無論后面的數(shù)據(jù)是否被使用,因此他們具有同樣的職能。因?yàn)榧词故褂肊T模式的epoll,在收到多個chunk的數(shù)據(jù)的時(shí)候仍然會產(chǎn)生多個事件。調(diào)用者可以設(shè)定EPOLLONESHOT標(biāo)志,在 epoll_wait(2)收到事件后epoll會與事件關(guān)聯(lián)的文件句柄從epoll描述符中禁止掉。因此當(dāng)EPOLLONESHOT設(shè)定后,使用帶有 EPOLL_CTL_MOD標(biāo)志的epoll_ctl(2)處理文件句柄就成為調(diào)用者必須作的事情。


    LT(level triggered)是epoll缺省的工作方式,并且同時(shí)支持blockno-block socket.在這種做法中,內(nèi)核告訴你一個文件描述符是否就緒了,然后你可以對這個就緒的fd進(jìn)行IO操作。如果你不作任何操作,內(nèi)核還是會繼續(xù)通知你?的,所以,這種模式編程出錯誤可能性要小一點(diǎn)。傳統(tǒng)的select/poll都是這種模型的代表.

    ?

    ET (edge-triggered)是高速工作方式,只支持no-block socket,它效率要比LT更高。ET與LT的區(qū)別在于,當(dāng)一個新的事件到來時(shí),ET模式下當(dāng)然可以從epoll_wait調(diào)用中獲取到這個事件,可是如果這次沒有把這個事件對應(yīng)的套接字緩沖區(qū)處理完,在這個套接字中沒有新的事件再次到來時(shí),在ET模式下是無法再次從epoll_wait調(diào)用中獲取這個事件的。而LT模式正好相反,只要一個事件對應(yīng)的套接字緩沖區(qū)還有數(shù)據(jù),就總能從epoll_wait中獲取這個事件。

    因此,LT模式下開發(fā)基于epoll的應(yīng)用要簡單些,不太容易出錯。而在ET模式下事件發(fā)生時(shí),如果沒有徹底地將緩沖區(qū)數(shù)據(jù)處理完,則會導(dǎo)致緩沖區(qū)中的用戶請求得不到響應(yīng)。

    圖示說明:


    Nginx默認(rèn)采用ET模式來使用epoll。

    ?

    epoll的優(yōu)點(diǎn):

    1.支持一個進(jìn)程打開大數(shù)目的socket描述符(FD)

    ??? select?最不能忍受的是一個進(jìn)程所打開的FD是有一定限制的,由FD_SETSIZE設(shè)置,默認(rèn)值是2048。對于那些需要支持的上萬連接數(shù)目的IM服務(wù)器來說顯然太少了。這時(shí)候你一是可以選擇修改這個宏然后重新編譯內(nèi)核,不過資料也同時(shí)指出這樣會帶來網(wǎng)絡(luò)效率的下降,二是可以選擇多進(jìn)程的解決方案(傳統(tǒng)的?Apache方案),不過雖然linux上面創(chuàng)建進(jìn)程的代價(jià)比較小,但仍舊是不可忽視的,加上進(jìn)程間數(shù)據(jù)同步遠(yuǎn)比不上線程間同步的高效,所以也不是一種完美的方案。不過?epoll則沒有這個限制,它所支持的FD上限是最大可以打開文件的數(shù)目,這個數(shù)字一般遠(yuǎn)大于2048,舉個例子,1GB內(nèi)存的機(jī)器上大約是10萬左右,具體數(shù)目可以cat /proc/sys/fs/file-max察看,一般來說這個數(shù)目和系統(tǒng)內(nèi)存關(guān)系很大。

    ?

    2.IO效率不隨FD數(shù)目增加而線性下降

    ????傳統(tǒng)的select/poll另一個致命弱點(diǎn)就是當(dāng)你擁有一個很大的socket集合,不過由于網(wǎng)絡(luò)延時(shí),任一時(shí)間只有部分的socket"活躍"的,但是select/poll每次調(diào)用都會線性掃描全部的集合,導(dǎo)致效率呈現(xiàn)線性下降。但是epoll不存在這個問題,它只會對"活躍"socket進(jìn)行操作---這是因?yàn)樵趦?nèi)核實(shí)現(xiàn)中epoll是根據(jù)每個fd上面的callback函數(shù)實(shí)現(xiàn)的。那么,只有"活躍"socket才會主動的去調(diào)用?callback函數(shù),其他idle狀態(tài)socket則不會,在這點(diǎn)上,epoll實(shí)現(xiàn)了一個""AIO因?yàn)檫@時(shí)候推動力在os內(nèi)核。在一些?benchmark中,如果所有的socket基本上都是活躍的---比如一個高速LAN環(huán)境,epoll并不比select/poll有什么效率,相反,如果過多使用epoll_ctl,效率相比還有稍微的下降。但是一旦使用idle connections模擬WAN環(huán)境,epoll的效率就遠(yuǎn)在select/poll之上了。

    ?

    3.使用mmap加速內(nèi)核與用戶空間的消息傳遞

    ????這點(diǎn)實(shí)際上涉及到epoll的具體實(shí)現(xiàn)了。無論是select,poll還是epoll都需要內(nèi)核把FD消息通知給用戶空間,如何避免不必要的內(nèi)存拷貝就很重要,在這點(diǎn)上,epoll是通過內(nèi)核于用戶空間mmap同一塊內(nèi)存實(shí)現(xiàn)的。而如果你想我一樣從2.5內(nèi)核就關(guān)注epoll的話,一定不會忘記手工?mmap這一步的。

    ?

    4.內(nèi)核微調(diào)

    這一點(diǎn)其實(shí)不算epoll的優(yōu)點(diǎn)了,而是整個linux平臺的優(yōu)點(diǎn)。也許你可以懷疑linux平臺,但是你無法回避linux平臺賦予你微調(diào)內(nèi)核的能力。比如,內(nèi)核TCP/IP協(xié)議棧使用內(nèi)存池管理sk_buff結(jié)構(gòu),那么可以在運(yùn)行時(shí)期動態(tài)調(diào)整這個內(nèi)存pool(skb_head_pool)的大小---?通過echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函數(shù)的第2個參數(shù)(TCP完成3次握手的數(shù)據(jù)包隊(duì)列長度),也可以根據(jù)你平臺內(nèi)存大小動態(tài)調(diào)整。更甚至在一個數(shù)據(jù)包面數(shù)目巨大但同時(shí)每個數(shù)據(jù)包本身大小卻很小的特殊系統(tǒng)上嘗試最新的NAPI網(wǎng)卡驅(qū)動架構(gòu)。

    ?

    linuxepoll如何實(shí)現(xiàn)高效處理百萬句柄的

    開發(fā)高性能網(wǎng)絡(luò)程序時(shí),windows開發(fā)者們言必稱iocplinux開發(fā)者們則言必稱epoll。大家都明白epoll是一種IO多路復(fù)用技術(shù),可以非常高效的處理數(shù)以百萬計(jì)的socket句柄,比起以前的selectpoll效率高大發(fā)了。我們用起epoll來都感覺挺爽,確實(shí)快,那么,它到底為什么可以高速處理這么多并發(fā)連接呢?

    ?

    使用起來很清晰,首先要調(diào)用epoll_create建立一個epoll對象。參數(shù)size是內(nèi)核保證能夠正確處理的最大句柄數(shù),多于這個最大數(shù)時(shí)內(nèi)核可不保證效果。

    ?

    epoll_ctl可以操作上面建立的epoll,例如,將剛建立的socket加入到epoll中讓其監(jiān)控,或者把?epoll正在監(jiān)控的某個socket句柄移出epoll,不再監(jiān)控它等等。

    ?

    epoll_wait在調(diào)用時(shí),在給定的timeout時(shí)間內(nèi),當(dāng)在監(jiān)控的所有句柄中有事件發(fā)生時(shí),就返回用戶態(tài)的進(jìn)程。

    ?

    從上面的調(diào)用方式就可以看到epollselect/poll的優(yōu)越之處:因?yàn)楹笳呙看握{(diào)用時(shí)都要傳遞你所要監(jiān)控的所有socketselect/poll系統(tǒng)調(diào)用,這意味著需要將用戶態(tài)的socket列表copy到內(nèi)核態(tài),如果以萬計(jì)的句柄會導(dǎo)致每次都要copy幾十幾百KB的內(nèi)存到內(nèi)核態(tài),非常低效。而我們調(diào)用epoll_wait時(shí)就相當(dāng)于以往調(diào)用select/poll,但是這時(shí)卻不用傳遞socket句柄給內(nèi)核,因?yàn)閮?nèi)核已經(jīng)在epoll_ctl中拿到了要監(jiān)控的句柄列表。

    ?

    所以,實(shí)際上在你調(diào)用epoll_create后,內(nèi)核就已經(jīng)在內(nèi)核態(tài)開始準(zhǔn)備幫你存儲要監(jiān)控的句柄了,每次調(diào)用epoll_ctl只是在往內(nèi)核的數(shù)據(jù)結(jié)構(gòu)里塞入新的socket句柄。

    ?當(dāng)一個進(jìn)程調(diào)用epoll_creaqte方法時(shí),Linux內(nèi)核會創(chuàng)建一個eventpoll結(jié)構(gòu)體,這個結(jié)構(gòu)體中有兩個成員與epoll的使用方式密切相關(guān):

    [cpp] view plaincopy print?
  • /*?
  • ?
  • ?171?*?This?structure?is?stored?inside?the?"private_data"?member?of?the?file?
  • ?
  • ?172?*?structure?and?represents?the?main?data?structure?for?the?eventpoll?
  • ?
  • ?173?*?interface.?
  • ?
  • ?174?*/??
  • ??
  • ?175struct?eventpoll?{??
  • ??
  • ?176????????/*?Protect?the?access?to?this?structure?*/??
  • ??
  • ?177????????spinlock_t?lock;??
  • ??
  • ?178??
  • ??
  • ?179????????/*?
  • ?
  • ?180?????????*?This?mutex?is?used?to?ensure?that?files?are?not?removed?
  • ?
  • ?181?????????*?while?epoll?is?using?them.?This?is?held?during?the?event?
  • ?
  • ?182?????????*?collection?loop,?the?file?cleanup?path,?the?epoll?file?exit?
  • ?
  • ?183?????????*?code?and?the?ctl?operations.?
  • ?
  • ?184?????????*/??
  • ??
  • ?185????????struct?mutex?mtx;??
  • ??
  • ?186??
  • ??
  • ?187????????/*?Wait?queue?used?by?sys_epoll_wait()?*/??
  • ??
  • ?188????????wait_queue_head_t?wq;??
  • ??
  • ?189??
  • ??
  • ?190????????/*?Wait?queue?used?by?file->poll()?*/??
  • ??
  • ?191????????wait_queue_head_t?poll_wait;??
  • ??
  • ?192??
  • ??
  • ?193????????/*?List?of?ready?file?descriptors?*/??
  • ??
  • ?194????????struct?list_head?rdllist;??
  • ??
  • ?195??
  • ??
  • ?196????????/*?RB?tree?root?used?to?store?monitored?fd?structs?*/??
  • ??
  • ?197????????struct?rb_root?rbr;//紅黑樹根節(jié)點(diǎn),這棵樹存儲著所有添加到epoll中的事件,也就是這個epoll監(jiān)控的事件??
  • ?198??
  • ?199????????/*?
  • ?200?????????*?This?is?a?single?linked?list?that?chains?all?the?"struct?epitem"?that?
  • ?201?????????*?happened?while?transferring?ready?events?to?userspace?w/out?
  • ?202?????????*?holding?->lock.?
  • ?203?????????*/??
  • ?204????????struct?epitem?*ovflist;??
  • ?205??
  • ?206????????/*?wakeup_source?used?when?ep_scan_ready_list?is?running?*/??
  • ?207????????struct?wakeup_source?*ws;??
  • ?208??
  • ?209????????/*?The?user?that?created?the?eventpoll?descriptor?*/??
  • ?210????????struct?user_struct?*user;??
  • ?211??
  • ?212????????struct?file?*file;??
  • ?213??
  • ?214????????/*?used?to?optimize?loop?detection?check?*/??
  • ?215????????int?visited;??
  • ?216????????struct?list_head?visited_list_link;//雙向鏈表中保存著將要通過epoll_wait返回給用戶的、滿足條件的事件??
  • ?217};??
  • /*171 * This structure is stored inside the "private_data" member of the file172 * structure and represents the main data structure for the eventpoll173 * interface.174 */175struct eventpoll {176 /* Protect the access to this structure */177 spinlock_t lock;178179 /*180 * This mutex is used to ensure that files are not removed181 * while epoll is using them. This is held during the event182 * collection loop, the file cleanup path, the epoll file exit183 * code and the ctl operations.184 */185 struct mutex mtx;186187 /* Wait queue used by sys_epoll_wait() */188 wait_queue_head_t wq;189190 /* Wait queue used by file->poll() */191 wait_queue_head_t poll_wait;192193 /* List of ready file descriptors */194 struct list_head rdllist;195196 /* RB tree root used to store monitored fd structs */197 struct rb_root rbr;//紅黑樹根節(jié)點(diǎn),這棵樹存儲著所有添加到epoll中的事件,也就是這個epoll監(jiān)控的事件198199 /*200 * This is a single linked list that chains all the "struct epitem" that201 * happened while transferring ready events to userspace w/out202 * holding ->lock.203 */204 struct epitem *ovflist;205206 /* wakeup_source used when ep_scan_ready_list is running */207 struct wakeup_source *ws;208209 /* The user that created the eventpoll descriptor */210 struct user_struct *user;211212 struct file *file;213214 /* used to optimize loop detection check */215 int visited;216 struct list_head visited_list_link;//雙向鏈表中保存著將要通過epoll_wait返回給用戶的、滿足條件的事件217};

    每一個epoll對象都有一個獨(dú)立的eventpoll結(jié)構(gòu)體,這個結(jié)構(gòu)體會在內(nèi)核空間中創(chuàng)造獨(dú)立的內(nèi)存,用于存儲使用epoll_ctl方法向epoll對象中添加進(jìn)來的事件。這樣,重復(fù)的事件就可以通過紅黑樹而高效的識別出來。

    在epoll中,對于每一個事件都會建立一個epitem結(jié)構(gòu)體:

    [cpp] view plaincopy print?
  • /*?
  • ?130?*?Each?file?descriptor?added?to?the?eventpoll?interface?will?
  • ?131?*?have?an?entry?of?this?type?linked?to?the?"rbr"?RB?tree.?
  • ?132?*?Avoid?increasing?the?size?of?this?struct,?there?can?be?many?thousands?
  • ?133?*?of?these?on?a?server?and?we?do?not?want?this?to?take?another?cache?line.?
  • ?134?*/??
  • ?135struct?epitem?{??
  • ?136????????/*?RB?tree?node?used?to?link?this?structure?to?the?eventpoll?RB?tree?*/??
  • ?137????????struct?rb_node?rbn;??
  • ?138??
  • ?139????????/*?List?header?used?to?link?this?structure?to?the?eventpoll?ready?list?*/??
  • ?140????????struct?list_head?rdllink;??
  • ?141??
  • ?142????????/*?
  • ?143?????????*?Works?together?"struct?eventpoll"->ovflist?in?keeping?the?
  • ?144?????????*?single?linked?chain?of?items.?
  • ?145?????????*/??
  • ?146????????struct?epitem?*next;??
  • ?147??
  • ?148????????/*?The?file?descriptor?information?this?item?refers?to?*/??
  • ?149????????struct?epoll_filefd?ffd;??
  • ?150??
  • ?151????????/*?Number?of?active?wait?queue?attached?to?poll?operations?*/??
  • ?152????????int?nwait;??
  • ?153??
  • ?154????????/*?List?containing?poll?wait?queues?*/??
  • ?155????????struct?list_head?pwqlist;??
  • ?156??
  • ?157????????/*?The?"container"?of?this?item?*/??
  • ?158????????struct?eventpoll?*ep;??
  • ?159??
  • ?160????????/*?List?header?used?to?link?this?item?to?the?"struct?file"?items?list?*/??
  • ?161????????struct?list_head?fllink;??
  • ?162??
  • ?163????????/*?wakeup_source?used?when?EPOLLWAKEUP?is?set?*/??
  • ?164????????struct?wakeup_source?__rcu?*ws;??
  • ?165??
  • ?166????????/*?The?structure?that?describe?the?interested?events?and?the?source?fd?*/??
  • ?167????????struct?epoll_event?event;??
  • ?168};??
  • /*130 * Each file descriptor added to the eventpoll interface will131 * have an entry of this type linked to the "rbr" RB tree.132 * Avoid increasing the size of this struct, there can be many thousands133 * of these on a server and we do not want this to take another cache line.134 */135struct epitem {136 /* RB tree node used to link this structure to the eventpoll RB tree */137 struct rb_node rbn;138139 /* List header used to link this structure to the eventpoll ready list */140 struct list_head rdllink;141142 /*143 * Works together "struct eventpoll"->ovflist in keeping the144 * single linked chain of items.145 */146 struct epitem *next;147148 /* The file descriptor information this item refers to */149 struct epoll_filefd ffd;150151 /* Number of active wait queue attached to poll operations */152 int nwait;153154 /* List containing poll wait queues */155 struct list_head pwqlist;156157 /* The "container" of this item */158 struct eventpoll *ep;159160 /* List header used to link this item to the "struct file" items list */161 struct list_head fllink;162163 /* wakeup_source used when EPOLLWAKEUP is set */164 struct wakeup_source __rcu *ws;165166 /* The structure that describe the interested events and the source fd */167 struct epoll_event event;168};

    此外,epoll還維護(hù)了一個雙鏈表,用戶存儲發(fā)生的事件。當(dāng)epoll_wait調(diào)用時(shí),僅僅觀察這個list鏈表里有沒有數(shù)據(jù)即eptime項(xiàng)即可。有數(shù)據(jù)就返回,沒有數(shù)據(jù)就sleep,等到timeout時(shí)間到后即使鏈表沒數(shù)據(jù)也返回。所以,epoll_wait非常高效。

    ?

    而且,通常情況下即使我們要監(jiān)控百萬計(jì)的句柄,大多一次也只返回很少量的準(zhǔn)備就緒句柄而已,所以,epoll_wait僅需要從內(nèi)核態(tài)copy少量的句柄到用戶態(tài)而已,如何能不高效?!

    ?

    那么,這個準(zhǔn)備就緒list鏈表是怎么維護(hù)的呢?當(dāng)我們執(zhí)行epoll_ctl時(shí),除了把socket放到epoll文件系統(tǒng)里file對象對應(yīng)的紅黑樹上之外,還會給內(nèi)核中斷處理程序注冊一個回調(diào)函數(shù),告訴內(nèi)核,如果這個句柄的中斷到了,就把它放到準(zhǔn)備就緒list鏈表里。所以,當(dāng)一個socket上有數(shù)據(jù)到了,內(nèi)核在把網(wǎng)卡上的數(shù)據(jù)copy到內(nèi)核中后就來把socket插入到準(zhǔn)備就緒鏈表里了。

    ?

    如此,一顆紅黑樹,一張準(zhǔn)備就緒句柄鏈表,少量的內(nèi)核cache,就幫我們解決了大并發(fā)下的socket處理問題。執(zhí)行epoll_create時(shí),創(chuàng)建了紅黑樹和就緒鏈表,執(zhí)行epoll_ctl時(shí),如果增加socket句柄,則檢查在紅黑樹中是否存在,存在立即返回,不存在則添加到樹干上,然后向內(nèi)核注冊回調(diào)函數(shù),用于當(dāng)中斷事件來臨時(shí)向準(zhǔn)備就緒鏈表中插入數(shù)據(jù)。執(zhí)行epoll_wait時(shí)立刻返回準(zhǔn)備就緒鏈表里的數(shù)據(jù)即可。

    ?

    epoll的使用方法

    那么究竟如何來使用epoll呢?其實(shí)非常簡單。

    ?

    通過在包含一個頭文件#include <sys/epoll.h>?以及幾個簡單的API將可以大大的提高你的網(wǎng)絡(luò)服務(wù)器的支持人數(shù)。

    ?

    首先通過create_epoll(int maxfds)來創(chuàng)建一個epoll的句柄。這個函數(shù)會返回一個新的epoll句柄,之后的所有操作將通過這個句柄來進(jìn)行操作。在用完之后,記得用close()來關(guān)閉這個創(chuàng)建出來的epoll句柄。

    ?

    之后在你的網(wǎng)絡(luò)主循環(huán)里面,每一幀的調(diào)用epoll_wait(int epfd, epoll_event events, int max events, int timeout)來查詢所有的網(wǎng)絡(luò)接口,看哪一個可以讀,哪一個可以寫了。基本的語法為:

    nfds = epoll_wait(kdpfd, events, maxevents, -1);

    ?

    其中kdpfd為用epoll_create創(chuàng)建之后的句柄,events是一個epoll_event*的指針,當(dāng)epoll_wait這個函數(shù)操作成功之后,epoll_events里面將儲存所有的讀寫事件。max_events是當(dāng)前需要監(jiān)聽的所有socket句柄數(shù)。最后一個timeout?epoll_wait的超時(shí),為0的時(shí)候表示馬上返回,為-1的時(shí)候表示一直等下去,直到有事件返回,為任意正整數(shù)的時(shí)候表示等這么長的時(shí)間,如果一直沒有事件,則返回。一般如果網(wǎng)絡(luò)主循環(huán)是單獨(dú)的線程的話,可以用-1來等,這樣可以保證一些效率,如果是和主邏輯在同一個線程的話,則可以用0來保證主循環(huán)的效率。

    ?

    epoll_wait返回之后應(yīng)該是一個循環(huán),遍歷所有的事件。

    ?

    ?

    幾乎所有的epoll程序都使用下面的框架:

    [cpp] view plaincopy print?
  • for(?;?;?)??
  • ???{??
  • ???????nfds?=?epoll_wait(epfd,events,20,500);??
  • ???????for(i=0;i<nfds;++i)??
  • ???????{??
  • ???????????if(events[i].data.fd==listenfd)?//有新的連接??
  • ???????????{??
  • ???????????????connfd?=?accept(listenfd,(sockaddr?*)&clientaddr,?&clilen);?//accept這個連接??
  • ???????????????ev.data.fd=connfd;??
  • ???????????????ev.events=EPOLLIN|EPOLLET;??
  • ???????????????epoll_ctl(epfd,EPOLL_CTL_ADD,connfd,&ev);?//將新的fd添加到epoll的監(jiān)聽隊(duì)列中??
  • ???????????}??
  • ??
  • ???????????else?if(?events[i].events&EPOLLIN?)?//接收到數(shù)據(jù),讀socket??
  • ???????????{??
  • ???????????????n?=?read(sockfd,?line,?MAXLINE))?<?0????//讀??
  • ???????????????ev.data.ptr?=?md;?????//md為自定義類型,添加數(shù)據(jù)??
  • ???????????????ev.events=EPOLLOUT|EPOLLET;??
  • ???????????????epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);//修改標(biāo)識符,等待下一個循環(huán)時(shí)發(fā)送數(shù)據(jù),異步處理的精髓??
  • ???????????}??
  • ???????????else?if(events[i].events&EPOLLOUT)?//有數(shù)據(jù)待發(fā)送,寫socket??
  • ???????????{??
  • ???????????????struct?myepoll_data*?md?=?(myepoll_data*)events[i].data.ptr;????//取數(shù)據(jù)??
  • ???????????????sockfd?=?md->fd;??
  • ???????????????send(?sockfd,?md->ptr,?strlen((char*)md->ptr),?0?);????????//發(fā)送數(shù)據(jù)??
  • ???????????????ev.data.fd=sockfd;??
  • ???????????????ev.events=EPOLLIN|EPOLLET;??
  • ???????????????epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);?//修改標(biāo)識符,等待下一個循環(huán)時(shí)接收數(shù)據(jù)??
  • ???????????}??
  • ???????????else??
  • ???????????{??
  • ???????????????//其他的處理??
  • ???????????}??
  • ???????}??
  • ???}??
  • for( ; ; ){nfds = epoll_wait(epfd,events,20,500);for(i=0;i<nfds;++i){if(events[i].data.fd==listenfd) //有新的連接{connfd = accept(listenfd,(sockaddr *)&clientaddr, &clilen); //accept這個連接ev.data.fd=connfd;ev.events=EPOLLIN|EPOLLET;epoll_ctl(epfd,EPOLL_CTL_ADD,connfd,&ev); //將新的fd添加到epoll的監(jiān)聽隊(duì)列中}else if( events[i].events&EPOLLIN ) //接收到數(shù)據(jù),讀socket{n = read(sockfd, line, MAXLINE)) < 0 //讀ev.data.ptr = md; //md為自定義類型,添加數(shù)據(jù)ev.events=EPOLLOUT|EPOLLET;epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);//修改標(biāo)識符,等待下一個循環(huán)時(shí)發(fā)送數(shù)據(jù),異步處理的精髓}else if(events[i].events&EPOLLOUT) //有數(shù)據(jù)待發(fā)送,寫socket{struct myepoll_data* md = (myepoll_data*)events[i].data.ptr; //取數(shù)據(jù)sockfd = md->fd;send( sockfd, md->ptr, strlen((char*)md->ptr), 0 ); //發(fā)送數(shù)據(jù)ev.data.fd=sockfd;ev.events=EPOLLIN|EPOLLET;epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev); //修改標(biāo)識符,等待下一個循環(huán)時(shí)接收數(shù)據(jù)}else{//其他的處理}}}

    epoll的程序?qū)嵗?/span>

    [cpp] view plaincopy print?
  • ?#include?<stdio.h>??
  • #include?<stdlib.h>??
  • #include?<unistd.h>??
  • #include?<errno.h>??
  • #include?<sys/socket.h>??
  • #include?<netdb.h>??
  • #include?<fcntl.h>??
  • #include?<sys/epoll.h>??
  • #include?<string.h>??
  • ??
  • #define?MAXEVENTS?64??
  • ??
  • //函數(shù):??
  • //功能:創(chuàng)建和綁定一個TCP?socket??
  • //參數(shù):端口??
  • //返回值:創(chuàng)建的socket??
  • static?int??
  • create_and_bind?(char?*port)??
  • {??
  • ??struct?addrinfo?hints;??
  • ??struct?addrinfo?*result,?*rp;??
  • ??int?s,?sfd;??
  • ??
  • ??memset?(&hints,?0,?sizeof?(struct?addrinfo));??
  • ??hints.ai_family?=?AF_UNSPEC;?????/*?Return?IPv4?and?IPv6?choices?*/??
  • ??hints.ai_socktype?=?SOCK_STREAM;?/*?We?want?a?TCP?socket?*/??
  • ??hints.ai_flags?=?AI_PASSIVE;?????/*?All?interfaces?*/??
  • ??
  • ??s?=?getaddrinfo?(NULL,?port,?&hints,?&result);??
  • ??if?(s?!=?0)??
  • ????{??
  • ??????fprintf?(stderr,?"getaddrinfo:?%s\n",?gai_strerror?(s));??
  • ??????return?-1;??
  • ????}??
  • ??
  • ??for?(rp?=?result;?rp?!=?NULL;?rp?=?rp->ai_next)??
  • ????{??
  • ??????sfd?=?socket?(rp->ai_family,?rp->ai_socktype,?rp->ai_protocol);??
  • ??????if?(sfd?==?-1)??
  • ????????continue;??
  • ??
  • ??????s?=?bind?(sfd,?rp->ai_addr,?rp->ai_addrlen);??
  • ??????if?(s?==?0)??
  • ????????{??
  • ??????????/*?We?managed?to?bind?successfully!?*/??
  • ??????????break;??
  • ????????}??
  • ??
  • ??????close?(sfd);??
  • ????}??
  • ??
  • ??if?(rp?==?NULL)??
  • ????{??
  • ??????fprintf?(stderr,?"Could?not?bind\n");??
  • ??????return?-1;??
  • ????}??
  • ??
  • ??freeaddrinfo?(result);??
  • ??
  • ??return?sfd;??
  • }??
  • ??
  • ??
  • //函數(shù)??
  • //功能:設(shè)置socket為非阻塞的??
  • static?int??
  • make_socket_non_blocking?(int?sfd)??
  • {??
  • ??int?flags,?s;??
  • ??
  • ??//得到文件狀態(tài)標(biāo)志??
  • ??flags?=?fcntl?(sfd,?F_GETFL,?0);??
  • ??if?(flags?==?-1)??
  • ????{??
  • ??????perror?("fcntl");??
  • ??????return?-1;??
  • ????}??
  • ??
  • ??//設(shè)置文件狀態(tài)標(biāo)志??
  • ??flags?|=?O_NONBLOCK;??
  • ??s?=?fcntl?(sfd,?F_SETFL,?flags);??
  • ??if?(s?==?-1)??
  • ????{??
  • ??????perror?("fcntl");??
  • ??????return?-1;??
  • ????}??
  • ??
  • ??return?0;??
  • }??
  • ??
  • //端口由參數(shù)argv[1]指定??
  • int??
  • main?(int?argc,?char?*argv[])??
  • {??
  • ??int?sfd,?s;??
  • ??int?efd;??
  • ??struct?epoll_event?event;??
  • ??struct?epoll_event?*events;??
  • ??
  • ??if?(argc?!=?2)??
  • ????{??
  • ??????fprintf?(stderr,?"Usage:?%s?[port]\n",?argv[0]);??
  • ??????exit?(EXIT_FAILURE);??
  • ????}??
  • ??
  • ??sfd?=?create_and_bind?(argv[1]);??
  • ??if?(sfd?==?-1)??
  • ????abort?();??
  • ??
  • ??s?=?make_socket_non_blocking?(sfd);??
  • ??if?(s?==?-1)??
  • ????abort?();??
  • ??
  • ??s?=?listen?(sfd,?SOMAXCONN);??
  • ??if?(s?==?-1)??
  • ????{??
  • ??????perror?("listen");??
  • ??????abort?();??
  • ????}??
  • ??
  • ??//除了參數(shù)size被忽略外,此函數(shù)和epoll_create完全相同??
  • ??efd?=?epoll_create1?(0);??
  • ??if?(efd?==?-1)??
  • ????{??
  • ??????perror?("epoll_create");??
  • ??????abort?();??
  • ????}??
  • ??
  • ??event.data.fd?=?sfd;??
  • ??event.events?=?EPOLLIN?|?EPOLLET;//讀入,邊緣觸發(fā)方式??
  • ??s?=?epoll_ctl?(efd,?EPOLL_CTL_ADD,?sfd,?&event);??
  • ??if?(s?==?-1)??
  • ????{??
  • ??????perror?("epoll_ctl");??
  • ??????abort?();??
  • ????}??
  • ??
  • ??/*?Buffer?where?events?are?returned?*/??
  • ??events?=?calloc?(MAXEVENTS,?sizeof?event);??
  • ??
  • ??/*?The?event?loop?*/??
  • ??while?(1)??
  • ????{??
  • ??????int?n,?i;??
  • ??
  • ??????n?=?epoll_wait?(efd,?events,?MAXEVENTS,?-1);??
  • ??????for?(i?=?0;?i?<?n;?i++)??
  • ????????{??
  • ??????????if?((events[i].events?&?EPOLLERR)?||??
  • ??????????????(events[i].events?&?EPOLLHUP)?||??
  • ??????????????(!(events[i].events?&?EPOLLIN)))??
  • ????????????{??
  • ??????????????/*?An?error?has?occured?on?this?fd,?or?the?socket?is?not?
  • ?????????????????ready?for?reading?(why?were?we?notified?then?)?*/??
  • ??????????????fprintf?(stderr,?"epoll?error\n");??
  • ??????????????close?(events[i].data.fd);??
  • ??????????????continue;??
  • ????????????}??
  • ??
  • ??????????else?if?(sfd?==?events[i].data.fd)??
  • ????????????{??
  • ??????????????/*?We?have?a?notification?on?the?listening?socket,?which?
  • ?????????????????means?one?or?more?incoming?connections.?*/??
  • ??????????????while?(1)??
  • ????????????????{??
  • ??????????????????struct?sockaddr?in_addr;??
  • ??????????????????socklen_t?in_len;??
  • ??????????????????int?infd;??
  • ??????????????????char?hbuf[NI_MAXHOST],?sbuf[NI_MAXSERV];??
  • ??
  • ??????????????????in_len?=?sizeof?in_addr;??
  • ??????????????????infd?=?accept?(sfd,?&in_addr,?&in_len);??
  • ??????????????????if?(infd?==?-1)??
  • ????????????????????{??
  • ??????????????????????if?((errno?==?EAGAIN)?||??
  • ??????????????????????????(errno?==?EWOULDBLOCK))??
  • ????????????????????????{??
  • ??????????????????????????/*?We?have?processed?all?incoming?
  • ?????????????????????????????connections.?*/??
  • ??????????????????????????break;??
  • ????????????????????????}??
  • ??????????????????????else??
  • ????????????????????????{??
  • ??????????????????????????perror?("accept");??
  • ??????????????????????????break;??
  • ????????????????????????}??
  • ????????????????????}??
  • ??
  • ??????????????????????????????????//將地址轉(zhuǎn)化為主機(jī)名或者服務(wù)名??
  • ??????????????????s?=?getnameinfo?(&in_addr,?in_len,??
  • ???????????????????????????????????hbuf,?sizeof?hbuf,??
  • ???????????????????????????????????sbuf,?sizeof?sbuf,??
  • ???????????????????????????????????NI_NUMERICHOST?|?NI_NUMERICSERV);//flag參數(shù):以數(shù)字名返回??
  • ??????????????????????????????????//主機(jī)地址和服務(wù)地址??
  • ??
  • ??????????????????if?(s?==?0)??
  • ????????????????????{??
  • ??????????????????????printf("Accepted?connection?on?descriptor?%d?"??
  • ?????????????????????????????"(host=%s,?port=%s)\n",?infd,?hbuf,?sbuf);??
  • ????????????????????}??
  • ??
  • ??????????????????/*?Make?the?incoming?socket?non-blocking?and?add?it?to?the?
  • ?????????????????????list?of?fds?to?monitor.?*/??
  • ??????????????????s?=?make_socket_non_blocking?(infd);??
  • ??????????????????if?(s?==?-1)??
  • ????????????????????abort?();??
  • ??
  • ??????????????????event.data.fd?=?infd;??
  • ??????????????????event.events?=?EPOLLIN?|?EPOLLET;??
  • ??????????????????s?=?epoll_ctl?(efd,?EPOLL_CTL_ADD,?infd,?&event);??
  • ??????????????????if?(s?==?-1)??
  • ????????????????????{??
  • ??????????????????????perror?("epoll_ctl");??
  • ??????????????????????abort?();??
  • ????????????????????}??
  • ????????????????}??
  • ??????????????continue;??
  • ????????????}??
  • ??????????else??
  • ????????????{??
  • ??????????????/*?We?have?data?on?the?fd?waiting?to?be?read.?Read?and?
  • ?????????????????display?it.?We?must?read?whatever?data?is?available?
  • ?????????????????completely,?as?we?are?running?in?edge-triggered?mode?
  • ?????????????????and?won't?get?a?notification?again?for?the?same?
  • ?????????????????data.?*/??
  • ??????????????int?done?=?0;??
  • ??
  • ??????????????while?(1)??
  • ????????????????{??
  • ??????????????????ssize_t?count;??
  • ??????????????????char?buf[512];??
  • ??
  • ??????????????????count?=?read?(events[i].data.fd,?buf,?sizeof(buf));??
  • ??????????????????if?(count?==?-1)??
  • ????????????????????{??
  • ??????????????????????/*?If?errno?==?EAGAIN,?that?means?we?have?read?all?
  • ?????????????????????????data.?So?go?back?to?the?main?loop.?*/??
  • ??????????????????????if?(errno?!=?EAGAIN)??
  • ????????????????????????{??
  • ??????????????????????????perror?("read");??
  • ??????????????????????????done?=?1;??
  • ????????????????????????}??
  • ??????????????????????break;??
  • ????????????????????}??
  • ??????????????????else?if?(count?==?0)??
  • ????????????????????{??
  • ??????????????????????/*?End?of?file.?The?remote?has?closed?the?
  • ?????????????????????????connection.?*/??
  • ??????????????????????done?=?1;??
  • ??????????????????????break;??
  • ????????????????????}??
  • ??
  • ??????????????????/*?Write?the?buffer?to?standard?output?*/??
  • ??????????????????s?=?write?(1,?buf,?count);??
  • ??????????????????if?(s?==?-1)??
  • ????????????????????{??
  • ??????????????????????perror?("write");??
  • ??????????????????????abort?();??
  • ????????????????????}??
  • ????????????????}??
  • ??
  • ??????????????if?(done)??
  • ????????????????{??
  • ??????????????????printf?("Closed?connection?on?descriptor?%d\n",??
  • ??????????????????????????events[i].data.fd);??
  • ??
  • ??????????????????/*?Closing?the?descriptor?will?make?epoll?remove?it?
  • ?????????????????????from?the?set?of?descriptors?which?are?monitored.?*/??
  • ??????????????????close?(events[i].data.fd);??
  • ????????????????}??
  • ????????????}??
  • ????????}??
  • ????}??
  • ??
  • ??free?(events);??
  • ??
  • ??close?(sfd);??
  • ??
  • ??return?EXIT_SUCCESS;??
  • }??
  • #include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <errno.h> #include <sys/socket.h> #include <netdb.h> #include <fcntl.h> #include <sys/epoll.h> #include <string.h>#define MAXEVENTS 64//函數(shù): //功能:創(chuàng)建和綁定一個TCP socket //參數(shù):端口 //返回值:創(chuàng)建的socket static int create_and_bind (char *port) {struct addrinfo hints;struct addrinfo *result, *rp;int s, sfd;memset (&hints, 0, sizeof (struct addrinfo));hints.ai_family = AF_UNSPEC; /* Return IPv4 and IPv6 choices */hints.ai_socktype = SOCK_STREAM; /* We want a TCP socket */hints.ai_flags = AI_PASSIVE; /* All interfaces */s = getaddrinfo (NULL, port, &hints, &result);if (s != 0){fprintf (stderr, "getaddrinfo: %s\n", gai_strerror (s));return -1;}for (rp = result; rp != NULL; rp = rp->ai_next){sfd = socket (rp->ai_family, rp->ai_socktype, rp->ai_protocol);if (sfd == -1)continue;s = bind (sfd, rp->ai_addr, rp->ai_addrlen);if (s == 0){/* We managed to bind successfully! */break;}close (sfd);}if (rp == NULL){fprintf (stderr, "Could not bind\n");return -1;}freeaddrinfo (result);return sfd; }//函數(shù) //功能:設(shè)置socket為非阻塞的 static int make_socket_non_blocking (int sfd) {int flags, s;//得到文件狀態(tài)標(biāo)志flags = fcntl (sfd, F_GETFL, 0);if (flags == -1){perror ("fcntl");return -1;}//設(shè)置文件狀態(tài)標(biāo)志flags |= O_NONBLOCK;s = fcntl (sfd, F_SETFL, flags);if (s == -1){perror ("fcntl");return -1;}return 0; }//端口由參數(shù)argv[1]指定 int main (int argc, char *argv[]) {int sfd, s;int efd;struct epoll_event event;struct epoll_event *events;if (argc != 2){fprintf (stderr, "Usage: %s [port]\n", argv[0]);exit (EXIT_FAILURE);}sfd = create_and_bind (argv[1]);if (sfd == -1)abort ();s = make_socket_non_blocking (sfd);if (s == -1)abort ();s = listen (sfd, SOMAXCONN);if (s == -1){perror ("listen");abort ();}//除了參數(shù)size被忽略外,此函數(shù)和epoll_create完全相同efd = epoll_create1 (0);if (efd == -1){perror ("epoll_create");abort ();}event.data.fd = sfd;event.events = EPOLLIN | EPOLLET;//讀入,邊緣觸發(fā)方式s = epoll_ctl (efd, EPOLL_CTL_ADD, sfd, &event);if (s == -1){perror ("epoll_ctl");abort ();}/* Buffer where events are returned */events = calloc (MAXEVENTS, sizeof event);/* The event loop */while (1){int n, i;n = epoll_wait (efd, events, MAXEVENTS, -1);for (i = 0; i < n; i++){if ((events[i].events & EPOLLERR) ||(events[i].events & EPOLLHUP) ||(!(events[i].events & EPOLLIN))){/* An error has occured on this fd, or the socket is notready for reading (why were we notified then?) */fprintf (stderr, "epoll error\n");close (events[i].data.fd);continue;}else if (sfd == events[i].data.fd){/* We have a notification on the listening socket, whichmeans one or more incoming connections. */while (1){struct sockaddr in_addr;socklen_t in_len;int infd;char hbuf[NI_MAXHOST], sbuf[NI_MAXSERV];in_len = sizeof in_addr;infd = accept (sfd, &in_addr, &in_len);if (infd == -1){if ((errno == EAGAIN) ||(errno == EWOULDBLOCK)){/* We have processed all incomingconnections. */break;}else{perror ("accept");break;}}//將地址轉(zhuǎn)化為主機(jī)名或者服務(wù)名s = getnameinfo (&in_addr, in_len,hbuf, sizeof hbuf,sbuf, sizeof sbuf,NI_NUMERICHOST | NI_NUMERICSERV);//flag參數(shù):以數(shù)字名返回//主機(jī)地址和服務(wù)地址if (s == 0){printf("Accepted connection on descriptor %d ""(host=%s, port=%s)\n", infd, hbuf, sbuf);}/* Make the incoming socket non-blocking and add it to thelist of fds to monitor. */s = make_socket_non_blocking (infd);if (s == -1)abort ();event.data.fd = infd;event.events = EPOLLIN | EPOLLET;s = epoll_ctl (efd, EPOLL_CTL_ADD, infd, &event);if (s == -1){perror ("epoll_ctl");abort ();}}continue;}else{/* We have data on the fd waiting to be read. Read anddisplay it. We must read whatever data is availablecompletely, as we are running in edge-triggered modeand won't get a notification again for the samedata. */int done = 0;while (1){ssize_t count;char buf[512];count = read (events[i].data.fd, buf, sizeof(buf));if (count == -1){/* If errno == EAGAIN, that means we have read alldata. So go back to the main loop. */if (errno != EAGAIN){perror ("read");done = 1;}break;}else if (count == 0){/* End of file. The remote has closed theconnection. */done = 1;break;}/* Write the buffer to standard output */s = write (1, buf, count);if (s == -1){perror ("write");abort ();}}if (done){printf ("Closed connection on descriptor %d\n",events[i].data.fd);/* Closing the descriptor will make epoll remove itfrom the set of descriptors which are monitored. */close (events[i].data.fd);}}}}free (events);close (sfd);return EXIT_SUCCESS; }

    運(yùn)行方式:

    在一個終端運(yùn)行此程序:epoll.out PORT

    另一個終端:telnet ?127.0.0.1 PORT

    截圖:



    總結(jié)

    以上是生活随笔為你收集整理的linux socket epoll的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。

    人人搞人人爽 | 免费a级毛片在线看 | 国产色视频一区 | 欧美一区日韩一区 | 又爽又黄又无遮挡网站动态图 | 成+人+色综合 | 色视频在线看 | 麻豆久久| 成人羞羞视频在线观看免费 | 国产精品系列在线播放 | 免费久久久久久 | 色诱亚洲精品久久久久久 | 日p在线观看| 九九导航 | 91av视频在线免费观看 | 女人18毛片a级毛片一区二区 | 国产日韩欧美综合在线 | 欧美性生活免费看 | 国产精品一区二区麻豆 | 午夜狠狠操| 久久精品欧美一区二区三区麻豆 | 一区二区三区四区不卡 | 9在线观看免费高清完整版在线观看明 | 美女视频黄,久久 | www.夜色321.com | 国产毛片久久 | 99久久精品电影 | 国产一级片免费观看 | 日韩免费一级a毛片在线播放一级 | 日韩高清一二区 | 999成人精品 | 免费观看xxxx9999片 | 亚洲香蕉在线观看 | 中文字幕成人在线 | 日韩视频欧美视频 | av在线进入| 久久国产电影 | 91精品网站 | 91成年人视频 | 亚州欧美视频 | 成人黄色小说视频 | 又紧又大又爽精品一区二区 | 九九热免费精品视频 | 久久视频精品 | 成人av动漫在线 | 激情久久久久 | 六月丁香婷婷在线 | 色天堂在线视频 | 精品91视频 | a在线播放 | 操操爽| 在线观看久草 | 美女av在线免费 | 亚洲国产日韩一区 | 久久精品人 | a级片网站| 超级碰碰视频 | 日韩一级网站 | 91欧美在线| 国产亚洲成av人片在线观看桃 | 日韩精品短视频 | 欧美日韩观看 | 日韩精品免费一区二区三区 | 国产精品18久久久久久久久久久久 | 99视频免费观看 | 99精品一区 | 日本中文一区二区 | 亚洲精品欧美精品 | 婷婷在线网站 | 黄色软件视频网站 | 亚洲狠狠操 | 又黄又网站 | 久草综合在线观看 | 人人干人人做 | 九九精品在线观看 | 久草在线网址 | 久久综合导航 | 色狠狠一区二区 | 国产96av | 欧美日本在线视频 | 亚洲一区二区高潮无套美女 | 伊人超碰在线 | 国产精品久久久久一区 | 探花视频在线观看免费版 | 日韩精品一区二区三区三炮视频 | www五月天| 性色视频在线 | 国产精品免费大片视频 | 在线观看中文字幕亚洲 | 久久99精品热在线观看 | 中文字幕一区二区三区在线观看 | 中文字幕999 | 国产精选在线观看 | 黄色亚洲片 | 成年美女黄网站色大片免费看 | 色综合天天综合网国产成人网 | 在线观看日本韩国电影 | 国产午夜精品一区二区三区四区 | 成人免费网站在线观看 | 欧美最新大片在线看 | 91av免费看 | 日日干天天射 | 久草亚洲视频 | 亚洲视频一级 | 伊人久久五月天 | 91久久丝袜国产露脸动漫 | 香蕉视频在线播放 | 免费在线国产视频 | 九九有精品 | 亚洲欧美视频一区二区三区 | 久久公开免费视频 | 国产精品系列在线 | 天天操天天艹 | 欧美日韩精品免费观看视频 | 91香蕉视频720p | 黄色一级影院 | 国产精品99精品久久免费 | 久久精品国产第一区二区三区 | 亚洲精品视频在线观看免费 | 久久精品久久精品久久精品 | 色婷婷啪啪免费在线电影观看 | 一区二区三区四区久久 | 久久国产精品精品国产色婷婷 | 中文字幕在线国产 | 一本色道久久综合亚洲二区三区 | 久久久免费观看完整版 | 青青草在久久免费久久免费 | 久草免费资源 | 精品国产aⅴ麻豆 | 亚洲精品456在线播放乱码 | 丁香影院在线 | 二区三区视频 | 欧美伦理一区二区三区 | 三级黄免费看 | 久草男人天堂 | 久久影院精品 | 亚洲综合激情小说 | 久热av在线 | 国产一区国产二区在线观看 | 欧美午夜寂寞影院 | 欧美韩日视频 | 国产 日韩 欧美 中文 在线播放 | 欧美激情精品久久久久久变态 | 亚洲精品欧美成人 | 久久国产电影院 | 97在线免费视频观看 | 91在线成人 | 国内精品一区二区 | 麻豆播放 | 99久免费精品视频在线观看 | 99视频偷窥在线精品国自产拍 | 国产一区二区三区午夜 | 美女av在线免费 | 九九久久久久99精品 | 亚州性色 | av网站免费在线 | 在线国产中文 | 东方av在线免费观看 | 国产在线观看 | 久久久免费毛片 | 区一区二在线 | 欧美一级大片在线观看 | 超碰97人人射妻 | 四虎影视国产精品免费久久 | 免费又黄又爽的视频 | 欧美一区在线看 | 中文字幕在线人 | 免费看污的网站 | 久久久免费 | 日本在线观看视频一区 | 激情综合色综合久久 | 日韩精品一区二区三区电影 | 中文字幕免费不卡视频 | 日韩免费在线视频观看 | 欧美精品久久久久久久久久 | 中文字幕一区二区三 | 国产美腿白丝袜足在线av | 狠狠躁18三区二区一区ai明星 | 韩国av一区二区 | 国产视频 亚洲精品 | 亚洲欧洲视频 | 天天狠狠操 | av软件在线观看 | 在线免费观看国产黄色 | 337p日本大胆噜噜噜噜 | 日韩av在线影视 | 亚洲精品在线观看网站 | 一区二区三区四区在线 | 免费看片成年人 | 欧美日韩另类在线 | 成人av一区二区在线观看 | 亚洲va天堂va欧美ⅴa在线 | 五月婷婷天堂 | 97超碰成人在线 | 99riav1国产精品视频 | 人人爽人人看 | 色香网 | a电影免费看 | 欧美精品中文在线免费观看 | 国产中文字幕在线播放 | 欧美一区二区三区在线看 | 98久久 | 深夜国产福利 | 欧美精品在线一区二区 | 久久一精品 | 国产精品黑丝在线观看 | 日韩高清一区在线 | 中文字幕在线观看视频一区二区三区 | 免费观看国产成人 | 亚洲免费av一区二区 | 97超碰国产精品女人人人爽 | 成人中心免费视频 | www99精品 | 99这里只有精品视频 | 97在线视| 久草免费在线观看 | 国产伦理精品一区二区 | 亚洲精品日韩一区二区电影 | 黄污在线看 | 四虎影院在线观看av | 国产一区二区不卡视频 | www.天天色.com| 狠狠狠狠狠狠狠干 | 免费精品视频 | 国产精品国产毛片 | 91在线免费公开视频 | 中文日韩在线 | 国产无套一区二区三区久久 | 久久电影日韩 | 亚洲综合色播 | 99在线国产| 人人插人人玩 | 日韩电影黄色 | 久久久久久久久久福利 | 免费日韩一区二区三区 | 天天干天天插伊人网 | 免费试看一区 | a特级毛片| 特黄特黄的视频 | 日韩激情在线视频 | 天天操天天射天天操 | 国产精品a久久 | 久久久精品影视 | 色五月激情五月 | 三级午夜片 | 国产日产精品久久久久快鸭 | 国产在线观看二区 | 免费观看久久久 | 人人爽人人片 | 奇米先锋 | 国产第一页在线观看 | 在线电影日韩 | 天天草视频 | 中文字幕免费观看视频 | 国产视频精品网 | 亚洲在线a | 日本精品视频在线观看 | 亚洲精品久久久久久久不卡四虎 | 久久99精品一区二区三区三区 | 国产不卡在线看 | 亚洲精品免费在线视频 | 九九热只有精品 | 国产成人一区二 | 久久不射电影网 | www.久久色| 亚洲视频一区二区三区在线观看 | 婷婷色社区 | 在线观看中文字幕第一页 | 91精品国 | 精品视频免费播放 | 91精品国产综合久久久久久久 | 麻豆播放| 国产精品永久久久久久久www | 中中文字幕av在线 | 久草在线免费在线观看 | 福利一区视频 | 黄色在线免费观看网址 | 狠狠色丁香久久婷婷综合五月 | 国产成人精品久久二区二区 | 国产视频1 | 99久久激情| 激情六月婷婷久久 | 久久久久久久久精 | 伊人影院99 | 亚洲免费成人 | 97超碰总站 | 中文字幕av全部资源www中文字幕在线观看 | 久久日韩精品 | 国产精品免费观看在线 | 日韩av偷拍 | 国产精品露脸在线 | 国内久久久久 | 夜夜操网站 | 狂野欧美激情性xxxx欧美 | 超碰精品在线 | 亚洲精品久久在线 | 中文字幕在线观看网 | 久久女同性恋中文字幕 | 国产色拍拍拍拍在线精品 | 欧美黑人巨大xxxxx | 日韩在线精品视频 | 日韩av进入 | 成人毛片一区 | 色91在线视频 | 国产精品黄色影片导航在线观看 | 五月视频| 日韩毛片在线一区二区毛片 | 国产精品久久久久久久久久免费看 | 免费看的国产视频网站 | 久久精品视频在线观看 | 国产精品女人久久久 | 亚洲综合色丁香婷婷六月图片 | 久久久久久久福利 | 一本一道久久a久久综合蜜桃 | 天干啦夜天干天干在线线 | 久久夜色精品国产欧美乱极品 | 97精品伊人 | 国产精品入口麻豆 | 一区二区三区中文字幕在线观看 | 久久亚洲精品国产亚洲老地址 | 在线看一区 | 97超碰资源网 | 狠狠色丁香婷婷综合最新地址 | 99自拍视频在线观看 | 午夜视频在线网站 | 国产精品对白一区二区三区 | www久久精品| 免费看片成人 | 亚洲精品国产精品乱码在线观看 | 亚洲激色 | 玖玖在线播放 | 久久久久久免费视频 | 久久国产精品免费观看 | 在线观看91视频 | 欧美99热 | 久久精品网站视频 | 亚洲精品国产免费 | 久久免费黄色网址 | 97人人看| 日韩精品中文字幕有码 | 久久99精品久久久久久 | 国产香蕉视频 | av观看免费在线 | 国产高清免费视频 | va视频在线观看 | 久久夜色精品亚洲噜噜国4 午夜视频在线观看欧美 | 色丁香婷婷| 国产一区二区三区高清播放 | 久草男人天堂 | 日韩av电影免费观看 | 久久在线免费观看视频 | 欧美日韩另类视频 | 在线看v片 | av天天澡天天爽天天av | 国产精品va最新国产精品视频 | 人人玩人人添人人澡超碰 | 久久经典国产视频 | 日韩高清久久 | 久草在线资源网 | 亚洲精品xx | 国产精品 中文在线 | 丁香 婷婷 激情 | 久久夜色电影 | 免费人人干| 国产黄色一级大片 | 91资源在线| 亚洲精品综合欧美二区变态 | 西西大胆啪啪 | 2021国产精品视频 | 亚洲国产中文字幕在线 | 婷婷在线免费 | 狠狠色丁香婷婷综合久久片 | 一区二区影视 | 五月婷婷导航 | 亚洲精品在线观看网站 | 首页国产精品 | 91精品视频免费在线观看 | 国产999视频| 日日摸日日添夜夜爽97 | 欧美亚洲精品在线观看 | 欧美成人视 | 国内精品久久久久久久久久清纯 | 午夜国产福利视频 | 黄色一级在线免费观看 | 亚洲精品在线观看不卡 | 国产小视频免费在线观看 | 69xxxx欧美 | 日产中文字幕 | 成人免费视频网站在线观看 | 国产aa精品 | 日韩欧美精品一区二区三区经典 | 日本99热| 日韩手机视频 | 亚洲午夜精品电影 | 亚洲黄色a| 成人一区二区三区在线 | 日韩成人在线一区二区 | 天天干天天摸天天操 | 久久精选视频 | 中文字幕亚洲在线观看 | 麻豆视频在线免费观看 | 亚洲综合色激情五月 | 一级一片免费观看 | 亚洲欧美日本国产 | 十八岁以下禁止观看的1000个网站 | av高清一区二区三区 | 激情av资源网 | 91麻豆国产福利在线观看 | 日韩一区二区免费播放 | 99精品免费久久久久久久久日本 | 一区二区国产精品 | 亚洲精品久久久蜜臀下载官网 | 夜夜躁狠狠躁日日躁视频黑人 | 成年人视频在线免费 | 欧美天天综合 | 久久99视频免费 | 999视频在线播放 | 人人添人人澡人人澡人人人爽 | 国产不卡在线观看视频 | 久久精品久久99精品久久 | 日韩3区 | 色综合久久网 | 黄色一级性片 | 欧美视频国产视频 | 亚洲精品视频偷拍 | 少妇啪啪av入口 | 色老板在线视频 | 国产 中文 日韩 欧美 | 国产馆在线播放 | 中文久草 | 亚洲 欧美 91| 九色91av | 亚洲精品成人av在线 | 综合婷婷丁香 | 日韩免费在线观看视频 | 91视频首页 | 久久1电影院 | 久精品在线观看 | 中文国产在线观看 | 国产精品18久久久久久久 | 国产精品第10页 | 97精品一区二区三区 | 一级一级一片免费 | 色视频网站在线 | 99 视频 高清 | 国产在线观看av | 精品国产一区二区三区久久久蜜月 | 999成人精品 | 人人超碰在线 | 玖玖精品在线 | 成人av电影免费在线播放 | 国产在线999| 亚洲日本一区二区在线 | 波多野结衣久久精品 | 99久久精品国产亚洲 | 国产精品久久久久永久免费观看 | 日韩视频免费 | 婷婷丁香社区 | 国产在线综合视频 | 亚洲最新av网址 | 日本午夜免费福利视频 | 久久婷婷一区二区三区 | 在线免费黄色毛片 | 精品久久久久久一区二区里番 | a√资源在线 | 色婷婷久久久综合中文字幕 | 一区二区三区观看 | 97精品国产97久久久久久免费 | 中文字幕免费 | 久久精品成人欧美大片古装 | 国产青青青 | 在线观看你懂的网址 | 中字幕视频在线永久在线观看免费 | 久久成人国产精品入口 | 黄色一级大片免费看 | 婷婷精品国产一区二区三区日韩 | 久久综合久久综合九色 | 中文区中文字幕免费看 | 午夜视频日本 | 日韩在线观看的 | 亚洲精品一区二区三区四区高清 | 日日夜夜精品 | 免费高清男女打扑克视频 | 西西www444| 伊人婷婷色| 香蕉影视| 蜜桃麻豆www久久囤产精品 | 国产精品99久久久精品免费观看 | 日韩网站视频 | 日韩激情在线视频 | 日本在线中文 | 久久久www成人免费精品张筱雨 | 日韩中文字幕在线观看 | 日本三级不卡视频 | 国产精品va在线 | 天天操天 | 国产在线超碰 | 伊人色综合久久天天 | 99精品视频99 | 97成人在线| 久久精品国产第一区二区三区 | 日韩精品一区二区三区电影 | 国产日韩欧美精品在线观看 | 国产专区一 | 在线观看免费av片 | 黄色在线网站噜噜噜 | 久久久久久久久综合 | 99re在线视频观看 | 国产最顶级的黄色片在线免费观看 | 91x色 | 欧美日韩高清免费 | 久久精品欧美视频 | 久久视屏网 | 免费观看www小视频的软件 | 丁香九月婷婷 | 性色av免费观看 | 奇米影视777影音先锋 | 91av在线电影 | 中文字幕在 | 日韩欧美在线综合网 | 精品一区av| 五月婷婷开心 | 啪啪凸凸 | 日日碰狠狠躁久久躁综合网 | 国产精品免费观看在线 | 日本论理电影 | 亚洲va欧美va| 女人18片| 亚洲日本va午夜在线影院 | 国产中文欧美日韩在线 | 欧美精品久久久久久久久久丰满 | 久久福利综合 | 久久电影网站中文字幕 | 日韩精品免费在线观看 | 亚洲精品自拍 | 色婷婷视频 | a精品视频 | 亚洲婷婷伊人 | 国产网红在线观看 | 探花视频在线观看免费 | 久久女同性恋中文字幕 | 毛片播放网站 | 麻豆视频免费看 | 伊人影院av | 国产美女精彩久久 | 精品久久久影院 | 久久观看最新视频 | 国产福利在线 | 日韩av成人免费看 | 91久久精品一区二区二区 | 亚洲午夜久久久久久久久久久 | 成人黄色片在线播放 | 国产中文自拍 | 欧美精品第一 | 天天搞天天 | 欧美在线观看小视频 | 综合久色 | 综合精品久久久 | 三级黄在线 | 成人三级网站在线观看 | 免费观看av网站 | 五月天综合色激情 | 免费观看性生活大片3 | 亚洲欧美日本A∨在线观看 青青河边草观看完整版高清 | 很黄很污的视频网站 | 日韩xxxbbb | 亚洲精品国产品国语在线 | 美女精品在线 | 欧美成年人在线视频 | 久久99亚洲精品久久 | 久草精品网 | 最新久久久 | 免费人人干 | 欧美在线观看视频一区二区 | 国产不卡免费 | 午夜影院先 | 在线观看视频一区二区三区 | 91视频久久久久久 | 91试看| 国产精品二区在线 | 亚洲成人午夜在线 | 中文字幕.av.在线 | 福利二区视频 | 91在线看 | 色网站黄| 五月天电影免费在线观看一区 | 亚洲成人精品在线观看 | 成人午夜电影在线播放 | 成人久久| 欧美性生活小视频 | 免费在线观看午夜视频 | 国产美女精品视频免费观看 | 在线国产视频一区 | 国产精品18久久久 | 久久午夜色播影院免费高清 | 91成人免费观看视频 | 91精品导航 | 一区二区三区四区在线免费观看 | 久久99久久精品国产 | 五月激情视频 | 日韩黄色一级电影 | 国产精品99久久久久的智能播放 | 免费久久精品视频 | 99视频在线精品国自产拍免费观看 | 93久久精品日日躁夜夜躁欧美 | 91网页版免费观看 | 国色天香在线 | 精品999国产| 91麻豆看国产在线紧急地址 | 国产精品女视频 | 成人黄色视 | 欧洲视频一区 | 天天操天 | 91九色视频网站 | 91成熟丰满女人少妇 | www.成人久久 | 国产超碰在线观看 | 国产原创在线 | 日本在线观看中文字幕无线观看 | 手机av在线免费观看 | 国产女v资源在线观看 | 在线色视频小说 | 久久精品三 | 亚洲国产成人精品电影在线观看 | 成人 亚洲 欧美 | 美女网站视频免费黄 | 国产欧美中文字幕 | 国产免费黄视频在线观看 | 久久精品美女视频网站 | www.99久久.com | 国产在线播放一区 | 99免费在线视频观看 | 黄色网址a| 婷婷在线色 | 日韩特级片 | 91九色蝌蚪视频在线 | 又黄又刺激又爽的视频 | 久久久久一区二区三区四区 | 亚洲综合色播 | 狠狠色丁香婷婷综合橹88 | 色婷婷综合五月 | 久久国产亚洲 | 国产黄视频在线观看 | 国产午夜精品久久 | 欧美精品亚洲二区 | 天天天天天天操 | 97夜夜澡人人爽人人免费 | 啪啪精品 | 97超在线视频 | 国产精品亚洲人在线观看 | 久亚洲精品 | av综合在线观看 | 欧美视屏一区二区 | 国产精品九九久久99视频 | 成人在线观看资源 | 国产 亚洲 欧美 在线 | 奇米先锋 | 日韩欧在线 | 久久综合色天天久久综合图片 | 国产97色在线 | 成人h电影在线观看 | 日日精品 | 日本在线视频一区二区三区 | 国产亚洲在线 | 国产精品免费观看国产网曝瓜 | 日韩一区二区三区免费视频 | a级国产片 | 97视频免费在线观看 | 97超碰色偷偷 | av在线一二三区 | av黄色影院 | 国产黄色一级大片 | 日韩视频1 | 国产成人在线一区 | 久久精国产 | 国产精品久久一 | 在线免费观看黄网站 | av资源免费在线观看 | 97免费在线观看 | 手机av在线不卡 | 成人av网站在线观看 | 超碰在线99 | 免费毛片一区二区三区久久久 | 亚洲一二区视频 | 中文字幕日韩国产 | 中文字幕 在线 一 二 | 中文字幕一区二区三区四区视频 | 日韩在线精品一区 | 亚洲国产美女久久久久 | 激情偷乱人伦小说视频在线观看 | 日韩欧美视频在线免费观看 | 天天狠狠操 | 99久久精品午夜一区二区小说 | 激情视频二区 | 欧美国产视频在线 | 国产99精品 | 日韩免费观看一区二区三区 | 亚洲高清在线观看视频 | 99免费在线播放99久久免费 | 国产精品一级在线 | 国产精品2018 | 天天干.com| 九九九国产 | 婷婷射五月 | 伊人六月 | 亚洲国产精品va在线看 | 国产真实精品久久二三区 | 中文字幕精品视频 | 国产美女永久免费 | 丝袜足交在线 | 免费观看视频黄 | 色国产精品 | 91成人在线免费观看 | 日韩www在线| 精品国模一区二区 | 久久成人国产精品入口 | 国产视频一区在线播放 | 免费特级黄毛片 | 国产精品视频大全 | 日韩三级av | 久久精品超碰 | 精品视频久久久久久 | 亚洲国内精品在线 | 亚洲日本韩国一区二区 | 人人狠狠综合久久亚洲 | 久久久国产一区 | 激情伊人五月天久久综合 | 色婷婷综合久久久 | 欧美性视频网站 | 中文字幕丝袜一区二区 | 国产成人精品综合 | 2018好看的中文在线观看 | 欧美性大胆| 国产精品久久久一区二区 | 丁香花在线视频观看免费 | 国产视频91在线 | 免费a一级 | 国产精品久久久久永久免费观看 | 99精品区 | 亚洲欧美国产精品18p | 日韩av一区在线观看 | 四虎国产精品永久在线国在线 | 91精品视频免费 | 国产黄色免费观看 | 久久久久网址 | 又黄又爽又无遮挡的视频 | 国产精品欧美一区二区 | 久久精品欧美一区二区三区麻豆 | 麻豆视频免费在线 | 久久久久这里只有精品 | 精品国产一区二区三区在线 | 久草在线视频资源 | 成人av电影在线观看 | 国产精品久久久久永久免费观看 | 久久国产精品免费视频 | .国产精品成人自产拍在线观看6 | 经典三级一区 | av大全在线看| 国产男女爽爽爽免费视频 | 成年人视频在线观看免费 | 精品一区在线看 | 五月婷婷影院 | av一区二区三区在线观看 | 探花视频在线观看+在线播放 | 久草在线视频中文 | 国产黄色理论片 | 日本在线免费看 | 免费91麻豆精品国产自产在线观看 | 欧美另类美少妇69xxxx | 国产日韩精品在线观看 | 亚洲精品国产第一综合99久久 | 日韩精品电影在线播放 | 91完整版在线观看 | 伊人宗合| 中文字幕一区二区三区四区视频 | 99婷婷 | 四虎影视精品成人 | 九九免费在线观看 | 521色香蕉网站在线观看 | 免费看的黄色 | 五月天婷婷在线视频 | 国产精品伦一区二区三区视频 | 国产精品自产拍在线观看桃花 | 色97在线 | 久久久久久久久影视 | 国产精品久久久久永久免费看 | 国产无遮挡又黄又爽在线观看 | 美女免费网站 | 亚洲精品国精品久久99热一 | 天天操人 | 最新色站| 一区二区三区日韩精品 | 在线观看一级片 | 国产亚洲久一区二区 | av电影中文字幕在线观看 | 西西www444 | 激情综合网色播五月 | 日韩免费一二三区 | 超碰免费在线公开 | 韩国精品在线 | av丝袜在线 | 在线观看免费日韩 | 在线免费高清一区二区三区 | 久久www免费视频 | 国产一区二区影院 | 国产剧情av在线播放 | 国产精品免费看 | 色九色 | 美女视频黄免费 | 热久久国产精品 | 天天插伊人 | 中文字幕免费一区 | 亚洲精品国产精品国自 | 中日韩在线视频 | 91精品国产综合久久福利不卡 | 在线精品视频免费播放 | 国产亚洲婷婷免费 | 精品在线视频播放 | 成人免费色 | 日产乱码一二三区别免费 | 在线黄色毛片 | 国产97碰免费视频 | 黄色网大全 | 美女福利视频网 | 国产精品免费看久久久8精臀av | 麻豆影视在线观看 | 91av99| 99精品偷拍视频一区二区三区 | 色www.| 日韩av电影免费观看 | 乱男乱女www7788 | 日本精品久久久久久 | 在线视频欧美精品 | 国内外成人免费在线视频 | 国产精品毛片一区二区三区 | 超碰97公开| 亚洲午夜在线视频 | www.在线观看视频 | 欧美一区二区三区激情视频 | 日韩中文字幕第一页 | 精品国产一区二区三区四区在线观看 | 蜜臀久久99精品久久久无需会员 | 色婷婷亚洲精品 | 狠狠躁夜夜av | 五月天狠狠操 | 日韩高清三区 | 日韩在线观看视频一区二区三区 | 久草亚洲视频 | 99操视频| 视频一区二区在线观看 | 中文字幕在线视频一区 | 99久久99久国产黄毛片 | 国产一区高清在线 | 香蕉视频啪啪 | 国产成人精品一区二区三区在线观看 | 亚洲一区二区三区四区精品 | 国产精品免费久久久久久 | 国内精品久久影院 | 六月婷婷网| 日韩中文字幕免费看 | 日韩乱码在线 | 午夜a区| 成年人在线免费看片 | 成人h动漫精品一区二 | 黄在线 | 亚州国产精品视频 | 五月婷婷网站 | 俺要去色综合狠狠 | 色婷婷国产在线 | 久久久国产精品麻豆 | 国产探花 | 日韩中文在线电影 | 亚洲另类在线视频 | 国产精品免费小视频 | 国产精品久久久777 成人手机在线视频 | 久久综合99| 一级性视频| 中文字幕有码在线 | 国产精品免费一区二区三区在线观看 | 四虎影视www | 在线观看黄色av | www.夜夜操.com | 中文字幕观看视频 | 激情五月播播久久久精品 | 国产精品九九九 | 奇米先锋| 亚洲免费精品视频 | 456免费视频| 99色免费视频 | 99国产一区| 欧美经典久久 | 亚洲综合在线一区二区三区 | 中文字幕高清有码 | 精品国自产在线观看 | 91亚洲精品久久久久图片蜜桃 | 国产激情小视频在线观看 | 91一区一区三区 | 一区二区三区 中文字幕 | 中文字幕免费一区 | 色干干 | 精品国产乱码久久久久久天美 | 国产精品视频免费在线观看 | 欧美午夜性生活 | 在线免费观看一区二区三区 | 成年人免费观看在线视频 | 日本黄区免费视频观看 | 在线欧美日韩 | 在线之家免费在线观看电影 | 在线观看免费一区 | 国产在线传媒 | 日本久久精品视频 | 亚洲精品免费观看 | 99精品在线免费视频 | 国产成人一区二区三区久久精品 | 日韩女同一区二区三区在线观看 | 97视频网址 | 在线a人v观看视频 | 日本99干网| 波多野结衣在线观看一区二区三区 | 久久人人爽人人人人片 | 中文字幕欧美激情 | 国产色女 | 亚洲乱亚洲乱亚洲 | 日韩色在线观看 | 色资源中文字幕 | 欧美了一区在线观看 | 日韩电影一区二区在线 | 亚洲精品777 | 激情丁香在线 | 999热视频 | 麻豆国产精品va在线观看不卡 | 成人不用播放器 | 久久久免费| 精品资源在线 | 久久av高清 | 91高清在线 | 国模视频一区二区三区 | 欧美专区国产专区 | 在线观看不卡视频 | 五月婷婷综合激情 | 成人av午夜 | 一级一级一片免费 | 一区二区电影网 | 国产视频1| 超碰午夜 | 久久99精品久久久久久久久久久久 | 人人插人人搞 | 精品主播网红福利资源观看 | 日本一区二区三区视频在线播放 | 久久精品久久99 | 黄色av高清 | 色综合激情久久 | 亚洲欧洲精品一区二区精品久久久 | 成人app在线播放 | 久久久久久久久影院 | 深爱激情五月婷婷 | av电影中文字幕 | 亚洲aⅴ在线观看 | 国产偷在线 | 国产在线播放观看 | 成人免费在线视频 | 91av在线视频免费观看 | 在线观看激情av | 色综合天天天天做夜夜夜夜做 | 国产精品久久99精品毛片三a | 日本性动态图 | 久久免费国产电影 | 天天插天天狠 | 欧美另类69 | 一区二区三区视频在线 | 91精品推荐 | 国产96视频| 久草精品在线播放 | 久久人人爽人人爽人人片av软件 | 97精品国产手机 | 四虎成人精品永久免费av九九 | 日韩精品一区在线观看 | av在线com| 不卡精品 | 看片一区二区三区 | 国产高清在线a视频大全 | 黄色免费观看网址 | 右手影院亚洲欧美 | 在线国产精品视频 | 亚洲成aⅴ人在线观看 | 国产在线视频不卡 | 亚洲免费永久精品国产 | 欧美国产日韩激情 | 亚洲国产精品va在线 | 精品久久久久久久久中文字幕 | 香蕉视频啪啪 | 最新中文字幕在线播放 | 国产精品区免费视频 | 亚洲,播放 | 91精品视频播放 | 中文字幕在线观看第三页 | 婷婷在线不卡 | av福利超碰网站 |