高效并发处理之libevent
出處:http://www.oschina.net/question/12_15837
構(gòu)建現(xiàn)代的服務(wù)器應(yīng)用程序需要以某種方法同時(shí)接收數(shù)百、數(shù)千甚至數(shù)萬個(gè)事件,無論它們是內(nèi)部請(qǐng)求還是網(wǎng)絡(luò)連接,都要有效地處理它們的操作。有許多解決方 案,但是 libevent 庫和 libev 庫能夠大大提高性能和事件處理能力。在本文中,我們要討論在 UNIX? 應(yīng)用程序中使用和部署這些解決方案所用的基本結(jié)構(gòu)和方法。libev 和 libevent 都可以在高性能應(yīng)用程序中使用,包括部署在 IBM Cloud 或 Amazon EC2 環(huán)境中的應(yīng)用程序,這些應(yīng)用程序需要支持大量并發(fā)客戶端或操作。
簡(jiǎn)介
許多服務(wù)器部署(尤其是 web 服務(wù)器部署)面對(duì)的最大問題之一是必須能夠處理大量連接。無論是通過構(gòu)建基于云的服務(wù)來處理網(wǎng)絡(luò)通信流,還是把應(yīng)用程序分布在 IBM Amazon EC 實(shí)例上,還是為網(wǎng)站提供高性能組件,都需要能夠處理大量并發(fā)連接。
一個(gè)好例子是,web 應(yīng)用程序最近越來越動(dòng)態(tài)了,尤其是使用 AJAX 技術(shù)的應(yīng)用程序。如果要部署的系統(tǒng)允許數(shù)千客戶端直接在網(wǎng)頁中更新信息,比如提供事件或問題實(shí)時(shí)監(jiān)視的系統(tǒng),那么提供信息的速度就非常重要了。在網(wǎng)格或云 環(huán)境中,可能有來自數(shù)千客戶端的持久連接同時(shí)打開著,必須能夠處理每個(gè)客戶端的請(qǐng)求并做出響應(yīng)。
在討論 libevent 和 libev 如何處理多個(gè)網(wǎng)絡(luò)連接之前,我們先簡(jiǎn)要回顧一下處理這類連接的傳統(tǒng)解決方案。
處理多個(gè)客戶端
處理多個(gè)連接有許多不同的傳統(tǒng)方法,但是在處理大量連接時(shí)它們往往會(huì)產(chǎn)生問題,因?yàn)樗鼈兪褂玫膬?nèi)存或 CPU 太多,或者達(dá)到了某個(gè)操作系統(tǒng)限制。
使用的主要方法如下:
- 循環(huán):早期系統(tǒng)使用簡(jiǎn)單的循環(huán)選擇解決方案,即循環(huán)遍歷打開的網(wǎng)絡(luò)連接的列表,判斷是否有要讀取的數(shù) 據(jù)。這種方法既緩慢(尤其是隨著連接數(shù)量增加越來越慢),又低效(因?yàn)樵谔幚懋?dāng)前連接時(shí)其他連接可能正在發(fā)送請(qǐng)求并等待響應(yīng))。在系統(tǒng)循環(huán)遍歷每個(gè)連接 時(shí),其他連接不得不等待。如果有 100 個(gè)連接,其中只有一個(gè)有數(shù)據(jù),那么仍然必須處理其他 99 個(gè)連接,才能輪到真正需要處理的連接。
- poll、epoll 和變體:這是對(duì)循環(huán)方法的改進(jìn),它用一個(gè)結(jié)構(gòu)保存要監(jiān)視的每個(gè)連接的數(shù)組,當(dāng)在網(wǎng)絡(luò)套接字上發(fā)現(xiàn)數(shù)據(jù)時(shí),通過回調(diào)機(jī)制調(diào)用處理函數(shù)。poll 的問題是這個(gè)結(jié)構(gòu)會(huì)非常大,在列表中添加新的網(wǎng)絡(luò)連接時(shí),修改結(jié)構(gòu)會(huì)增加負(fù)載并影響性能。
- 選擇:select() 函數(shù)調(diào)用使用一個(gè)靜態(tài)結(jié)構(gòu),它事先被硬編碼為相當(dāng)小的數(shù)量(1024 個(gè)連接),因此不適用于非常大的部署。
在各種平臺(tái)上還有其他實(shí)現(xiàn)(比如 Solaris 上的 /dev/poll 或 FreeBSD/NetBSD 上的 kqueue),它們?cè)诟髯缘?OS 上性能可能更好,但是無法移植,也不一定能夠解決處理請(qǐng)求的高層問題。
上面的所有解決方案都用簡(jiǎn)單的循環(huán)等待并處理請(qǐng)求,然后把請(qǐng)求分派給另一個(gè)函數(shù)以處理實(shí)際的網(wǎng)絡(luò)交互。關(guān)鍵在于循環(huán)和網(wǎng)絡(luò)套接字需要大量管理代碼,這樣才能監(jiān)聽、更新和控制不同的連接和接口。
處理許多連接的另一種方法是,利用現(xiàn)代內(nèi)核中的多線程支持監(jiān)聽和處理連接,為每個(gè)連接啟動(dòng)一個(gè)新線程。這把責(zé)任直接交給操作系統(tǒng),但是會(huì)在 RAM 和 CPU 方面增加相當(dāng)大的開銷,因?yàn)槊總€(gè)線程都需要自己的執(zhí)行空間。另外,如果每個(gè)線程都忙于處理網(wǎng)絡(luò)連接,線程之間的上下文切換會(huì)很頻繁。最后,許多內(nèi)核并不適 于處理如此大量的活躍線程。
libevent 方法
libevent 庫實(shí)際上沒有更換 select()、poll() 或其他機(jī)制的基礎(chǔ)。而是使用對(duì)于每個(gè)平臺(tái)最高效的高性能解決方案在實(shí)現(xiàn)外加上一個(gè)包裝器。
為了實(shí)際處理每個(gè)請(qǐng)求,libevent 庫提供一種事件機(jī)制,它作為底層網(wǎng)絡(luò)后端的包裝器。事件系統(tǒng)讓為連接添加處理函數(shù)變得非常簡(jiǎn)便,同時(shí)降低了底層 I/O 復(fù)雜性。這是 libevent 系統(tǒng)的核心。
libevent 庫的其他組件提供其他功能,包括緩沖的事件系統(tǒng)(用于緩沖發(fā)送到客戶端/從客戶端接收的數(shù)據(jù))以及 HTTP、DNS 和 RPC 系統(tǒng)的核心實(shí)現(xiàn)。
創(chuàng)建 libevent 服務(wù)器的基本方法是,注冊(cè)當(dāng)發(fā)生某一操作(比如接受來自客戶端的連接)時(shí)應(yīng)該執(zhí)行的函數(shù),然后調(diào)用主事件循環(huán) event_dispatch()。執(zhí)行過程的控制現(xiàn)在由 libevent 系統(tǒng)處理。注冊(cè)事件和將調(diào)用的函數(shù)之后,事件系統(tǒng)開始自治;在應(yīng)用程序運(yùn)行時(shí),可以在事件隊(duì)列中添加(注冊(cè))或刪除(取消注冊(cè))事件。事件注冊(cè)非常方便,可以通過它添加新事件以處理新打開的連接,從而構(gòu)建靈活的網(wǎng)絡(luò)處理系統(tǒng)。
例如,可以打開一個(gè)監(jiān)聽套接字,然后注冊(cè)一個(gè)回調(diào)函數(shù),每當(dāng)需要調(diào)用 accept() 函數(shù)以打開新連接時(shí)調(diào)用這個(gè)回調(diào)函數(shù),這樣就創(chuàng)建了一個(gè)網(wǎng)絡(luò)服務(wù)器。清單 1 所示的代碼片段說明基本過程:
清單 1. 打開監(jiān)聽套接字,注冊(cè)一個(gè)回調(diào)函數(shù)(每當(dāng)需要調(diào)用 accept() 函數(shù)以打開新連接時(shí)調(diào)用它),由此創(chuàng)建網(wǎng)絡(luò)服務(wù)器
| int main(int argc, char **argv) { ...ev_init();/* Setup listening socket */event_set(&ev_accept, listen_fd, EV_READ|EV_PERSIST, on_accept, NULL);event_add(&ev_accept, NULL);/* Start the event loop. */event_dispatch(); } |
?
event_set() 函數(shù)創(chuàng)建新的事件結(jié)構(gòu),event_add() 在事件隊(duì)列機(jī)制中添加事件。然后,event_dispatch() 啟動(dòng)事件隊(duì)列系統(tǒng),開始監(jiān)聽(并接受)請(qǐng)求。
清單 2 給出一個(gè)更完整的示例,它構(gòu)建一個(gè)非常簡(jiǎn)單的回顯服務(wù)器:
清單 2. 構(gòu)建簡(jiǎn)單的回顯服務(wù)器
| #include <event.h> #include <sys/types.h> #include <sys/socket.h> #include <netinet/in.h> #include <arpa/inet.h> #include <string.h> #include <stdlib.h> #include <stdio.h> #include <fcntl.h> #include <unistd.h>#define SERVER_PORT 8080 int debug = 0;struct client {int fd;struct bufferevent *buf_ev; };int setnonblock(int fd) {int flags;flags = fcntl(fd, F_GETFL);flags |= O_NONBLOCK;fcntl(fd, F_SETFL, flags); }void buf_read_callback(struct bufferevent *incoming,void *arg) {struct evbuffer *evreturn;char *req;req = evbuffer_readline(incoming->input);if (req == NULL)return;evreturn = evbuffer_new();evbuffer_add_printf(evreturn,"You said %s\n",req);bufferevent_write_buffer(incoming,evreturn);evbuffer_free(evreturn);free(req); }void buf_write_callback(struct bufferevent *bev,void *arg) { }void buf_error_callback(struct bufferevent *bev,short what,void *arg) {struct client *client = (struct client *)arg;bufferevent_free(client->buf_ev);close(client->fd);free(client); }void accept_callback(int fd,short ev,void *arg) {int client_fd;struct sockaddr_in client_addr;socklen_t client_len = sizeof(client_addr);struct client *client;client_fd = accept(fd,(struct sockaddr *)&client_addr,&client_len);if (client_fd < 0){warn("Client: accept() failed");return;}setnonblock(client_fd);client = calloc(1, sizeof(*client));if (client == NULL)err(1, "malloc failed");client->fd = client_fd;client->buf_ev = bufferevent_new(client_fd,buf_read_callback,buf_write_callback,buf_error_callback,client);bufferevent_enable(client->buf_ev, EV_READ); }int main(int argc,char **argv) {int socketlisten;struct sockaddr_in addresslisten;struct event accept_event;int reuse = 1;event_init();socketlisten = socket(AF_INET, SOCK_STREAM, 0);if (socketlisten < 0){fprintf(stderr,"Failed to create listen socket");return 1;}memset(&addresslisten, 0, sizeof(addresslisten));addresslisten.sin_family = AF_INET;addresslisten.sin_addr.s_addr = INADDR_ANY;addresslisten.sin_port = htons(SERVER_PORT);if (bind(socketlisten,(struct sockaddr *)&addresslisten,sizeof(addresslisten)) < 0){fprintf(stderr,"Failed to bind");return 1;}if (listen(socketlisten, 5) < 0){fprintf(stderr,"Failed to listen to socket");return 1;}setsockopt(socketlisten,SOL_SOCKET,SO_REUSEADDR,&reuse,sizeof(reuse));setnonblock(socketlisten);event_set(&accept_event,socketlisten,EV_READ|EV_PERSIST,accept_callback,NULL);event_add(&accept_event,NULL);event_dispatch();close(socketlisten);return 0; } |
?
下面討論各個(gè)函數(shù)及其操作:
- main():主函數(shù)創(chuàng)建用來監(jiān)聽連接的套接字,然后創(chuàng)建 accept() 的回調(diào)函數(shù)以便通過事件處理函數(shù)處理每個(gè)連接。
- accept_callback():當(dāng)接受連接時(shí),事件系統(tǒng)調(diào)用此函數(shù)。此函數(shù)接受到客戶端的連接;添加客 戶端套接字信息和一個(gè) bufferevent 結(jié)構(gòu);在事件結(jié)構(gòu)中為客戶端套接字上的讀/寫/錯(cuò)誤事件添加回調(diào)函數(shù);作為參數(shù)傳遞客戶端結(jié)構(gòu)(和嵌入的 eventbuffer 和客戶端套接字)。每當(dāng)對(duì)應(yīng)的客戶端套接字包含讀、寫或錯(cuò)誤操作時(shí),調(diào)用對(duì)應(yīng)的回調(diào)函數(shù)。
- buf_read_callback():當(dāng)客戶端套接字有要讀的數(shù)據(jù)時(shí)調(diào)用它。作為回顯服務(wù),此函數(shù)把 "you said..." 寫回客戶端。套接字仍然打開,可以接受新請(qǐng)求。
- buf_write_callback():當(dāng)有要寫的數(shù)據(jù)時(shí)調(diào)用它。在這個(gè)簡(jiǎn)單的服務(wù)中,不需要此函數(shù),所以定義是空的。
- buf_error_callback():當(dāng)出現(xiàn)錯(cuò)誤時(shí)調(diào)用它。這包括客戶端中斷連接。在出現(xiàn)錯(cuò)誤的所有場(chǎng)景中,關(guān)閉客戶端套接字,從事件列表中刪除客戶端套接字的事件條目,釋放客戶端結(jié)構(gòu)的內(nèi)存。
- setnonblock():設(shè)置網(wǎng)絡(luò)套接字以開放 I/O。
當(dāng)客戶端連接時(shí),在事件隊(duì)列中添加新事件以處理客戶端連接;當(dāng)客戶端中斷連接時(shí)刪除事件。在幕后,libevent 處理網(wǎng)絡(luò)套接字,識(shí)別需要服務(wù)的客戶端,分別調(diào)用對(duì)應(yīng)的函數(shù)。
為了構(gòu)建這個(gè)應(yīng)用程序,需要編譯 C 源代碼并添加 libevent 庫:$ gcc -o basic basic.c -levent。
從客戶端的角度來看,這個(gè)服務(wù)器僅僅把發(fā)送給它的任何文本發(fā)送回來(見 清單 3)。
清單 3. 服務(wù)器把發(fā)送給它的文本發(fā)送回來
| $ telnet localhost 8080 Trying 127.0.0.1... Connected to localhost. Escape character is '^]'. Hello! You said Hello! |
這樣的網(wǎng)絡(luò)應(yīng)用程序非常適合需要處理多個(gè)連接的大規(guī)模分布式部署,比如 IBM Cloud 系統(tǒng)。
很難通過簡(jiǎn)單的解決方案觀察處理大量并發(fā)連接的情況和性能改進(jìn)。可以使用嵌入的 HTTP 實(shí)現(xiàn)幫助了解可伸縮性。
使用內(nèi)置的 HTTP 服務(wù)器
如果希望構(gòu)建本機(jī)應(yīng)用程序,可以使用一般的基于網(wǎng)絡(luò)的 libevent 接口;但是,越來越常見的場(chǎng)景是開發(fā)基于 HTTP 協(xié)議的應(yīng)用程序,以及裝載或動(dòng)態(tài)地重新裝載信息的網(wǎng)頁。如果使用任何 AJAX 庫,客戶端就需要 HTTP,即使您返回的信息是 XML 或 JSON。
libevent 中的 HTTP 實(shí)現(xiàn)并不是 Apache HTTP 服務(wù)器的替代品,而是適用于與云和 web 環(huán)境相關(guān)聯(lián)的大規(guī)模動(dòng)態(tài)內(nèi)容的實(shí)用解決方案。例如,可以在 IBM Cloud 或其他解決方案中部署基于 libevent 的接口。因?yàn)榭梢允褂?HTTP 進(jìn)行通信,服務(wù)器可以與其他組件集成。
要想使用 libevent 服務(wù),需要使用與主要網(wǎng)絡(luò)事件模型相同的基本結(jié)構(gòu),但是還必須處理網(wǎng)絡(luò)接口,HTTP 包裝器會(huì)替您處理。這使整個(gè)過程變成四個(gè)函數(shù)調(diào)用(初始化、啟動(dòng) HTTP 服務(wù)器、設(shè)置 HTTP 回調(diào)函數(shù)和進(jìn)入事件循環(huán)),再加上發(fā)送回?cái)?shù)據(jù)的回調(diào)函數(shù)。清單 4 給出一個(gè)非常簡(jiǎn)單的示例:
清單 4. 使用 libevent 服務(wù)的簡(jiǎn)單示例
| #include <sys/types.h>#include <stdio.h> #include <stdlib.h> #include <unistd.h>#include <event.h> #include <evhttp.h>void generic_request_handler(struct evhttp_request *req, void *arg) {struct evbuffer *returnbuffer = evbuffer_new();evbuffer_add_printf(returnbuffer, "Thanks for the request!");evhttp_send_reply(req, HTTP_OK, "Client", returnbuffer);evbuffer_free(returnbuffer);return; }int main(int argc, char **argv) {short http_port = 8081;char *http_addr = "192.168.0.22";struct evhttp *http_server = NULL;event_init();http_server = evhttp_start(http_addr, http_port);evhttp_set_gencb(http_server, generic_request_handler, NULL);fprintf(stderr, "Server started on port %d\n", http_port);event_dispatch();return(0); } |
?
應(yīng)該可以通過前面的示例看出代碼的基本結(jié)構(gòu),不需要解釋。主要元素是 evhttp_set_gencb() 函數(shù)(它設(shè)置當(dāng)收到 HTTP 請(qǐng)求時(shí)要使用的回調(diào)函數(shù))和generic_request_handler() 回調(diào)函數(shù)本身(它用一個(gè)表示成功的簡(jiǎn)單消息填充響應(yīng)緩沖區(qū))。
HTTP 包裝器提供許多其他功能。例如,有一個(gè)請(qǐng)求解析器,它會(huì)從典型的請(qǐng)求中提取出查詢參數(shù)(就像處理 CGI 請(qǐng)求一樣)。還可以設(shè)置在不同的請(qǐng)求路徑中要觸發(fā)的處理函數(shù)。通過設(shè)置不同的回調(diào)函數(shù)和處理函數(shù),可以使用路徑 '/db/' 提供到數(shù)據(jù)庫的接口,或使用 '/memc' 提供到 memcached 的接口。
libevent 工具包的另一個(gè)特性是支持通用計(jì)時(shí)器。可以在指定的時(shí)間段之后觸發(fā)事件。可以通過結(jié)合使用計(jì)時(shí)器和 HTTP 實(shí)現(xiàn)提供輕量的服務(wù),從而自動(dòng)地提供文件內(nèi)容,在修改文件內(nèi)容時(shí)更新返回的數(shù)據(jù)。例如,以前要想在新聞?lì)l發(fā)的活動(dòng)期間提供即時(shí)更新服務(wù),前端 web 應(yīng)用程序就需要定期重新裝載新聞稿,而現(xiàn)在可以輕松地提供內(nèi)容。整個(gè)應(yīng)用程序(和 web 服務(wù))都在內(nèi)存中,因此響應(yīng)非常快。
這就是 清單 5 中的示例的主要用途:
清單 5. 使用計(jì)時(shí)器在新聞?lì)l發(fā)的活動(dòng)期間提供即時(shí)更新服務(wù)
| #include <sys/types.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <sys/stat.h> #include <event.h> #include <evhttp.h>#define RELOAD_TIMEOUT 5 #define DEFAULT_FILE "sample.html"char *filedata; time_t lasttime = 0; char filename[80]; int counter = 0;void read_file() {int size = 0;char *data;struct stat buf;stat(filename,&buf);if (buf.st_mtime > lasttime){if (counter++)fprintf(stderr,"Reloading file: %s",filename);elsefprintf(stderr,"Loading file: %s",filename);FILE *f = fopen(filename, "rb");if (f == NULL){fprintf(stderr,"Couldn't open file\n");exit(1);}fseek(f, 0, SEEK_END);size = ftell(f);fseek(f, 0, SEEK_SET);data = (char *)malloc(size+1);fread(data, sizeof(char), size, f);filedata = (char *)malloc(size+1);strcpy(filedata,data);fclose(f);fprintf(stderr," (%d bytes)\n",size);lasttime = buf.st_mtime;} }void load_file() {struct event *loadfile_event;struct timeval tv;read_file();tv.tv_sec = RELOAD_TIMEOUT;tv.tv_usec = 0;loadfile_event = malloc(sizeof(struct event));evtimer_set(loadfile_event,load_file,loadfile_event);evtimer_add(loadfile_event,&tv); }void generic_request_handler(struct evhttp_request *req, void *arg) {struct evbuffer *evb = evbuffer_new();evbuffer_add_printf(evb, "%s",filedata);evhttp_send_reply(req, HTTP_OK, "Client", evb);evbuffer_free(evb); }int main(int argc, char *argv[]) {short http_port = 8081;char *http_addr = "192.168.0.22";struct evhttp *http_server = NULL;if (argc > 1){strcpy(filename,argv[1]);printf("Using %s\n",filename);}else{strcpy(filename,DEFAULT_FILE);}event_init();load_file();http_server = evhttp_start(http_addr, http_port);evhttp_set_gencb(http_server, generic_request_handler, NULL);fprintf(stderr, "Server started on port %d\n", http_port);event_dispatch(); } |
?
這個(gè)服務(wù)器的基本原理與前面的示例相同。首先,腳本設(shè)置一個(gè) HTTP 服務(wù)器,它只響應(yīng)對(duì)基本 URL 主機(jī)/端口組合的請(qǐng)求(不處理請(qǐng)求 URI)。第一步是裝載文件 (read_file())。在裝載最初的文件時(shí)和在計(jì)時(shí)器觸發(fā)回調(diào)時(shí)都使用此函數(shù)。
read_file() 函數(shù)使用 stat() 函數(shù)調(diào)用檢查文件的修改時(shí)間,只有在上一次裝載之后修改了文件的情況下,它才重新讀取文件的內(nèi)容。此函數(shù)通過調(diào)用fread() 裝載文件數(shù)據(jù),把數(shù)據(jù)復(fù)制到另一個(gè)結(jié)構(gòu)中,然后使用strcpy() 把數(shù)據(jù)從裝載的字符串轉(zhuǎn)移到全局字符串中。
load_file() 函數(shù)是觸發(fā)計(jì)時(shí)器時(shí)調(diào)用的函數(shù)。它通過調(diào)用 read_file() 裝載內(nèi)容,然后使用 RELOAD_TIMEOUT 值設(shè)置計(jì)時(shí)器,作為嘗試裝載文件之前的秒數(shù)。libevent 計(jì)時(shí)器使用 timeval 結(jié)構(gòu),允許按秒和毫秒指定計(jì)時(shí)器。計(jì)時(shí)器不是周期性的;當(dāng)觸發(fā)計(jì)時(shí)器事件時(shí)設(shè)置它,然后從事件隊(duì)列中刪除事件。
使用與前面的示例相同的格式編譯代碼:$ gcc -o basichttpfile basichttpfile.c -levent。
現(xiàn)在,創(chuàng)建作為數(shù)據(jù)使用的靜態(tài)文件;默認(rèn)文件是 sample.html,但是可以通過命令行上的第一個(gè)參數(shù)指定任何文件(見 清單 6)。
清單 6. 創(chuàng)建作為數(shù)據(jù)使用的靜態(tài)文件
| $ ./basichttpfile Loading file: sample.html (8046 bytes) Server started on port 8081 |
?
現(xiàn)在,程序可以接受請(qǐng)求了,重新裝載計(jì)時(shí)器也啟動(dòng)了。如果修改 sample.html 的內(nèi)容,應(yīng)該會(huì)重新裝載此文件并在日志中記錄一個(gè)消息。例如,清單 7 中的輸出顯示初始裝載和兩次重新裝載:
清單 7. 輸出顯示初始裝載和兩次重新裝載
| $ ./basichttpfile Loading file: sample.html (8046 bytes) Server started on port 8081 Reloading file: sample.html (8047 bytes) Reloading file: sample.html (8048 bytes) |
?
注意,要想獲得最大的收益,必須確保環(huán)境沒有限制打開的文件描述符數(shù)量。可以使用 ulimit 命令修改限制(需要適當(dāng)?shù)臋?quán)限或根訪問)。具體的設(shè)置取決與您的 OS,但是在 Linux? 上可以用-n 選項(xiàng)設(shè)置打開的文件描述符(和網(wǎng)絡(luò)套接字)的數(shù)量:
清單 8. 用 -n 選項(xiàng)設(shè)置打開的文件描述符數(shù)量
| $ ulimit -n 1024 |
?
通過指定數(shù)字提高限制:$ ulimit -n 20000。
可以使用 Apache Bench 2 (ab2) 等性能基準(zhǔn)測(cè)試應(yīng)用程序檢查服務(wù)器的性能。可以指定并發(fā)查詢的數(shù)量以及請(qǐng)求的總數(shù)。例如,使用 100,000 個(gè)請(qǐng)求運(yùn)行基準(zhǔn)測(cè)試,并發(fā)請(qǐng)求數(shù)量為 1000 個(gè):$ ab2 -n 100000 -c 1000 http://192.168.0.22:8081/。
使用服務(wù)器示例中所示的 8K 文件運(yùn)行這個(gè)示例系統(tǒng),獲得的結(jié)果為大約每秒處理 11,000 個(gè)請(qǐng)求。請(qǐng)記住,這個(gè) libevent 服務(wù)器在單一線程中運(yùn)行,而且單一客戶端不太可能給服務(wù)器造成壓力,因?yàn)樗€受到打開請(qǐng)求的方法的限制。盡管如此,在交換的文檔大小適中的情況下,這樣的 處理速率對(duì)于單線程應(yīng)用程序來說仍然令人吃驚。
使用其他語言的實(shí)現(xiàn)
盡管 C 語言很適合許多系統(tǒng)應(yīng)用程序,但是在現(xiàn)代環(huán)境中不經(jīng)常使用 C 語言,腳本語言更靈活、更實(shí)用。幸運(yùn)的是,Perl 和 PHP 等大多數(shù)腳本語言是用 C 編寫的,所以可以通過擴(kuò)展模塊使用 libevent 等 C 庫。
例如,清單 9 給出 Perl 網(wǎng)絡(luò)服務(wù)器腳本的基本結(jié)構(gòu)。accept_callback() 函數(shù)與清單 1 所示核心 libevent 示例中的 accept 函數(shù)相同。
清單 9. Perl 網(wǎng)絡(luò)服務(wù)器腳本的基本結(jié)構(gòu)
| my $server = IO::Socket::INET->new(LocalAddr => 'localhost',LocalPort => 8081,Proto => 'tcp',ReuseAddr => SO_REUSEADDR,Listen => 1,Blocking => 0,) or die $@;my $accept = event_new($server, EV_READ|EV_PERSIST, \&accept_callback);$main->add;event_mainloop(); |
?
用這些語言編寫的 libevent 實(shí)現(xiàn)通常支持 libevent 系統(tǒng)的核心,但是不一定支持 HTTP 包裝器。因此,對(duì)腳本編程的應(yīng)用程序使用這些解決方案會(huì)比較復(fù)雜。有兩種方法:要么把腳本語言嵌入到基于 C 的 libevent 應(yīng)用程序中,要么使用基于腳本語言環(huán)境構(gòu)建的眾多 HTTP 實(shí)現(xiàn)之一。例如,Python 包含功能很強(qiáng)的 HTTP 服務(wù)器類 (httplib/httplib2)。
應(yīng)該指出一點(diǎn):在腳本語言中沒有什么東西是無法用 C 重新實(shí)現(xiàn)的。但是,要考慮到開發(fā)時(shí)間的限制,而且與現(xiàn)有代碼集成可能更重要。
libev 庫
與 libevent 一樣,libev 系統(tǒng)也是基于事件循環(huán)的系統(tǒng),它在 poll()、select() 等機(jī)制的本機(jī)實(shí)現(xiàn)的基礎(chǔ)上提供基于事件的循環(huán)。到我撰寫本文時(shí),libev 實(shí)現(xiàn)的開銷更低,能夠?qū)崿F(xiàn)更好的基準(zhǔn)測(cè)試結(jié)果。libev API 比較原始,沒有 HTTP 包裝器,但是 libev 支持在實(shí)現(xiàn)中內(nèi)置更多事件類型。例如,一種 evstat 實(shí)現(xiàn)可以監(jiān)視多個(gè)文件的屬性變動(dòng),可以在清單 4 所示的 HTTP 文件解決方案中使用它。
但是,libevent 和 libev 的基本過程是相同的。創(chuàng)建所需的網(wǎng)絡(luò)監(jiān)聽套接字,注冊(cè)在執(zhí)行期間要調(diào)用的事件,然后啟動(dòng)主事件循環(huán),讓 libev 處理過程的其余部分。
例如,可以使用 Ruby 接口按照與清單 1 相似的方式提供回顯服務(wù)器,見 清單 10。
清單 10. 使用 Ruby 接口提供回顯服務(wù)器
| require 'rubygems' require 'rev'PORT = 8081class EchoServerConnection < Rev::TCPSocketdef on_read(data)write 'You said: ' + dataend endserver = Rev::TCPServer.new('192.168.0.22', PORT, EchoServerConnection) server.attach(Rev::Loop.default)puts "Listening on localhost:#{PORT}" Rev::Loop.default.run |
?
Ruby 實(shí)現(xiàn)尤其出色,因?yàn)樗鼮樵S多常用的網(wǎng)絡(luò)解決方案提供了包裝器,包括 HTTP 客戶端、OpenSSL 和 DNS。其他腳本語言實(shí)現(xiàn)包括功能全面的 Perl 和 Python 實(shí)現(xiàn),您可以試一試。
結(jié)束語
libevent 和 libev 都提供靈活且強(qiáng)大的環(huán)境,支持為處理服務(wù)器端或客戶端請(qǐng)求實(shí)現(xiàn)高性能網(wǎng)絡(luò)(和其他 I/O)接口。目標(biāo)是以高效(CPU/RAM 使用量低)的方式支持?jǐn)?shù)千甚至數(shù)萬個(gè)連接。在本文中,您看到了一些示例,包括 libevent 中內(nèi)置的 HTTP 服務(wù),可以使用這些技術(shù)支持基于 IBM Cloud、EC2 或 AJAX 的 web 應(yīng)用程序
總結(jié)
以上是生活随笔為你收集整理的高效并发处理之libevent的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Lighttpd源码分析之状态机与插件
- 下一篇: 处理大并发之四 libevent dem