---恢復(fù)內(nèi)容開始---

gevent

1、切換+保存狀態(tài)
2、檢測單線程下任務(wù)的IO，實(shí)現(xiàn)遇到IO自動切換

?

Gevent 是一個第三方庫，可以輕松通過gevent實(shí)現(xiàn)并發(fā)同步或異步編程，在gevent中用到的主要模式是Greenlet, 它是以C擴(kuò)展模塊形式接入Python的輕量級協(xié)程。 Greenlet全部運(yùn)行在主程序操作系統(tǒng)進(jìn)程的內(nèi)部，但它們被協(xié)作式地調(diào)度。

?

#用法 g1=gevent.spawn(func,1,,2,3,x=4,y=5)創(chuàng)建一個協(xié)程對象g1，spawn括號內(nèi)第一個參數(shù)是函數(shù)名，如eat，后面可以有多個參數(shù)
，可以是位置實(shí)參或關(guān)鍵字實(shí)參，都是傳給函數(shù)eat的g2=gevent.spawn(func2)g1.join() #等待g1結(jié)束g2.join() #等待g2結(jié)束#或者上述兩步合作一步：gevent.joinall([g1,g2])g1.value#拿到func1的返回值

遇到IO阻塞時會自動切換任務(wù)

#初識gevent import gevent def task():print('aaa')gevent.sleep(3)# 當(dāng)遇到io 時 不會等，會切到task1,然后執(zhí)行task1的代碼，然后又遇到IC再切回來#回來一看還在睡，然后再切到task1 來回切直到有一個睡醒了就行了print('cccc') def task1():print('aaa')gevent.sleep(2)print('cccc')t1=gevent.spawn(task,) t2=gevent.spawn(task1,) t1.join() t2.join() print('zhu')

上例gevent.sleep(2)模擬的是gevent可以識別的io阻塞,

而time.sleep(2)或其他的阻塞,gevent是不能直接識別的需要用下面一行代碼,打補(bǔ)丁,就可以識別了

from gevent import monkey;monkey.patch_all()必須放到被打補(bǔ)丁者的前面，如time，socket模塊之前

或者我們干脆記憶成：要用gevent，需要將from gevent import monkey;monkey.patch_all()放到文件的開頭

from gevent import monkey,spawn;monkey.patch_all() #這個模塊的引入一定要放在最上邊 #因?yàn)閟ocket from socket import * import time #from threading import Thread def server(ip,cont):server=socket(AF_INET,SOCK_STREAM)server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)server.bind((ip,cont))server.listen(5)while True:print('aaa')time.sleep(0.1)print('bbb')conn,addr=server.accept()# 因?yàn)榻邮艿倪^程中會有IO# （即是accept 在等 wait data 和data copy這兩個過程）#然后就會去切到task 函數(shù) task 函數(shù)如果沒有內(nèi)容就會切回來來回切換#這樣減少了等待，提高了效率，（相當(dāng)與單線程下實(shí)現(xiàn)并發(fā)）spawn(task,conn,) # 實(shí)現(xiàn)了單線程下的并發(fā)，因?yàn)檫@里是新開了一個函數(shù)# 而不是新開了一個線程或者進(jìn)程，所以這樣弄節(jié)省內(nèi)存空間 def task(conn):while True:print('ccc')try:data=conn.recv(1024)if not data:continueconn.send(data.upper())except ConnectionResetError:conn.close()if __name__ == '__main__':server('127.0.0.1',8090) #1 對cpu的占用率過多，但是是無用的占用 #2 在連接數(shù)過多的情況下，不能及時響應(yīng)客戶的的消息 from socket import * import time server=socket(AF_INET,SOCK_STREAM) server.bind(('127.0.0.1',8090)) server.listen(5) server.setblocking(False)#設(shè)置為 conn_l=[] #將conn 加到列表中，讓下一列用 while True:try:conn,addr=server.accept()conn_l.append(conn)print(addr)except BlockingIOError:print('去干其他活兒了',len(conn_l))del_l=[]for conn in conn_l: #在這里用例表中存入的內(nèi)容try:data=conn.recv(1024)if not data:del_l.append(data) #如果是空的放到問題項(xiàng)列表中，continueconn.send(data.upper())except BlockingIOError:passexcept ConnectionResetError:conn.close() #關(guān)閉conn del_l.append(conn)for i in del_l:conn_l.remove(i) #刪除有問題的內(nèi)容。 非阻塞IO模型

?

socketserver模塊

import socketserver class MyTCPHandler(socketserver.BaseRequestHandler):#定義一個類繼承他得使用他的規(guī)則def handle(self): #處理通信的活兒print('=====>',self)#self.request==conn 他們兩個是等價的意思print(self.request) #打印的內(nèi)容為<socket.socket fd=452, family=AddressFamily.AF_INET,# type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8080),# raddr=('127.0.0.1', 63347)> 他是套接字對象，等價于conn 包含recv方法while True:data=self.request.recv(1024)self.request.send(data.upper())if __name__ == '__main__':# socketserver.ForkingTCPServer linux的用這個server=socketserver.ThreadingTCPServer(('127.0.0.1',8080),MyTCPHandler)server.serve_forever()#以上的代碼等價于如下的操作，建立連接，相當(dāng)于把他封裝在了這個對象中# while True:# conn,addr=server.accept()# t=Thread(target=func,args=(conn,))# t.start()

?SocketServer 模塊 ?重要*****

SocketServer內(nèi)部使用 IO多路復(fù)用 以及 “多線程” 和 “多進(jìn)程” ，從而實(shí)現(xiàn)并發(fā)處理多個客戶端請求的Socket服務(wù)端。

#tcp 服務(wù)端
import socketserver class MyTCPHandler(socketserver.BaseRequestHandler):#定義一個類繼承他得使用他的規(guī)則def handle(self): #處理通信的活兒print('=====>',self)#self.request==conn 他們兩個是等價的意思print(self.request) #打印的內(nèi)容為<socket.socket fd=452, family=AddressFamily.AF_INET,# type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8080),# raddr=('127.0.0.1', 63347)> 他是客戶端的套接字對象，等價于conn# 包含recv方法while True:data=self.request.recv(1024)self.request.send(data.upper())if __name__ == '__main__':# socketserver.ForkingTCPServer linux的用這個server=socketserver.ThreadingTCPServer(('127.0.0.1',8080),MyTCPHandler)#？？server.serve_forever() #循環(huán)的建鏈接，#以上的代碼等價于如下的操作，建立連接，相當(dāng)于把他封裝在了這個對象中# while True:# conn,addr=server.accept()# t=Thread(target=func,args=(conn,))# t.start()

?

#UDP服務(wù)端
import socketserver class MyUDPhandler(socketserver.BaseRequestHandler):def handle(self):print(self.request)#(b'ss', <socket.socket fd=408,# family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM,# proto=0, laddr=('127.0.0.1', 8080)>)#打印出來的是一個元祖， 第一個值是收到客戶端發(fā)送的信號，第二個值是#服務(wù)端---套接字對象client_data=self.request[0] #cclient_data 這個格式是固定的，不要改變它self.request[1].sendto(client_data.upper(),self.client_address)#client_address 這個是他自己有的 if __name__ == '__main__':server=socketserver.ThreadingUDPServer(('127.0.0.1',8080),MyUDPhandler)server.serve_forever()

?

I/O多路復(fù)用
Linux中的?select，poll，epoll 都是IO多路復(fù)用的機(jī)制。I/O多路復(fù)用指：通過一種機(jī)制，可以監(jiān)視多個描述符，

一旦某個描述符就緒（一般是讀就緒或者寫就緒），能夠通知程序進(jìn)行相應(yīng)的讀寫操作。

#select 的功能只是監(jiān)測套接字有沒有數(shù)據(jù)，不負(fù)責(zé)取 from socket import * import time import select server=socket(AF_INET,SOCK_STREAM) server.bind(('127.0.0.1',8090)) server.listen(5) server.setblocking(False)#設(shè)置為 read_l=[server,] #初始狀態(tài)加server, 初始狀態(tài)要對這個套接字對象進(jìn)行監(jiān)控， # 當(dāng)不阻塞時（即有客戶端連過來的）select while True:r1,w1,x1=select.select(read_l,[],[])##read_l=[server,conn1,conn2,conn3]# 里邊要傳入三個參數(shù)，# 當(dāng)要用那個的時候傳入對應(yīng)的列表，要監(jiān)控讀時要在第一個# 不用的傳入空列表#r1[]列表中只寸準(zhǔn)備好的套接字#print(r1[0] is server)# r1[0]是一個套接字對象 服務(wù)端for r in r1:#循環(huán)列表，將里邊準(zhǔn)備好的內(nèi)容執(zhí)行，實(shí)現(xiàn)并發(fā)的效果if r is server: #判斷好了的對象是 server 還是connconn,addr=r[0].accept()print(addr)read_l.append(conn)else: #如果是conn就執(zhí)行這些代碼try:data=r.recv(1024)if not data:r.close()read_l.remove(r)r.send(data.upper())except ConnectionResetError:r.close()read_l.remove(r)

?

?

?

　

轉(zhuǎn)載于:https://www.cnblogs.com/wangkun122/p/7994487.html

總結(jié)

以上是生活随笔為你收集整理的day36 python学习gevent io 多路复用 socketserver *****的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。