pythonselect a valied_Python Select 解析
sellect、poll、epoll三者的區(qū)別
一、select
select目前幾乎在所有的平臺(tái)上支持，其良好跨平臺(tái)支持也是它的一個(gè)優(yōu)點(diǎn)，事實(shí)上從現(xiàn)在看來(lái)，這也是它所剩不多的優(yōu)點(diǎn)之一。
select的一個(gè)缺點(diǎn)在于單個(gè)進(jìn)程能夠監(jiān)視的文件描述符的數(shù)量存在最大限制，在Linux上一般為1024，不過(guò)可以通過(guò)修改宏定義甚至重新編譯內(nèi)核的方式提升這一限制。
另外，select()所維護(hù)的存儲(chǔ)大量文件描述符的數(shù)據(jù)結(jié)構(gòu)，隨著文件描述符數(shù)量的增大，其復(fù)制的開銷也線性增長(zhǎng)。同時(shí)，由于網(wǎng)絡(luò)響應(yīng)時(shí)間的延遲使得大量TCP連接處于非活躍狀態(tài)，但調(diào)用select()會(huì)對(duì)所有socket進(jìn)行一次線性掃描，所以這也浪費(fèi)了一定的開銷。
二、poll
poll和select同樣存在一個(gè)缺點(diǎn)就是，包含大量文件描述符的數(shù)組被整體復(fù)制于用戶態(tài)和內(nèi)核的地址空間之間，而不論這些文件描述符是否就緒，它的開銷隨著文件描述符數(shù)量的增加而線性增大。
另外，select()和poll()將就緒的文件描述符告訴進(jìn)程后，如果進(jìn)程沒有對(duì)其進(jìn)行IO操作，那么下次調(diào)用select()和poll()的時(shí)候?qū)⒃俅螆?bào)告這些文件描述符，所以它們一般不會(huì)丟失就緒的消息，這種方式稱為水平觸發(fā)(Level Triggered)。
三、epoll
epoll可以同時(shí)支持水平觸發(fā)和邊緣觸發(fā)(Edge Triggered，只告訴進(jìn)程哪些文件描述符剛剛變?yōu)榫途w狀態(tài)，它只說(shuō)一遍，如果我們沒有采取行動(dòng)，那么它將不會(huì)再次告知，這種方式稱為邊緣觸發(fā))，理論上邊緣觸發(fā)的性能要更高一些，但是代碼實(shí)現(xiàn)相當(dāng)復(fù)雜。
epoll同樣只告知那些就緒的文件描述符，而且當(dāng)我們調(diào)用epoll_wait()獲得就緒文件描述符時(shí)，返回的不是實(shí)際的描述符，而是一個(gè)代表就緒描述符數(shù)量的值，你只需要去epoll指定的一個(gè)數(shù)組中依次取得相應(yīng)數(shù)量的文件描述符即可，這里也使用了內(nèi)存映射(mmap)技術(shù)，這樣便徹底省掉了這些文件描述符在系統(tǒng)調(diào)用時(shí)復(fù)制的開銷。
另一個(gè)本質(zhì)的改進(jìn)在于epoll采用基于事件的就緒通知方式。在select/poll中，進(jìn)程只有在調(diào)用一定的方法后，內(nèi)核才對(duì)所有監(jiān)視的文件描述符進(jìn)行掃描，而epoll事先通過(guò)epoll_ctl()來(lái)注冊(cè)一個(gè)文件描述符，一旦基于某個(gè)文件描述符就緒時(shí)，內(nèi)核會(huì)采用類似callback的回調(diào)機(jī)制，迅速激活這個(gè)文件描述符，當(dāng)進(jìn)程調(diào)用epoll_wait()時(shí)便得到通知。
Python select
Python的select()方法直接調(diào)用操作系統(tǒng)的IO接口，它監(jiān)控sockets,open files, and pipes(所有帶fileno()方法的文件句柄)何時(shí)變成readable 和writeable, 或者通信錯(cuò)誤，select()使得同時(shí)監(jiān)控多個(gè)連接變的簡(jiǎn)單，并且這比寫一個(gè)長(zhǎng)循環(huán)來(lái)等待和監(jiān)控多客戶端連接要高效，因?yàn)閟elect直接通過(guò)操作系統(tǒng)提供的C的網(wǎng)絡(luò)接口進(jìn)行操作，而不是通過(guò)Python的解釋器。
備注：?Using Python’s file objects with select() works for Unix, but is not supported under Windows.
接下來(lái)通過(guò)server例子要以了解select 是如何通過(guò)單進(jìn)程實(shí)現(xiàn)同時(shí)處理多個(gè)非阻塞的socket連接的
#!/usr/bin/env python
#-*- coding:utf-8 -*-
import select,socket,sys,Queue
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.setblocking(0) #設(shè)置非阻塞模式，參數(shù)也可以是False
server_address = ('localhost', 10000)
print('starting up on %s port %s' % server_address)
server.bind(server_address)
# Listen for incoming connections
server.listen(5)
select()方法接收并監(jiān)控3個(gè)通信列表， 第一個(gè)是所有的輸入的data,就是指外部發(fā)過(guò)來(lái)的數(shù)據(jù)，第2個(gè)是監(jiān)控和接收所有要發(fā)出去的data(outgoing data),第3個(gè)監(jiān)控錯(cuò)誤信息，接下來(lái)我們需要?jiǎng)?chuàng)建2個(gè)列表來(lái)包含輸入和輸出信息來(lái)傳給select().
# Sockets from which we expect to read
inputs = [ server ]
# Sockets to which we expect to write
outputs = [ ]
所有客戶端的進(jìn)來(lái)的連接和數(shù)據(jù)將會(huì)被server的主循環(huán)程序放在上面的list中處理，我們現(xiàn)在的server端需要等待連接可寫(writable)之后才能過(guò)來(lái)，然后接收數(shù)據(jù)并返回(因此不是在接收到數(shù)據(jù)之后就立刻返回)，因?yàn)槊總€(gè)連接要把輸入或輸出的數(shù)據(jù)先緩存到queue里，然后再由select取出來(lái)再發(fā)出去。
# Outgoing message queues (socket:Queue)
message_queues = {}
下面是此程序的主循環(huán)，調(diào)用select()時(shí)會(huì)阻塞和等待直到新的連接和數(shù)據(jù)進(jìn)來(lái)
while inputs:
# Wait for at least one of the sockets to be ready for processing
print('waiting for the next event')
readable, writable, exceptional = select.select(inputs, outputs, inputs [,timeout])
當(dāng)你把inputs,outputs,exceptional(這里跟inputs共用)傳給select()后，它返回3個(gè)新的list，我們上面將他們分別賦值為readable,writable,exceptional, 所有在readable list中的socket連接代表有數(shù)據(jù)可接收(recv),所有在writable list中的存放著你可以對(duì)其進(jìn)行發(fā)送(send)操作的socket連接，當(dāng)連接通信出現(xiàn)error時(shí)會(huì)把error寫到exceptional列表中。
readable list 中的socket 可以有3種可能狀態(tài)，第一種是如果這個(gè)socket是main “server” socket,它負(fù)責(zé)監(jiān)聽客戶端的連接，如果這個(gè)main server socket出現(xiàn)在readable里，那代表這是server端已經(jīng)ready來(lái)接收一個(gè)新的連接進(jìn)來(lái)了，為了讓這個(gè)main server能同時(shí)處理多個(gè)連接，在下面的代碼里，我們把這個(gè)main server的socket設(shè)置為非阻塞模式。
# Handle inputs
for s in readable:
if s is server:
# A "readable" server socket is ready to accept a connection
connection, client_address = s.accept()
print('new connection from', client_address)
connection.setblocking(0)
inputs.append(connection)
# Give the connection a queue for data we want to send
message_queues[connection] = Queue.Queue()
第二種情況是這個(gè)socket是已經(jīng)建立了的連接，它把數(shù)據(jù)發(fā)了過(guò)來(lái)，這個(gè)時(shí)候你就可以通過(guò)recv()來(lái)接收它發(fā)過(guò)來(lái)的數(shù)據(jù)，然后把接收到的數(shù)據(jù)放到queue里，這樣你就可以把接收到的數(shù)據(jù)再傳回給客戶端了。
else:
data = s.recv(1024)
if data:
# A readable client socket has data
print('received "%s" from %s' % (data, s.getpeername()))
message_queues[s].put(data)
# Add output channel for response
if s not in outputs:
outputs.append(s)
第三種情況就是這個(gè)客戶端已經(jīng)斷開了，所以你再通過(guò)recv()接收到的數(shù)據(jù)就為空了，所以這個(gè)時(shí)候你就可以把這個(gè)跟客戶端的連接關(guān)閉了。
else:
# Interpret empty result as closed connection
print('closing', client_address, 'after reading no data')
# Stop listening for input on the connection
if s in outputs:
outputs.remove(s) #既然客戶端都斷開了，我就不用再給它返回?cái)?shù)據(jù)了，所以這時(shí)候如果這個(gè)客戶端的連接對(duì)象還在outputs列表中，就把它刪掉
inputs.remove(s) #inputs中也刪除掉
s.close() #把這個(gè)連接關(guān)閉掉
# Remove message queue
del message_queues[s]
對(duì)于writable list中的socket，也有幾種狀態(tài)，如果這個(gè)客戶端連接在跟它對(duì)應(yīng)的queue里有數(shù)據(jù)，就把這個(gè)數(shù)據(jù)取出來(lái)再發(fā)回給這個(gè)客戶端，否則就把這個(gè)連接從output list中移除，這樣下一次循環(huán)select()調(diào)用時(shí)檢測(cè)到outputs list中沒有這個(gè)連接，那就會(huì)認(rèn)為這個(gè)連接還處于非活動(dòng)狀態(tài)
# Handle outputs
for s in writable:
try:
next_msg = message_queues[s].get_nowait()
except Queue.Empty:
# No messages waiting so stop checking for writability.
print >>sys.stderr, 'output queue for', s.getpeername(), 'is empty'
outputs.remove(s)
else:
print >>sys.stderr, 'sending "%s" to %s' % (next_msg, s.getpeername())
s.send(next_msg)
最后，如果在跟某個(gè)socket連接通信過(guò)程中出了錯(cuò)誤，就把這個(gè)連接對(duì)象在inputs\outputs\message_queue中都刪除，再把連接關(guān)閉掉
# Handle "exceptional conditions"
for s in exceptional:
print >>sys.stderr, 'handling exceptional condition for', s.getpeername()
# Stop listening for input on the connection
inputs.remove(s)
if s in outputs:
outputs.remove(s)
s.close()
# Remove message queue
del message_queues[s]
客戶端
這個(gè)是客戶端程序展示了如何通過(guò)select()對(duì)socket進(jìn)行管理并與多個(gè)連接同時(shí)進(jìn)行交互
import socket
import sys
messages = [ 'This is the message. ',
'It will be sent ',
'in parts.',
]
server_address = ('localhost', 10000)
# Create a TCP/IP socket
socks = [ socket.socket(socket.AF_INET, socket.SOCK_STREAM),
socket.socket(socket.AF_INET, socket.SOCK_STREAM),
]
# Connect the socket to the port where the server is listening
print('connecting to %s port %s' % server_address)
for s in socks:
s.connect(server_address)
接下來(lái)通過(guò)循環(huán)通過(guò)每個(gè)socket連接給server發(fā)送和接收數(shù)據(jù)。
for message in messages:
# Send messages on both sockets
for s in socks:
print('%s: sending "%s"' % (s.getsockname(), message))
s.send(message)
# Read responses on both sockets
for s in socks:
data = s.recv(1024)
print('%s: received "%s"' % (s.getsockname(), data))
if not data:
print('closing socket', s.getsockname())
完整代碼
一、服務(wù)器端代碼
#!/usr/bin/env python
#_*_coding:utf-8_*_
#env:python3.x
import select
import socket
import sys
import queue
# Create a TCP/IP socket
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.setblocking(False)
# Bind the socket to the port
server_address = ('localhost', 10000)
print('starting up on %s port %s' % server_address)
server.bind(server_address)
# Listen for incoming connections
server.listen(5)
# Sockets from which we expect to read
inputs = [ server ]
# Sockets to which we expect to write
outputs = [ ]
message_queues = {}
while inputs:
# Wait for at least one of the sockets to be ready for processing
print('\nwaiting for the next event')
readable, writable, exceptional = select.select(inputs, outputs, inputs)
# Handle inputs
for s in readable:
if s is server:
# A "readable" server socket is ready to accept a connection
connection, client_address = s.accept()
print('new connection from', client_address)
connection.setblocking(False)
inputs.append(connection)
# Give the connection a queue for data we want to send
message_queues[connection] = queue.Queue()
else:
data = s.recv(1024)
if data:
# A readable client socket has data
print(sys.stderr, 'received "%s" from %s' % (data, s.getpeername()) )
message_queues[s].put(data)
# Add output channel for response
if s not in outputs:
outputs.append(s)
else:
# Interpret empty result as closed connection
print('closing', client_address, 'after reading no data')
# Stop listening for input on the connection
if s in outputs:
outputs.remove(s) #既然客戶端都斷開了，我就不用再給它返回?cái)?shù)據(jù)了，所以這時(shí)候如果這個(gè)客戶端的連接對(duì)象還在outputs列表中，就把它刪掉
inputs.remove(s) #inputs中也刪除掉
s.close() #把這個(gè)連接關(guān)閉掉
#Remove message queue
del message_queues[s]
# Handle outputs
for s in writable:
try:
next_msg = message_queues[s].get_nowait()
except queue.Empty:
# No messages waiting so stop checking for writability.
print('output queue for', s.getpeername(), 'is empty')
outputs.remove(s)
else:
print( 'sending "%s" to %s' % (next_msg, s.getpeername()))
s.send(next_msg)
# Handle "exceptional conditions"
for s in exceptional:
print('handling exceptional condition for', s.getpeername() )
# Stop listening for input on the connection
inputs.remove(s)
if s in outputs:
outputs.remove(s)
s.close()
# Remove message queue
del message_queues[s]
二、客戶端代碼
#!/usr/bin/env python
#_*_coding:utf-8_*_
import socket
import sys
messages = [ 'This is the message. ',
'It will be sent ',
'in parts.',
]
server_address = ('localhost', 10000)
# Create a TCP/IP socket
socks = [ socket.socket(socket.AF_INET, socket.SOCK_STREAM),
socket.socket(socket.AF_INET, socket.SOCK_STREAM),
]
# Connect the socket to the port where the server is listening
print 'connecting to %s port %s' % server_address
for s in socks:
s.connect(server_address)
for message in messages:
# Send messages on both sockets
for s in socks:
print '%s: sending "%s"' % (s.getsockname(), message)
s.send(message)
# Read responses on both sockets
for s in socks:
data = s.recv(1024)
print('%s: received "%s"' % (s.getsockname(), data))
if not data:
print('closing socket', s.getsockname())
s.close()
總結(jié)
以上是生活随笔為你收集整理的pythonselect a valied_Python Select 解析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 微软Visual Studio 2017
- 下一篇： python导入pandas具体步骤方法