一、socket的定義

　　Socket是應(yīng)用層與TCP/IP協(xié)議族通信的中間軟件抽象層，它是一組接口。在設(shè)計(jì)模式中，Socket其實(shí)就是一個門面模式，它把復(fù)雜的TCP/IP協(xié)議族隱藏在Socket接口后面，對用戶來說，一組簡單的接口就是全部，讓Socket去組織數(shù)據(jù)，以符合指定的協(xié)議。所以，我們無需深入理解tcp/udp協(xié)議，socket已經(jīng)為我們封裝好了，我們只需要遵循socket的規(guī)定去編程，寫出的程序自然就是遵循tcp/udp標(biāo)準(zhǔn)的。

補(bǔ)充：也有人將socket說成ip+port，ip是用來標(biāo)識互聯(lián)網(wǎng)中的一臺主機(jī)的位置，而port是用來標(biāo)識這臺機(jī)器上的一個應(yīng)用程序，ip地址是配置到網(wǎng)卡上的，而port是應(yīng)用程序開啟的，ip與port的綁定就標(biāo)識了互聯(lián)網(wǎng)中獨(dú)一無二的一個應(yīng)用程序，而程序的pid是同一臺機(jī)器上不同進(jìn)程或者線程的標(biāo)識

二、套接字發(fā)展史及分類

　　套接字起源于 20 世紀(jì) 70 年代加利福尼亞大學(xué)伯克利分校版本的 Unix,即人們所說的 BSD Unix。 因此,有時人們也把套接字稱為“伯克利套接字”或“BSD 套接字”。一開始,套接字被設(shè)計(jì)用在同 一臺主機(jī)上多個應(yīng)用程序之間的通訊。這也被稱進(jìn)程間通訊,或 IPC。套接字有兩種（或者稱為有兩個種族）,分別是基于文件型的和基于網(wǎng)絡(luò)型的。?

• 基于文件類型的套接字家族

套接字家族的名字：AF_UNIX

unix一切皆文件，基于文件的套接字調(diào)用的就是底層的文件系統(tǒng)來取數(shù)據(jù)，兩個套接字進(jìn)程運(yùn)行在同一機(jī)器，可以通過訪問同一個文件系統(tǒng)間接完成通信

• 基于網(wǎng)絡(luò)類型的套接字家族

套接字家族的名字：AF_INET

(還有AF_INET6被用于ipv6，還有一些其他的地址家族，不過，他們要么是只用于某個平臺，要么就是已經(jīng)被廢棄，或者是很少被使用，或者是根本沒有實(shí)現(xiàn)，所有地址家族中，AF_INET是使用最廣泛的一個，python支持很多種地址家族，但是由于我們只關(guān)心網(wǎng)絡(luò)編程，所以大部分時候我么只使用AF_INET)

三、套接字的工作流程

? 　　一個生活中的場景。你要打電話給一個朋友，先撥號，朋友聽到電話鈴聲后提起電話，這時你和你的朋友就建立起了連接，就可以講話了。等交流結(jié)束，掛斷電話結(jié)束此次交談。

生活中的場景就解釋了套接字的工作原理

先從服務(wù)器端說起。服務(wù)器端先初始化Socket，然后與端口綁定(bind)，對端口進(jìn)行監(jiān)聽(listen)，調(diào)用accept阻塞，等待客戶端連接。在這時如果有個客戶端初始化一個Socket，然后連接服務(wù)器(connect)，如果連接成功，這時客戶端與服務(wù)器端的連接就建立了。客戶端發(fā)送數(shù)據(jù)請求，服務(wù)器端接收請求并處理請求，然后把回應(yīng)數(shù)據(jù)發(fā)送給客戶端，客戶端讀取數(shù)據(jù)，最后關(guān)閉連接，一次交互結(jié)束。

?

四、socket函數(shù)使用

• socket函數(shù)用法

import socket socket.socket(socket_family,socket_type,protocal=0) #socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默認(rèn)值為 0。#獲取tcp/ip套接字 tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)#獲取udp/ip套接字 udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)#由于 socket 模塊中有太多的屬性。我們在這里破例使用了'from module import *'語句。使用 'from socket import *',我們就把 socket 模塊里的所有屬性都帶到我們的命名空間里了,這樣能 大幅減短我們的代碼。 #例如tcpSock = socket(AF_INET, SOCK_STREAM)

• 服務(wù)端套接字函數(shù)

s.bind() #綁定(主機(jī),端口號)到套接字 s.listen() #開始TCP監(jiān)聽 s.accept() #被動接受TCP客戶的連接,(阻塞式)等待連接的到來

• 客戶端套接字函數(shù)

s.connect() #主動初始化TCP服務(wù)器連接 s.connect_ex() #connect()函數(shù)的擴(kuò)展版本,出錯時返回出錯碼,而不是拋出異常

• 公共用途的套接字函數(shù)

s.recv() #接收TCP數(shù)據(jù) s.send() #發(fā)送TCP數(shù)據(jù)(send在待發(fā)送數(shù)據(jù)量大于己端緩存區(qū)剩余空間時,數(shù)據(jù)丟失,不會發(fā)完) s.sendall() #發(fā)送完整的TCP數(shù)據(jù)(本質(zhì)就是循環(huán)調(diào)用send,sendall在待發(fā)送數(shù)據(jù)量大于己端緩存區(qū)剩余空間時,數(shù)據(jù)不丟失,循環(huán)調(diào)用send直到發(fā)完) s.recvfrom() #接收UDP數(shù)據(jù) s.sendto() #發(fā)送UDP數(shù)據(jù) s.getpeername() #連接到當(dāng)前套接字的遠(yuǎn)端的地址 s.getsockname() #當(dāng)前套接字的地址 s.getsockopt() #返回指定套接字的參數(shù) s.setsockopt() #設(shè)置指定套接字的參數(shù) s.close() #關(guān)閉套接字

• 面向鎖的套接字方法

s.setblocking() #設(shè)置套接字的阻塞與非阻塞模式 s.settimeout() #設(shè)置阻塞套接字操作的超時時間 s.gettimeout() #得到阻塞套接字操作的超時時間

• 面向文件的套接字方法

s.fileno() #套接字的文件描述符 s.makefile() #創(chuàng)建一個與該套接字相關(guān)的文件

?

打電話的流程演示

服務(wù)端.py

import socket phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買手機(jī) phone.bind(('127.0.0.1',8080)) #插電話卡phone.listen(5) #開機(jī)，backlogprint('starting....') conn,addr=phone.accept() #接電話 print(conn) print('client addr',addr) print('ready to read msg') client_msg=conn.recv(1024) #收消息 print('client msg: %s' %client_msg) conn.send(client_msg.upper()) #發(fā)消息conn.close() phone.close()

客戶端.py

import socket phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.connect(('127.0.0.1',8080)) #撥通電話phone.send('hello'.encode('utf-8')) #發(fā)消息back_msg=phone.recv(1024) print(back_msg)phone.close()

輸出

服務(wù)端：

starting.... <socket.socket fd=4, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8080), raddr=('127.0.0.1', 65142)> client addr ('127.0.0.1', 65142) ready to read msg client msg: b'hello'

客戶端

b'HELLO'

?

五、基于TCP的套接字

• tcp服務(wù)端?

ss = socket() #創(chuàng)建服務(wù)器套接字 ss.bind() #把地址綁定到套接字 ss.listen() #監(jiān)聽鏈接 inf_loop: #服務(wù)器無限循環(huán)cs = ss.accept() #接受客戶端鏈接comm_loop: #通訊循環(huán)cs.recv()/cs.send() #對話(接收與發(fā)送)cs.close() #關(guān)閉客戶端套接字 ss.close() #關(guān)閉服務(wù)器套接字(可選)

• tcp客戶端

cs = socket() # 創(chuàng)建客戶套接字 cs.connect() # 嘗試連接服務(wù)器 comm_loop: # 通訊循環(huán)cs.send()/cs.recv() # 對話(發(fā)送/接收) cs.close() # 關(guān)閉客戶套接字

socket通信流程與打電話流程類似，我們就以打電話為例來實(shí)現(xiàn)一個low版的套接字通信

服務(wù)端

import socket ip_port=('127.0.0.1',9000) #電話卡 BUFSIZE=1024 #收發(fā)消息的尺寸 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買手機(jī) s.bind(ip_port) #手機(jī)插卡 s.listen(5) #手機(jī)待機(jī)conn,addr=s.accept() #手機(jī)接電話 # print(conn) # print(addr) print('接到來自%s的電話' %addr[0])msg=conn.recv(BUFSIZE) #聽消息,聽話 print(msg,type(msg))conn.send(msg.upper()) #發(fā)消息,說話conn.close() #掛電話s.close() #手機(jī)關(guān)機(jī)

客戶端

import socket ip_port=('127.0.0.1',9000) BUFSIZE=1024 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.connect_ex(ip_port) #撥電話s.send('nitouxiang nb'.encode('utf-8')) #發(fā)消息,說話(只能發(fā)送字節(jié)類型)feedback=s.recv(BUFSIZE) #收消息,聽話 print(feedback.decode('utf-8'))s.close() #掛電話

輸出

服務(wù)端

接到來自127.0.0.1的電話 b'nitouxiang nb' <class 'bytes'>

客戶端

NITOUXIANG NB

?

上述流程的問題是，服務(wù)端只能接受一次鏈接，然后就徹底關(guān)閉掉了，實(shí)際情況應(yīng)該是，服務(wù)端不斷接受鏈接，然后循環(huán)通信，通信完畢后只關(guān)閉鏈接，服務(wù)器能夠繼續(xù)接收下一次鏈接，下面是修改版

?服務(wù)端

import socket ip_port = ('127.0.0.1',8081) #電話卡 BUFSIZE=1024 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #買手機(jī) s.bind(ip_port) #手機(jī)插卡 s.listen(5) #手機(jī)待機(jī)while True: #新增接收鏈接循環(huán),可以不停的接電話conn,addr=s.accept() #手機(jī)接電話print('接到來自%s的電話' %addr[0])while True: ##新增通信循環(huán),可以不斷的通信,收發(fā)消息msg=conn.recv(BUFSIZE) #聽消息,聽話if len(msg) == 0:break #如果不加,那么正在鏈接的客戶端突然斷開,recv便不再阻塞,死循環(huán)發(fā)生print(msg,type(msg))conn.send(msg.upper()) #發(fā)消息,說話conn.close() #掛電話 s.close() #手機(jī)關(guān)機(jī)

客戶端

import socket ip_port=('127.0.0.1',8081) BUFSIZE=1024 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.connect_ex(ip_port) #撥電話while True: #新增通信循環(huán),客戶端可以不斷發(fā)收消息msg=input('>>: ').strip()if len(msg) == 0:continues.send(msg.encode('utf-8')) #發(fā)消息,說話(只能發(fā)送字節(jié)類型)feedback=s.recv(BUFSIZE) #收消息,聽話print(feedback.decode('utf-8'))s.close() #掛電話

補(bǔ)充：

在重啟服務(wù)端時可能會遇到

這個是由于你的服務(wù)端仍然存在四次揮手的time_wait狀態(tài)在占用地址（如果不懂，請深入研究1.tcp三次握手，四次揮手 2.syn洪水攻擊 3.服務(wù)器高并發(fā)情況下會有大量的time_wait狀態(tài)的優(yōu)化方法）

解決辦法

方法一

#加入一條socket配置，重用ip和端口phone=socket(AF_INET,SOCK_STREAM) phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它，在bind前加 phone.bind(('127.0.0.1',8080))

方法二

發(fā)現(xiàn)系統(tǒng)存在大量TIME_WAIT狀態(tài)的連接，通過調(diào)整linux內(nèi)核參數(shù)解決， vi /etc/sysctl.conf編輯文件，加入以下內(nèi)容： net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 30然后執(zhí)行 /sbin/sysctl -p 讓參數(shù)生效。net.ipv4.tcp_syncookies = 1 表示開啟SYN Cookies。當(dāng)出現(xiàn)SYN等待隊(duì)列溢出時，啟用cookies來處理，可防范少量SYN攻擊，默認(rèn)為0，表示關(guān)閉；net.ipv4.tcp_tw_reuse = 1 表示開啟重用。允許將TIME-WAIT sockets重新用于新的TCP連接，默認(rèn)為0，表示關(guān)閉；net.ipv4.tcp_tw_recycle = 1 表示開啟TCP連接中TIME-WAIT sockets的快速回收，默認(rèn)為0，表示關(guān)閉。net.ipv4.tcp_fin_timeout 修改系統(tǒng)默認(rèn)的 TIMEOUT 時間

六、基于UDP的套接字

• udp服務(wù)端

ss = socket() #創(chuàng)建一個服務(wù)器的套接字 ss.bind() #綁定服務(wù)器套接字 inf_loop: #服務(wù)器無限循環(huán)cs = ss.recvfrom()/ss.sendto() # 對話(接收與發(fā)送) ss.close() # 關(guān)閉服務(wù)器套接字

• udp客戶端

cs = socket() # 創(chuàng)建客戶套接字 comm_loop: # 通訊循環(huán)cs.sendto()/cs.recvfrom() # 對話(發(fā)送/接收) cs.close() # 關(guān)閉客戶套接字

示例

服務(wù)端

import socket ip_port=('127.0.0.1',9000) BUFSIZE=1024 udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)udp_server_client.bind(ip_port)while True:msg,addr=udp_server_client.recvfrom(BUFSIZE)print(msg,addr)udp_server_client.sendto(msg.upper(),addr)

客戶端

import socket ip_port=('127.0.0.1',9000) BUFSIZE=1024 udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)while True:msg=input('>>: ').strip()if not msg:continueudp_server_client.sendto(msg.encode('utf-8'),ip_port)back_msg,addr=udp_server_client.recvfrom(BUFSIZE)print(back_msg.decode('utf-8'),addr)

輸出

客戶端

>>: 123 123 ('127.0.0.1', 9000) >>: 3 3 ('127.0.0.1', 9000) >>: 4 4 ('127.0.0.1', 9000)

服務(wù)端

b'123' ('127.0.0.1', 53066) b'3' ('127.0.0.1', 53066) b'4' ('127.0.0.1', 53066)

?

模擬QQ聊天，多個客戶端和服務(wù)端通信

服務(wù)端

import socket ip_port=('127.0.0.1',8081) udp_server_sock=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) #買手機(jī) udp_server_sock.bind(ip_port)while True:qq_msg,addr=udp_server_sock.recvfrom(1024)print('來自[%s:%s]的一條消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],qq_msg.decode('utf-8')))back_msg=input('回復(fù)消息: ').strip()udp_server_sock.sendto(back_msg.encode('utf-8'),addr)

客戶端1

import socket BUFSIZE=1024 udp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)qq_name_dic={'TOM':('127.0.0.1',8081),'JACK':('127.0.0.1',8081),'一棵樹':('127.0.0.1',8081),'武大郎':('127.0.0.1',8081), }while True:qq_name=input('請選擇聊天對象: ').strip()while True:msg=input('請輸入消息,回車發(fā)送: ').strip()if msg == 'quit':breakif not msg or not qq_name or qq_name not in qq_name_dic:continueudp_client_socket.sendto(msg.encode('utf-8'),qq_name_dic[qq_name])back_msg,addr=udp_client_socket.recvfrom(BUFSIZE)print('來自[%s:%s]的一條消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],back_msg.decode('utf-8')))udp_client_socket.close()

客戶端2

import socket BUFSIZE=1024 udp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)qq_name_dic={'TOM':('127.0.0.1',8081),'JACK':('127.0.0.1',8081),'一棵樹':('127.0.0.1',8081),'武大郎':('127.0.0.1',8081), }while True:qq_name=input('請選擇聊天對象: ').strip()while True:msg=input('請輸入消息,回車發(fā)送: ').strip()if msg == 'quit':breakif not msg or not qq_name or qq_name not in qq_name_dic:continueudp_client_socket.sendto(msg.encode('utf-8'),qq_name_dic[qq_name])back_msg,addr=udp_client_socket.recvfrom(BUFSIZE)print('來自[%s:%s]的一條消息:\033[1;44m%s\033[0m' %(addr[0],addr[1],back_msg.decode('utf-8')))udp_client_socket.close()

輸出

客戶端1

請選擇聊天對象: JACK 請輸入消息,回車發(fā)送: 約不 來自[127.0.0.1:8081]的一條消息:不約 請輸入消息,回車發(fā)送:

客戶端2

請選擇聊天對象: TOM 請輸入消息,回車發(fā)送: 123 來自[127.0.0.1:8081]的一條消息:321 請輸入消息,回車發(fā)送:

服務(wù)端

來自[127.0.0.1:62851]的一條消息:123 回復(fù)消息: 321 來自[127.0.0.1:60378]的一條消息:約不 回復(fù)消息: 不約

?

七、recv與recvfrom

發(fā)消息，都是將數(shù)據(jù)發(fā)送到己端的發(fā)送緩沖中，收消息都是從己端的緩沖區(qū)中收。

• tcp：send發(fā)消息，recv收消息
• udp：sendto發(fā)消息，recvfrom收消息

?1.send與sendinto

tcp是基于數(shù)據(jù)流的，而udp是基于數(shù)據(jù)報(bào)的：

• send(bytes_data):發(fā)送數(shù)據(jù)流，數(shù)據(jù)流bytes_data若為空，自己這段的緩沖區(qū)也為空，操作系統(tǒng)不會控制tcp協(xié)議發(fā)空包
• sendinto(bytes_data,ip_port)：發(fā)送數(shù)據(jù)報(bào)，bytes_data為空，還有ip_port,所有即便是發(fā)送空的bytes_data,數(shù)據(jù)報(bào)其實(shí)也不是空的，自己這端的緩沖區(qū)收到內(nèi)容，操作系統(tǒng)就會控制udp協(xié)議發(fā)包。

?

2.recv與recvfrom

tcp協(xié)議：

（1）如果收消息緩沖區(qū)里的數(shù)據(jù)為空，那么recv就會阻塞（阻塞很簡單，就是一直在等著收）

（2）只不過tcp協(xié)議的客戶端send一個空數(shù)據(jù)就是真的空數(shù)據(jù)，客戶端即使有無窮個send空，也跟沒有一個樣。

（3）tcp基于鏈接通信

• 基于鏈接，則需要listen（backlog），指定半連接池的大小
• 基于鏈接，必須先運(yùn)行的服務(wù)端，然后客戶端發(fā)起鏈接請求
• 對于mac系統(tǒng)：如果一端斷開了鏈接，那另外一端的鏈接也跟著完蛋recv將不會阻塞，收到的是空(解決方法是：服務(wù)端在收消息后加上if判斷，空消息就break掉通信循環(huán))
• 對于windows/linux系統(tǒng)：如果一端斷開了鏈接，那另外一端的鏈接也跟著完蛋recv將不會阻塞，收到的是空(解決方法是：服務(wù)端通信循環(huán)內(nèi)加異常處理，捕捉到異常后就break掉通訊循環(huán))

?

udp協(xié)議

（1）如果如果收消息緩沖區(qū)里的數(shù)據(jù)為“空”，recvfrom也會阻塞

（2）只不過udp協(xié)議的客戶端sendinto一個空數(shù)據(jù)并不是真的空數(shù)據(jù)（包含：空數(shù)據(jù)+地址信息，得到的報(bào)仍然不會為空），所以客戶端只要有一個sendinto（不管是否發(fā)送空數(shù)據(jù)，都不是真的空數(shù)據(jù)），服務(wù)端就可以recvfrom到數(shù)據(jù)。

（3）udp無鏈接

• 無鏈接，因而無需listen（backlog），更加沒有什么連接池之說了
• 無鏈接，udp的sendinto不用管是否有一個正在運(yùn)行的服務(wù)端，可以己端一個勁的發(fā)消息，只不過數(shù)據(jù)丟失
• recvfrom收的數(shù)據(jù)小于sendinto發(fā)送的數(shù)據(jù)時，在mac和linux系統(tǒng)上數(shù)據(jù)直接丟失，在windows系統(tǒng)上發(fā)送的比接收的大直接報(bào)錯
• 只有sendinto發(fā)送數(shù)據(jù)沒有recvfrom收數(shù)據(jù)，數(shù)據(jù)丟失?

注意：

1.你單獨(dú)運(yùn)行上面的udp的客戶端，你發(fā)現(xiàn)并不會報(bào)錯，相反tcp卻會報(bào)錯，因?yàn)閡dp協(xié)議只負(fù)責(zé)把包發(fā)出去，對方收不收，我根本不管，而tcp是基于鏈接的，必須有一個服務(wù)端先運(yùn)行著，客戶端去跟服務(wù)端建立鏈接然后依托于鏈接才能傳遞消息，任何一方試圖把鏈接摧毀都會導(dǎo)致對方程序的崩潰。

2.上面的udp程序，你注釋任何一條客戶端的sendinto，服務(wù)端都會卡住，為什么？因?yàn)榉?wù)端有幾個recvfrom就要對應(yīng)幾個sendinto，哪怕是sendinto(b'')那也要有。

?

基于tcp先制作一個遠(yuǎn)程執(zhí)行命令的程序（1：執(zhí)行錯誤命令 2：執(zhí)行l(wèi)s 3：執(zhí)行ifconfig）

客戶端

import socket BUFSIZE=1024 ip_port=('127.0.0.1',8080)s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(ip_port)while True:msg=input('>>: ').strip()if len(msg) == 0:continueif msg == 'quit':breaks.send(msg.encode('utf-8'))act_res=s.recv(BUFSIZE)print(act_res.decode('utf-8'),end='')

服務(wù)端

from socket import * import subprocessip_port=('127.0.0.1',8080) BUFSIZE=1024tcp_socket_server=socket(AF_INET,SOCK_STREAM) tcp_socket_server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) tcp_socket_server.bind(ip_port) tcp_socket_server.listen(5)while True:conn,addr=tcp_socket_server.accept()print('客戶端',addr)while True:cmd=conn.recv(BUFSIZE)if len(cmd) == 0:breakres=subprocess.Popen(cmd.decode('utf-8'),shell=True,stdout=subprocess.PIPE,stdin=subprocess.PIPE,stderr=subprocess.PIPE)stderr=res.stderr.read()stdout=res.stdout.read()conn.send(stderr)conn.send(stdout)

輸出

客戶端

>>: ls 1.py 客戶端.py 客戶端1.py 客戶端2.py 服務(wù)端.py >>: ifconfig en0 en0: flags=8863<UP,BROADCAST,SMART,RUNNING,SIMPLEX,MULTICAST> mtu 1500ether 78:4f:43:5b:a5:4c inet6 fe80::d0:d821:dbf0:3d67%en0 prefixlen 64 secured scopeid 0x5 inet 192.168.31.165 netmask 0xffffff00 broadcast 192.168.31.255nd6 options=201<PERFORMNUD,DAD>media: autoselectstatus: active >>: ifconfig lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384options=1203<RXCSUM,TXCSUM,TXSTATUS,SW_TIMESTAMP>inet 127.0.0.1 netmask 0xff000000 inet6 ::1 prefixlen 128 inet6 fe80::1%lo0 prefixlen 64 scopeid 0x1 nd6 options=201<PERFORMNUD,DAD> gif0: flags=8010<POINTOPOINT,MULTICAST> mtu 1280 stf0: flags=0<> mtu 1280 en0: flags=8863<UP,BROADCAST,SMART,RUNNING,SIMPLEX,MULTICAST> mtu 1500ether 78:4f:43:5b:a5:4c inet6 fe80::d0:d821:dbf0:3d67%en0 prefixlen 64 secured scopeid 0x5 inet 192.168.31.165 netmask 0xffffff00 broadcast 192.168.31.255nd6 options=201<PERFORMNUD,DAD>media: autoselectstatus: active en1: flags=963<UP,BROADCAST,SMART,RUNNING,PROMISC,SIMPLEX> mtu 1500options=60<TSO4,TSO6>ether e2:00:ec:98:eb:00 media: autoselect <full-duplex>status: inactive en3: flags=963<UP,BROADCAST,SMART,RUNNING,PROMISC,SIMPLEX> mtu 1500options=60<TSO4,TSO6>ether e2:00:ec:98:eb:01 media: autoselect <full-duplex>status: inactive en2: flags=963<UP,BROADCAST,SMART,RUNNING,PROMISC,SIMPLEX> mtu 1500>>: >>:

服務(wù)端

客戶端 ('127.0.0.1', 58194)

上述程序是基于tcp的socket，在運(yùn)行時會發(fā)生粘包

?

服務(wù)端

from socket import * import subprocessip_port=('127.0.0.1',9003) bufsize=1024udp_server=socket(AF_INET,SOCK_DGRAM) udp_server.bind(ip_port)while True:#收消息cmd,addr=udp_server.recvfrom(bufsize)print('用戶命令----->',cmd)#邏輯處理res=subprocess.Popen(cmd.decode('utf-8'),shell=True,stderr=subprocess.PIPE,stdin=subprocess.PIPE,stdout=subprocess.PIPE)stderr=res.stderr.read()stdout=res.stdout.read()#發(fā)消息udp_server.sendto(stderr,addr)udp_server.sendto(stdout,addr) udp_server.close()

客戶端

from socket import * ip_port=('127.0.0.1',9003) bufsize=1024udp_client=socket(AF_INET,SOCK_DGRAM)while True:msg=input('>>: ').strip()udp_client.sendto(msg.encode('utf-8'),ip_port)data,addr=udp_client.recvfrom(bufsize)print(data.decode('utf-8'),end='')

上述程序是基于udp的socket，在運(yùn)行時永遠(yuǎn)不會發(fā)生粘包

?

注意注意注意：

res=subprocess.Popen(cmd.decode('utf-8'),
shell=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)

的結(jié)果的編碼是以當(dāng)前所在的系統(tǒng)為準(zhǔn)的，如果是windows，那么res.stdout.read()讀出的就是GBK編碼的，在接收端需要用GBK解碼且只能從管道里讀一次結(jié)果

?

八、粘包

1.什么是粘包

粘包：發(fā)送方發(fā)送兩個字符串”hello”+”world”，接收方卻一次性接收到了”helloworld”。

只有TCP有粘包現(xiàn)象，UDP永遠(yuǎn)不會粘包。

所謂粘包問題主要還是因?yàn)榻邮辗讲恢老⒅g的界限，不知道一次性提取多少字節(jié)的數(shù)據(jù)所造成的。

補(bǔ)充：

分包：發(fā)送方發(fā)送字符串”helloworld”，接收方卻接收到了兩個字符串”hello”和”world”。

TCP是以段（Segment）為單位發(fā)送數(shù)據(jù)的，建立TCP鏈接后，有一個最大消息長度（MSS）。如果應(yīng)用層數(shù)據(jù)包超過MSS，就會把應(yīng)用層數(shù)據(jù)包拆分，分成兩個段來發(fā)送。這個時候接收端的應(yīng)用層就要拼接這兩個TCP包，才能正確處理數(shù)據(jù)。

補(bǔ)充：

一個socket收發(fā)消息的原理

2.粘包如何產(chǎn)生

TCP為了提高網(wǎng)絡(luò)的利用率，會使用一個叫做Nagle的算法。該算法是指，發(fā)送端即使有要發(fā)送的數(shù)據(jù)，如果很少的話，會延遲發(fā)送。如果應(yīng)用層給TCP傳送數(shù)據(jù)很快的話，就會把兩個應(yīng)用層數(shù)據(jù)包“粘”在一起，TCP最后只發(fā)一個TCP數(shù)據(jù)包給接收端。

tcp的協(xié)議數(shù)據(jù)不會丟，沒有收完包，下次接收，會繼續(xù)上次繼續(xù)接收，己端總是在收到ack時才會清除緩沖區(qū)內(nèi)容。數(shù)據(jù)是可靠的，但是會粘包。

?

反送方：

當(dāng)應(yīng)用程序調(diào)用send函數(shù)時，應(yīng)用程序會將數(shù)據(jù)從應(yīng)用程序拷貝到操作系統(tǒng)緩存，再由操作系統(tǒng)從緩沖區(qū)讀取數(shù)據(jù)并發(fā)送出去

接收方：

對方計(jì)算機(jī)收到數(shù)據(jù)也是操作系統(tǒng)先收到，至于應(yīng)用程序何時處理這些數(shù)據(jù)，操作系統(tǒng)并不清楚，所以同樣需要將數(shù)據(jù)先存儲到操作系統(tǒng)的緩沖區(qū)中，當(dāng)應(yīng)用程序調(diào)用recv時，實(shí)際上是從操作系統(tǒng)緩沖區(qū)中將數(shù)據(jù)拷貝到應(yīng)用程序的過程

上述過程對于TCP與UDP都是相同的不同之處在于：

UDP：

UDP在收發(fā)數(shù)據(jù)時是基于數(shù)據(jù)包的，即一個包一個包的發(fā)送，包與包之間有著明確的分界，到達(dá)對方操作系統(tǒng)緩沖區(qū)后也是一個一個獨(dú)立的數(shù)據(jù)包，接收方從操作系統(tǒng)緩沖區(qū)中將數(shù)據(jù)包拷貝到應(yīng)用程序

這種方式存在的問題：

發(fā)送方發(fā)送的數(shù)據(jù)長度每個操作系統(tǒng)會有不同的限制，數(shù)據(jù)超過限制則無法發(fā)送

接收方接收數(shù)據(jù)時如果應(yīng)用程序的提供的緩存容量小于數(shù)據(jù)包的長度將造成數(shù)據(jù)丟失，而緩沖區(qū)大小不可能無限大

TCP：

當(dāng)我們需要傳輸較大的數(shù)據(jù)，或需要保證數(shù)據(jù)完整性時，最簡單的方式就是使用TCP協(xié)議了，與UDP不同的是，TCP增加了一套校驗(yàn)規(guī)則來保證數(shù)據(jù)的完整性，會將超過TCP包最大長度的數(shù)據(jù)拆分為多個TCP包，并在傳輸數(shù)據(jù)時為每一個TCP數(shù)據(jù)包指定一個順序號，接收方在收到TCP數(shù)據(jù)包后按照順序?qū)?shù)據(jù)包進(jìn)行重組，重組后的數(shù)據(jù)全都是二進(jìn)制數(shù)據(jù)，且每次收到的二進(jìn)制數(shù)據(jù)之間沒有明顯的分界

基于這種工作機(jī)制TCP在三種情況下會發(fā)送粘包問題

當(dāng)單個數(shù)據(jù)包較小時接收方可能一次性讀取了多個包的數(shù)據(jù)

當(dāng)整體數(shù)據(jù)較大時接收方可能一次僅讀取了一個包的一部分內(nèi)容

另外TCP協(xié)議為了提高效率，增加了一種優(yōu)化機(jī)制，會將數(shù)據(jù)較小且發(fā)送間隔較短的數(shù)據(jù)合并發(fā)送，該機(jī)制也會導(dǎo)致發(fā)送方將兩個數(shù)據(jù)包粘在一起發(fā)送

基礎(chǔ)解決方案：

首先明確只有TCP會出現(xiàn)粘包問題，之所以粘包是因?yàn)榻邮辗讲恢酪淮卧摻邮盏臄?shù)據(jù)長度，那如何才能讓接收方知道數(shù)據(jù)的長度呢？

解決方案：在發(fā)送數(shù)據(jù)前先發(fā)送數(shù)據(jù)長度

cmd 服務(wù)端：

import socket import subprocess import struct server = socket.socket() server.bind(("127.0.0.1",9090)) server.listen()while True:client,addr = server.accept()while True:try:#接收客戶端命令cmd = client.recv(1024).decode("utf-8")p = subprocess.Popen(cmd,shell=True,stdout=-1,stderr=-1)# data與err_data都是采用的系統(tǒng)編碼，windows是GBKdata = p.stdout.read()err_data = p.stderr.read()print("數(shù)據(jù)長度:%s" % (len(data) + len(err_data)))#計(jì)算數(shù)據(jù)長度length = len(data) + len(err_data)#將int類型的長度轉(zhuǎn)成字節(jié)len_data = struct.pack("i",length)# 先發(fā)送長度，在發(fā)真實(shí)數(shù)據(jù)有可能長度數(shù)據(jù)和真實(shí)數(shù)據(jù)黏在一起，而接收方不知道長度數(shù)據(jù)的字節(jié)數(shù) 導(dǎo)致黏包# 解決的方案就是 長度信息占的字節(jié)數(shù)固定死 整數(shù) 轉(zhuǎn)成一個固定長度字節(jié)# 先發(fā)送長度給客戶端 client.send(len_data)# 再發(fā)送數(shù)據(jù)給客戶端client.send(data)client.send(err_data)except ConnectionResetError:client.close()print("連接中斷......")break

cmd 客戶端：

import socket import structc = socket.socket() c.connect(("127.0.0.1",9090)) while True:cmd = input(">>:").strip()c.send(cmd.encode("utf-8"))# 先接收長度，長度固定為4個字節(jié)length = c.recv(4)# 轉(zhuǎn)換為整型len_data = struct.unpack("i",length)[0] print("數(shù)據(jù)長度為%s" % len_data)# 存儲已接收數(shù)據(jù)all_data = b"" # 已接收長度rcv_size = 0# 循環(huán)接收直到接收到的長度等于總長度while rcv_size < len_data:data = c.recv(1024)rcv_size += len(data)all_data += dataprint("接收長度%s" % rcv_size)print(all_data.decode("gbk"))

上述方案已經(jīng)完美解決了粘包問題，但是擴(kuò)展性不高，例如我們要實(shí)現(xiàn)文件上傳下載，不光要傳輸文件數(shù)據(jù)，還需要傳輸文件名字，md5值等等，如何能實(shí)現(xiàn)呢？

解決方案：

發(fā)送端：

先將所有的額外信息打包到一個頭中

然后先發(fā)送頭部數(shù)據(jù)

最后發(fā)送真實(shí)數(shù)據(jù)

接收端：

接收固定長度的頭部長度數(shù)據(jù)

根據(jù)長度數(shù)據(jù)獲取頭部數(shù)據(jù)

根據(jù)頭部數(shù)據(jù)獲取真實(shí)數(shù)據(jù)

cmd 服務(wù)端：

# 要求：不僅返回命令的結(jié)果 還要返回執(zhí)行命令的時間 執(zhí)行時間:2018/12/26 import socket import subprocess import struct import datetime import jsonserver = socket.socket() server.bind(("127.0.0.1",9090)) server.listen()while True:client,addr = server.accept()while True:try:# 接收命令cmd = client.recv(1024).decode("utf-8")p = subprocess.Popen(cmd,shell=True,stdout=-1,stderr=-1)# data與err_data都是采用的系統(tǒng)編碼，windows是GBKdata = p.stdout.read()err_data = p.stderr.read()print("數(shù)據(jù)長度:%s" % (len(data) + len(err_data)))# 計(jì)算真實(shí)數(shù)據(jù)長度length = len(data) + len(err_data)# 在發(fā)送數(shù)據(jù)之前發(fā)送額外的信息#t = "{執(zhí)行時間:%s 真實(shí)數(shù)據(jù)長度:%s" % (datetime.datetime.now(),length)# 把要發(fā)送的數(shù)據(jù)先存到字典中t = {}t["time"] = str(datetime.datetime.now())t["size"] = lengtht["filename"] = "a.mp4"t_json = json.dumps(t) # 得到j(luò)son格式字符串t_data = t_json.encode("utf-8") # 將json轉(zhuǎn)成了字節(jié)t_length = struct.pack("i",len(t_data))# 1.先發(fā)送額外信息的長度client.send(t_length)# 2.發(fā)送額外信息client.send(t_data)# 3.發(fā)送真實(shí)數(shù)據(jù)client.send(data)client.send(err_data)except ConnectionResetError:client.close()print("連接中斷......")break# 1.發(fā)送了真實(shí)數(shù)據(jù)長度 2.發(fā)送了額外信息長度 3.發(fā)送額外信息 4.發(fā)送真實(shí)數(shù)據(jù)

cmd 客戶端：

import socket import struct import jsonc = socket.socket() c.connect(("127.0.0.1",9090)) while True:cmd = input(">>>:")if not cmd:print("命令不能為空")continuec.send(cmd.encode("utf-8"))# 1.接收的是額外信息的長度length = c.recv(4)len_data = struct.unpack("i",length)[0] # 轉(zhuǎn)換為整型# 2.接收額外信息t_data = c.recv(len_data)print(t_data.decode("utf-8"))json_dic = json.loads(t_data.decode("utf-8"))print("執(zhí)行時間:%s" % json_dic["time"])data_size = json_dic["size"] # 得到數(shù)據(jù)長度all_data = b"" # 存儲已接收數(shù)據(jù)rcv_size = 0 # 已接收長度# 接收真實(shí)數(shù)據(jù)# 循環(huán)接收 直到 接收到的長度等于總長度while rcv_size < data_size:data = c.recv(1024)rcv_size += len(data)all_data += dataprint("接收長度%s" % rcv_size)print(all_data.decode("gbk"))

文件上傳下載

服務(wù)端：

import socket import struct import json server = socket.socket() server.bind(("127.0.0.1",9090)) server.listen() client,addr = server.accept()f = open("接收到的文件",mode="wb")head_len = client.recv(4) json_len = struct.unpack("i",head_len)[0]json_str = client.recv(json_len).decode("utf-8") head = json.loads(json_str) print(head)recv_size = 0 while recv_size < head["size"]:data = client.recv(1024)f.write(data)recv_size += len(data)print("接收完成...")

客戶端：

import socket import os import json import struct c = socket.socket() c.connect(("127.0.0.1",9090))filepath= r"F:\測試.mp4" f = open(filepath,mode="rb")# 在發(fā)送數(shù)據(jù)前先發(fā)送報(bào)頭 head = {"size":os.path.getsize(filepath),"filename":"回顧.mp4"} json_data = json.dumps(head).encode("utf-8")json_len = struct.pack("i",len(json_data)) c.send(json_len) # 發(fā)長度 c.send(json_data) # 發(fā)報(bào)頭# 發(fā)數(shù)據(jù) while True:data = f.read(1024)if not data:break# 發(fā)送給服務(wù)器c.send(data)print("上傳完成...")

其他實(shí)例：

import json,struct #假設(shè)通過客戶端上傳1T:1073741824000的文件a.txt#為避免粘包,必須自定制報(bào)頭 header={'file_size':1073741824000,'file_name':'/a/b/c/d/e/a.txt','md5':'8f6fbf8347faa4924a76856701edb0f3'} #1T數(shù)據(jù),文件路徑和md5值#為了該報(bào)頭能傳送,需要序列化并且轉(zhuǎn)為bytes head_bytes=bytes(json.dumps(header),encoding='utf-8') #序列化并轉(zhuǎn)成bytes,用于傳輸#為了讓客戶端知道報(bào)頭的長度,用struck將報(bào)頭長度這個數(shù)字轉(zhuǎn)成固定長度:4個字節(jié) head_len_bytes=struct.pack('i',len(head_bytes)) #這4個字節(jié)里只包含了一個數(shù)字,該數(shù)字是報(bào)頭的長度#客戶端開始發(fā)送 conn.send(head_len_bytes) #先發(fā)報(bào)頭的長度,4個bytes conn.send(head_bytes) #再發(fā)報(bào)頭的字節(jié)格式 conn.sendall(文件內(nèi)容) #然后發(fā)真實(shí)內(nèi)容的字節(jié)格式#服務(wù)端開始接收 head_len_bytes=s.recv(4) #先收報(bào)頭4個bytes,得到報(bào)頭長度的字節(jié)格式 x=struct.unpack('i',head_len_bytes)[0] #提取報(bào)頭的長度head_bytes=s.recv(x) #按照報(bào)頭長度x,收取報(bào)頭的bytes格式 header=json.loads(json.dumps(header)) #提取報(bào)頭#最后根據(jù)報(bào)頭的內(nèi)容提取真實(shí)的數(shù)據(jù),比如 real_data_len=s.recv(header['file_size']) s.recv(real_data_len)

?

總結(jié)

以上是生活随笔為你收集整理的Python3之socket编程（TCP/UDP，粘包问题，数据传输、文件上传）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。