Python学习笔记:网络编程
前言
最近在學習深度學習，已經跑出了幾個模型，但Pyhton的基礎不夠扎實，因此，開始補習Python了，大家都推薦廖雪峰的課程，因此，開始了學習，但光學有沒有用，還要和大家討論一下，因此，寫下這些帖子，廖雪峰的課程連接在這里：廖雪峰
Python的相關介紹，以及它的歷史故事和運行機制，可以參見這篇：python介紹
Python的安裝可以參見這篇：Python安裝
Python的運行模式以及輸入輸出可以參見這篇：Python IO
Python的基礎概念介紹，可以參見這篇：Python 基礎
Python字符串和編碼的介紹，可以參見這篇：Python字符串與編碼
Python基本數據結構：list和tuple介紹，可以參見這篇：Python list和tuple
Python控制語句介紹：ifelse，可以參見這篇：Python 條件判斷
Python控制語句介紹：循環實現，可以參見這篇：Python循環語句
Python數據結構：dict和set介紹Python數據結構dict和set
Python函數相關：Python函數
Python高階特性：Python高級特性
Python高階函數：Python高階函數
Python匿名函數：Python匿名函數
Python裝飾器：Python裝飾器
Python偏函數：Python偏函數
Python模塊：Python模塊
Python面向對象編程（1）：Python面向對象
Python面向對象編程（2）：Python面向對象（2）
Python面向對象編程（3）：Python面向對象（3）
Python面向對象編程（4）：Pyhton面向對象（4）
Python面向對象高級編程（上）：Python面向對象高級編程（上）
Python面向對象高級編程（中上）：Python面向對象高級編程（中上）
Python面向對象高級編程（中下）：Python面向對象高級編程（中下）
Python面向對象高級編程（完）：Python面向對象高級編程（完）
Python錯誤調試（起）：Python調試：起
Python錯誤調試（承）：Python調試：承
Python錯誤調試（轉）：Python調試：轉
Python錯誤調試（合）：python調試：合
Python文件IO編程：Python文件IO
Python文件IO編程2：Python文件IO2
Python文件IO編程3：PYthon文件IO3
Python進程和線程（起）：Python進程和線程起
Python進程和線程（承）：Python進程和線程承
Python進程和線程（轉）：Python進程和線程轉
Python進程和線程（合）：Python進程和線程合
Python正則表達式：Python正則表達式
Python學習筆記:常用內建模塊1：Python學習筆記：常用內建模塊1
Python學習筆記:常用內建模塊2：Python學習筆記：常用內建模塊2
Python學習筆記:常用內建模塊3：Python學習筆記：常用內建模塊3
Python學習筆記:常用內建模塊4：Python學習筆記: 常用內建模塊4
Python學習筆記:常用內建模塊5：Python學習筆記: 常用內建模塊5
Python學習筆記:常用內建模塊6:Python學習筆記：常用內建模塊6
Python學習筆記:第三方模塊1：Python常用第三方模塊
Python學習筆記:第三方模塊2：Python常用第三方模塊
Python學習筆記:第三方模塊3：Python常用第三方模塊
目錄
- 前言
- 目錄
- 網絡編程
- TCP/IP簡介
- Tcp編程
- 客戶端
- 服務器
- 小結
- UDP編程
- 小結
網絡編程
自從互聯網誕生以來，現在基本上所有的程序都是網絡程序，很少有單機版的程序了。
計算機網絡就是把各個計算機連接到一起，讓網絡中的計算機可以互相通信。網絡編程就是如何在程序中實現兩臺計算機的通信。
舉個例子，當你使用瀏覽器訪問新浪網時，你的計算機就和新浪的某臺服務器通過互聯網連接起來了，然后，新浪的服務器把網頁內容作為數據通過互聯網傳輸到你的電腦上。
由于你的電腦上可能不止瀏覽器，還有QQ、Skype、Dropbox、郵件客戶端等，不同的程序連接的別的計算機也會不同，所以，更確切地說，網絡通信是兩臺計算機上的兩個進程之間的通信。比如，瀏覽器進程和新浪服務器上的某個Web服務進程在通信，而QQ進程是和騰訊的某個服務器上的某個進程在通信。
網絡編程對所有開發語言都是一樣的，Python也不例外。用Python進行網絡編程，就是在Python程序本身這個進程內，連接別的服務器進程的通信端口進行通信。
本章我們將詳細介紹Python網絡編程的概念和最主要的兩種網絡類型的編程。
TCP/IP簡介
雖然大家現在對互聯網很熟悉，但是計算機網絡的出現比互聯網要早很多。
計算機為了聯網，就必須規定通信協議，早期的計算機網絡，都是由各廠商自己規定一套協議，IBM、Apple和Microsoft都有各自的網絡協議，互不兼容，這就好比一群人有的說英語，有的說中文，有的說德語，說同一種語言的人可以交流，不同的語言之間就不行了。
為了把全世界的所有不同類型的計算機都連接起來，就必須規定一套全球通用的協議，為了實現互聯網這個目標，互聯網協議簇（Internet Protocol Suite）就是通用協議標準。Internet是由inter和net兩個單詞組合起來的，原意就是連接“網絡”的網絡，有了Internet，任何私有網絡，只要支持這個協議，就可以聯入互聯網。
因為互聯網協議包含了上百種協議標準，但是最重要的兩個協議是TCP和IP協議，所以，大家把互聯網的協議簡稱TCP/IP協議。
通信的時候，雙方必須知道對方的標識，好比發郵件必須知道對方的郵件地址。互聯網上每個計算機的唯一標識就是IP地址，類似123.123.123.123。如果一臺計算機同時接入到兩個或更多的網絡，比如路由器，它就會有兩個或多個IP地址，所以，IP地址對應的實際上是計算機的網絡接口，通常是網卡。
IP協議負責把數據從一臺計算機通過網絡發送到另一臺計算機。數據被分割成一小塊一小塊，然后通過IP包發送出去。由于互聯網鏈路復雜，兩臺計算機之間經常有多條線路，因此，路由器就負責決定如何把一個IP包轉發出去。IP包的特點是按塊發送，途徑多個路由，但不保證能到達，也不保證順序到達。
IP地址實際上是一個32位整數（稱為IPv4），以字符串表示的IP地址如192.168.0.1實際上是把32位整數按8位分組后的數字表示，目的是便于閱讀。
IPv6地址實際上是一個128位整數，它是目前使用的IPv4的升級版，以字符串表示類似于2001:0db8:85a3:0042:1000:8a2e:0370:7334。
TCP協議則是建立在IP協議之上的。TCP協議負責在兩臺計算機之間建立可靠連接，保證數據包按順序到達。TCP協議會通過握手建立連接，然后，對每個IP包編號，確保對方按順序收到，如果包丟掉了，就自動重發。
許多常用的更高級的協議都是建立在TCP協議基礎上的，比如用于瀏覽器的HTTP協議、發送郵件的SMTP協議等。
一個TCP報文除了包含要傳輸的數據外，還包含源IP地址和目標IP地址，源端口和目標端口。
端口有什么作用？在兩臺計算機通信時，只發IP地址是不夠的，因為同一臺計算機上跑著多個網絡程序。一個TCP報文來了之后，到底是交給瀏覽器還是QQ，就需要端口號來區分。每個網絡程序都向操作系統申請唯一的端口號，這樣，兩個進程在兩臺計算機之間建立網絡連接就需要各自的IP地址和各自的端口號。
一個進程也可能同時與多個計算機建立鏈接，因此它會申請很多端口。
了解了TCP/IP協議的基本概念，IP地址和端口的概念，我們就可以開始進行網絡編程了。
Tcp編程
Socket是網絡編程的一個抽象概念。通常我們用一個Socket表示“打開了一個網絡鏈接”，而打開一個Socket需要知道目標計算機的IP地址和端口號，再指定協議類型即可。
客戶端
大多數連接都是可靠的TCP連接。創建TCP連接時，主動發起連接的叫客戶端，被動響應連接的叫服務器。
舉個例子，當我們在瀏覽器中訪問新浪時，我們自己的計算機就是客戶端，瀏覽器會主動向新浪的服務器發起連接。如果一切順利，新浪的服務器接受了我們的連接，一個TCP連接就建立起來的，后面的通信就是發送網頁內容了。
所以，我們要創建一個基于TCP連接的Socket，可以這樣做：
# 導入socket庫: import socket# 創建一個socket: s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 建立連接: s.connect(('www.sina.com.cn', 80))創建Socket時，AF_INET指定使用IPv4協議，如果要用更先進的IPv6，就指定為AF_INET6。SOCK_STREAM指定使用面向流的TCP協議，這樣，一個Socket對象就創建成功，但是還沒有建立連接。
客戶端要主動發起TCP連接，必須知道服務器的IP地址和端口號。新浪網站的IP地址可以用域名www.sina.com.cn自動轉換到IP地址，但是怎么知道新浪服務器的端口號呢？
答案是作為服務器，提供什么樣的服務，端口號就必須固定下來。由于我們想要訪問網頁，因此新浪提供網頁服務的服務器必須把端口號固定在80端口，因為80端口是Web服務的標準端口。其他服務都有對應的標準端口號，例如SMTP服務是25端口，FTP服務是21端口，等等。端口號小于1024的是Internet標準服務的端口，端口號大于1024的，可以任意使用。
因此，我們連接新浪服務器的代碼如下：
s.connect(('www.sina.com.cn', 80))注意參數是一個tuple，包含地址和端口號。
建立TCP連接后，我們就可以向新浪服務器發送請求，要求返回首頁的內容：
# 發送數據: s.send(b'GET / HTTP/1.1\r\nHost: www.sina.com.cn\r\nConnection: close\r\n\r\n')TCP連接創建的是雙向通道，雙方都可以同時給對方發數據。但是誰先發誰后發，怎么協調，要根據具體的協議來決定。例如，HTTP協議規定客戶端必須先發請求給服務器，服務器收到后才發數據給客戶端。
發送的文本格式必須符合HTTP標準，如果格式沒問題，接下來就可以接收新浪服務器返回的數據了：
# 接收數據: buffer = [] while True:# 每次最多接收1k字節:d = s.recv(1024)if d:buffer.append(d)else:break data = b''.join(buffer)接收數據時，調用recv(max)方法，一次最多接收指定的字節數，因此，在一個while循環中反復接收，直到recv()返回空數據，表示接收完畢，退出循環。
當我們接收完數據后，調用close()方法關閉Socket，這樣，一次完整的網絡通信就結束了：
# 關閉連接: s.close()接收到的數據包括HTTP頭和網頁本身，我們只需要把HTTP頭和網頁分離一下，把HTTP頭打印出來，網頁內容保存到文件：
header, html = data.split(b'\r\n\r\n', 1) print(header.decode('utf-8')) # 把接收的數據寫入文件: with open('sina.html', 'wb') as f:f.write(html)現在，只需要在瀏覽器中打開這個sina.html文件，就可以看到新浪的首頁了。
服務器
和客戶端編程相比，服務器編程就要復雜一些。
服務器進程首先要綁定一個端口并監聽來自其他客戶端的連接。如果某個客戶端連接過來了，服務器就與該客戶端建立Socket連接，隨后的通信就靠這個Socket連接了。
所以，服務器會打開固定端口（比如80）監聽，每來一個客戶端連接，就創建該Socket連接。由于服務器會有大量來自客戶端的連接，所以，服務器要能夠區分一個Socket連接是和哪個客戶端綁定的。一個Socket依賴4項：服務器地址、服務器端口、客戶端地址、客戶端端口來唯一確定一個Socket。
但是服務器還需要同時響應多個客戶端的請求，所以，每個連接都需要一個新的進程或者新的線程來處理，否則，服務器一次就只能服務一個客戶端了。
我們來編寫一個簡單的服務器程序，它接收客戶端連接，把客戶端發過來的字符串加上Hello再發回去。
首先，創建一個基于IPv4和TCP協議的Socket：
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)然后，我們要綁定監聽的地址和端口。服務器可能有多塊網卡，可以綁定到某一塊網卡的IP地址上，也可以用0.0.0.0綁定到所有的網絡地址，還可以用127.0.0.1綁定到本機地址。127.0.0.1是一個特殊的IP地址，表示本機地址，如果綁定到這個地址，客戶端必須同時在本機運行才能連接，也就是說，外部的計算機無法連接進來。
端口號需要預先指定。因為我們寫的這個服務不是標準服務，所以用9999這個端口號。請注意，小于1024的端口號必須要有管理員權限才能綁定：
# 監聽端口: s.bind(('127.0.0.1', 9999))緊接著，調用listen()方法開始監聽端口，傳入的參數指定等待連接的最大數量：
s.listen(5) print('Waiting for connection...')接下來，服務器程序通過一個永久循環來接受來自客戶端的連接，accept()會等待并返回一個客戶端的連接:
while True:# 接受一個新連接:sock, addr = s.accept()# 創建新線程來處理TCP連接:t = threading.Thread(target=tcplink, args=(sock, addr))t.start()每個連接都必須創建新線程（或進程）來處理，否則，單線程在處理連接的過程中，無法接受其他客戶端的連接：
def tcplink(sock, addr):print('Accept new connection from %s:%s...' % addr)sock.send(b'Welcome!')while True:data = sock.recv(1024)time.sleep(1)if not data or data.decode('utf-8') == 'exit':breaksock.send(('Hello, %s!' % data.decode('utf-8')).encode('utf-8'))sock.close()print('Connection from %s:%s closed.' % addr)連接建立后，服務器首先發一條歡迎消息，然后等待客戶端數據，并加上Hello再發送給客戶端。如果客戶端發送了exit字符串，就直接關閉連接。
要測試這個服務器程序，我們還需要編寫一個客戶端程序：
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 建立連接: s.connect(('127.0.0.1', 9999)) # 接收歡迎消息: print(s.recv(1024).decode('utf-8')) for data in [b'Michael', b'Tracy', b'Sarah']:# 發送數據:s.send(data)print(s.recv(1024).decode('utf-8')) s.send(b'exit') s.close()我們需要打開兩個命令行窗口，一個運行服務器程序，另一個運行客戶端程序，就可以看到效果了：
需要注意的是，客戶端程序運行完畢就退出了，而服務器程序會永遠運行下去，必須按Ctrl+C退出程序。
小結
用TCP協議進行Socket編程在Python中十分簡單，對于客戶端，要主動連接服務器的IP和指定端口，對于服務器，要首先監聽指定端口，然后，對每一個新的連接，創建一個線程或進程來處理。通常，服務器程序會無限運行下去。
同一個端口，被一個Socket綁定了以后，就不能被別的Socket綁定了。
UDP編程
TCP是建立可靠連接，并且通信雙方都可以以流的形式發送數據。相對TCP，UDP則是面向無連接的協議。
使用UDP協議時，不需要建立連接，只需要知道對方的IP地址和端口號，就可以直接發數據包。但是，能不能到達就不知道了。
雖然用UDP傳輸數據不可靠，但它的優點是和TCP比，速度快，對于不要求可靠到達的數據，就可以使用UDP協議。
我們來看看如何通過UDP協議傳輸數據。和TCP類似，使用UDP的通信雙方也分為客戶端和服務器。服務器首先需要綁定端口：
創建Socket時，SOCK_DGRAM指定了這個Socket的類型是UDP。綁定端口和TCP一樣，但是不需要調用listen()方法，而是直接接收來自任何客戶端的數據：
print('Bind UDP on 9999...') while True:# 接收數據:data, addr = s.recvfrom(1024)print('Received from %s:%s.' % addr)s.sendto(b'Hello, %s!' % data, addr)recvfrom()方法返回數據和客戶端的地址與端口，這樣，服務器收到數據后，直接調用sendto()就可以把數據用UDP發給客戶端。
注意這里省掉了多線程，因為這個例子很簡單。
客戶端使用UDP時，首先仍然創建基于UDP的Socket，然后，不需要調用connect()，直接通過sendto()給服務器發數據：
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) for data in [b'Michael', b'Tracy', b'Sarah']:# 發送數據:s.sendto(data, ('127.0.0.1', 9999))# 接收數據:print(s.recv(1024).decode('utf-8')) s.close()從服務器接收數據仍然調用recv()方法。
仍然用兩個命令行分別啟動服務器和客戶端測試，結果如下：
小結
UDP的使用與TCP類似，但是不需要建立連接。此外，服務器綁定UDP端口和TCP端口互不沖突，也就是說，UDP的9999端口與TCP的9999端口可以各自綁定。
總結
以上是生活随笔為你收集整理的Python学习笔记:网络编程的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Tensorflow:interacti
- 下一篇： Python学习笔记：SMTP服务器