2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

背景

現(xiàn)代社會(huì)網(wǎng)絡(luò)應(yīng)用隨處可見，不管我們是在瀏覽網(wǎng)頁、發(fā)送電子郵件還是在線游戲都離不開網(wǎng)絡(luò)應(yīng)用程序，網(wǎng)絡(luò)編程正在變得越來越重要

目標(biāo)

了解web server的核心思想，然后自己構(gòu)建一個(gè)tiny web server，它可以為我們提供簡單的靜態(tài)網(wǎng)頁

最終效果

完整的事例代碼可以查看這里

如何運(yùn)行

python3 index.py

注意

我們假設(shè)你已經(jīng)學(xué)習(xí)過Python的系統(tǒng)IO、網(wǎng)絡(luò)編程、Http協(xié)議，如果對此不熟悉，可以點(diǎn)擊這里的Python教程進(jìn)行學(xué)習(xí)，可以點(diǎn)擊這里的Http協(xié)議進(jìn)行學(xué)習(xí)，事例基于Python 3.7.2編寫。

TinyWeb實(shí)現(xiàn)

首先我們給出TinyWebServer的主結(jié)構(gòu)

import socket# 創(chuàng)建socket server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 綁定地址和端口 server.bind(("127.0.0.1", 3000)) server.listen(5)while True:# 等待客戶端請求client, addr = server.accept()# 處理請求process_request(client, addr)

上面代碼的核心邏輯是socket等待客戶端請求，一旦接受到客戶端請求就處理請求。

接下來我們主要工作就是實(shí)現(xiàn)process_request函數(shù)，我們都知道Http協(xié)議，Http請求主要包含4部分請求行、請求頭、空行、請求體，于是我們可以抽象process_request的過程如下：

讀取請求行--->讀取請求頭--->讀取請求體--->處理請求--->關(guān)閉請求

具體的Python代碼如下所示：

def process_request(client, addr):try:# 獲取請求行request_line = read_request_line(client)# 獲取請求頭request_headers = read_request_headers(client)# 獲取請求體request_body = read_request_body(client, request_headers[b"content-length"])# 處理客戶端請求do_it(client, request_line, request_headers, request_body)except BaseException as error:# 錯(cuò)誤處理handle_error(client, error)finally:# 關(guān)閉客戶端請求client.close()

為什么我們不用單獨(dú)解析空行，因?yàn)榭招惺怯脕肀硎菊麄€(gè)http請求頭的結(jié)束，除此之外空行對我們來說沒有什么作用，關(guān)于如何解析Http消息，首先我們先來看一下Http消息結(jié)構(gòu)：

從上面的消息結(jié)構(gòu)我們可以看出，要解析http消息，其中有一個(gè)關(guān)鍵的步驟是從socket中讀取行，我們可以不斷地從socket中讀取直到遇到\r\n，這樣我們就可以讀取到完整的行

def read_line(socket):recv_buffer = b''while True:recv_buffer += recv(socket, 1)if recv_buffer.endswith(b"\r\n"):breakreturn recv_buffer

上面的recv只是對socket.recv的一個(gè)包裝，具體代碼如下：

def recv(socket, count):if count > 0:recv_buffer = socket.recv(count)if recv_buffer == b"":raise TinyWebException("socket.rect調(diào)用失敗！")return recv_bufferreturn b""

在上面的封裝中我們主要是處理了socket.recv返回錯(cuò)誤和count小于0的異常情況，然后我們自己定義了一個(gè)TinyWebException用來表示我們的錯(cuò)誤，TinyWebException的代碼如下：

class TinyWebException(BaseException):pass

解析請求行：

請求行的解析從上面的結(jié)構(gòu)中我們知道只要從請求數(shù)據(jù)中讀取第一行，然后通過空格把他們分開就可以了，具體代碼如下所示：

def read_request_line(socket):"""讀取http請求行"""# 讀取行并把\r\n替換成空字符，最后以空格分離values = read_line(socket).replace(b"\r\n", b"").split(b" ")return dict({# 請求方法b'method': values[0],# 請求路徑b'path': values[1],# 協(xié)議版本b'protocol': values[2]})

解析請求頭：

請求頭的解析要稍微復(fù)雜一點(diǎn)，它要不停得讀取行，直到遇到單獨(dú)的\r\n行結(jié)束，具體代碼如下：

def read_request_headers(socket):"""讀取http請求頭"""headers = dict()line = read_line(socket)while line != b"\r\n":keyValuePair = line.replace(b"\r\n", b"").split(b": ")# 統(tǒng)一header中的可以為小寫，方便后面使用keyValuePair[0] = keyValuePair[0].decode(encoding="utf-8").lower().encode("utf-8")if keyValuePair[0] == b"content-length":# 如果是cotent-length我們需要把結(jié)果轉(zhuǎn)化為整數(shù)，方便后面讀取bodyheaders[keyValuePair[0]] = bytesToInt(keyValuePair[1])else:headers[keyValuePair[0]] = keyValuePair[1]line = read_line(socket)# 如果heander中沒有content-length，我們就手動(dòng)把cotent-length設(shè)置為0if not headers.__contains__(b"content-length"):headers[b"content-length"] = 0return headers

解析請求體：

請求體的讀取相對也簡單，只要連續(xù)讀取conetnt-length個(gè)bytes

def read_request_body(socket, content_length):"""讀取http請求體"""return recv(socket, content_length)

完成了Http數(shù)據(jù)解析以后我們需要實(shí)現(xiàn)核心的do_it，它主要是基于Http數(shù)據(jù)處理請求，我們在上面說過，tiny web server主要是實(shí)現(xiàn)了靜態(tài)資源的讀取，讀取資源首先我們要定位資源，資源的定位主要是基于path的，在解析path的時(shí)候，我們用到了urllib.parse模塊的urlparse功能，只要我們解析到了具體的資源，我們直接向?yàn)g覽器輸出響應(yīng)就可以了。在輸出具體的代碼之前，我們需要簡單說明一個(gè)Http消息響應(yīng)的格式，HTTP響應(yīng)也由四個(gè)部分組成，分別是：狀態(tài)行、消息報(bào)頭、空行和響應(yīng)正文，下面給出一個(gè)簡單的事例：

def do_it(socket, request_line, request_headers, request_body):"""處理http請求"""# 生成靜態(tài)資源的目標(biāo)地址，在這里我們所有的靜態(tài)文件都統(tǒng)一放在static目錄下面parse_result = urlparse(request_line[b"path"])current_dir = os.path.dirname(os.path.realpath(__file__))file_path = os.path.join(current_dir, "static" +parse_result.path.decode(encoding="utf-8"))# 如果靜態(tài)資源存在就向客戶端提供靜態(tài)文件if os.path.exists(file_path):serve_static(socket, file_path)else:# 靜態(tài)文件不存在，向客戶展示404頁面serve_static(socket, os.path.join(current_dir, "static/404.html"))

do_it最核心的邏輯是serve_static，serve_static主要就是實(shí)現(xiàn)了讀取靜態(tài)文件并以Htt的響應(yīng)格式返回給客戶端，下面是serve_static的主要代碼

def serve_static(socket, path):# 檢查是否有path讀的權(quán)限和具體path對應(yīng)的資源是否是文件if os.access(path, os.R_OK) and os.path.isfile(path):# 文件類型content_type = static_type(path)# 文件大小content_length = os.stat(path).st_size# 拼裝Http響應(yīng)response_headers = b"HTTP/1.0 200 OK\r\n"response_headers += b"Server: Tiny Web Server\r\n"response_headers += b"Connection: close\r\n"response_headers += b"Content-Type: " + content_type + b"\r\n"response_headers += b"Content-Length: %d\r\n" % content_lengthresponse_headers += b"\r\n"# 發(fā)送http響應(yīng)頭socket.send(response_headers)# 以二進(jìn)制的方式讀取文件with open(path, "rb") as f:# 發(fā)送http消息體socket.send(f.read())else:raise TinyWebException("沒有訪問權(quán)限")

在serve_static中首先我們需要判斷我們是否有文件的讀全權(quán)，并且我們指定的資源是文件，而不是文件夾，如果不是合法文件我們直接提示沒有訪問權(quán)限，我們還需要直到文件的格式，因?yàn)榭蛻舳诵枰ㄟ^content-type來決定如何處理資源，然后我們需要文件大小，用來確定content-length，文件格式主要是通過后綴名簡單判斷，我們單獨(dú)提供了static_type來生成content-type，文件的大小只要通過Python的os.stat獲取就可以，最后我們只要把所有信息拼裝成Http Response就可以了。

def static_type(path):if path.endswith(".html"):return b"text/html; charset=UTF-8"elif path.endswith(".png"):return b"image/png; charset=UTF-8"elif path.endswith(".jpg"):return b"image/jpg; charset=UTF-8"elif path.endswith(".jpeg"):return b"image/jpeg; charset=UTF-8"elif path.endswith(".gif"):return b"image/gif; charset=UTF-8"elif path.endswith(".js"):return b"application/javascript; charset=UTF-8"elif path.endswith(".css"):return b"text/css; charset=UTF-8"else:return b"text/plain; charset=UTF-8"

完整的tiny web server 代碼

#!/usr/bin/env python3 # -*- coding: UTF-8 -*-import socket from urllib.parse import urlparse import osclass TinyWebException(BaseException):passdef recv(socket, count):if count > 0:recv_buffer = socket.recv(count)if recv_buffer == b"":raise TinyWebException("socket.rect調(diào)用失敗！")return recv_bufferreturn b""def read_line(socket):recv_buffer = b''while True:recv_buffer += recv(socket, 1)if recv_buffer.endswith(b"\r\n"):breakreturn recv_bufferdef read_request_line(socket):"""讀取http請求行"""# 讀取行并把\r\n替換成空字符，最后以空格分離values = read_line(socket).replace(b"\r\n", b"").split(b" ")return dict({# 請求方法b'method': values[0],# 請求路徑b'path': values[1],# 協(xié)議版本b'protocol': values[2]})def bytesToInt(bs):"""把bytes轉(zhuǎn)化為int"""return int(bs.decode(encoding="utf-8"))def read_request_headers(socket):"""讀取http請求頭"""headers = dict()line = read_line(socket)while line != b"\r\n":keyValuePair = line.replace(b"\r\n", b"").split(b": ")# 統(tǒng)一header中的可以為小寫，方便后面使用keyValuePair[0] = keyValuePair[0].decode(encoding="utf-8").lower().encode("utf-8")if keyValuePair[0] == b"content-length":# 如果是cotent-length我們需要把結(jié)果轉(zhuǎn)化為整數(shù)，方便后面讀取bodyheaders[keyValuePair[0]] = bytesToInt(keyValuePair[1])else:headers[keyValuePair[0]] = keyValuePair[1]line = read_line(socket)# 如果heander中沒有content-length，我們就手動(dòng)把cotent-length設(shè)置為0if not headers.__contains__(b"content-length"):headers[b"content-length"] = 0return headersdef read_request_body(socket, content_length):"""讀取http請求體"""return recv(socket, content_length)def send_response():print("send response")def static_type(path):if path.endswith(".html"):return b"text/html; charset=UTF-8"elif path.endswith(".png"):return b"image/png; charset=UTF-8"elif path.endswith(".jpg"):return b"image/jpg; charset=UTF-8"elif path.endswith(".jpeg"):return b"image/jpeg; charset=UTF-8"elif path.endswith(".gif"):return b"image/gif; charset=UTF-8"elif path.endswith(".js"):return b"application/javascript; charset=UTF-8"elif path.endswith(".css"):return b"text/css; charset=UTF-8"else:return b"text/plain; charset=UTF-8"def serve_static(socket, path):# 檢查是否有path讀的權(quán)限和具體path對應(yīng)的資源是否是文件if os.access(path, os.R_OK) and os.path.isfile(path):# 文件類型content_type = static_type(path)# 文件大小content_length = os.stat(path).st_size# 拼裝Http響應(yīng)response_headers = b"HTTP/1.0 200 OK\r\n"response_headers += b"Server: Tiny Web Server\r\n"response_headers += b"Connection: close\r\n"response_headers += b"Content-Type: " + content_type + b"\r\n"response_headers += b"Content-Length: %d\r\n" % content_lengthresponse_headers += b"\r\n"# 發(fā)送http響應(yīng)頭socket.send(response_headers)# 以二進(jìn)制的方式讀取文件with open(path, "rb") as f:# 發(fā)送http消息體socket.send(f.read())else:raise TinyWebException("沒有訪問權(quán)限")def do_it(socket, request_line, request_headers, request_body):"""處理http請求"""# 生成靜態(tài)資源的目標(biāo)地址，在這里我們所有的靜態(tài)文件都統(tǒng)一放在static目錄下面parse_result = urlparse(request_line[b"path"])current_dir = os.path.dirname(os.path.realpath(__file__))file_path = os.path.join(current_dir, "static" +parse_result.path.decode(encoding="utf-8"))# 如果靜態(tài)資源存在就向客戶端提供靜態(tài)文件if os.path.exists(file_path):serve_static(socket, file_path)else:# 靜態(tài)文件不存在，向客戶展示404頁面serve_static(socket, os.path.join(current_dir, "static/404.html"))def handle_error(socket, error):print(error)error_message = str(error).encode("utf-8")response = b"HTTP/1.0 500 Server Internal Error\r\n"response += b"Server: Tiny Web Server\r\n"response += b"Connection: close\r\n"response += b"Content-Type: text/html; charset=UTF-8\r\n"response += b"Content-Length: %d\r\n" % len(error_message)response += b"\r\n"response += error_messagesocket.send(response)def process_request(client, addr):try:# 獲取請求行request_line = read_request_line(client)# 獲取請求頭request_headers = read_request_headers(client)# 獲取請求體request_body = read_request_body(client, request_headers[b"content-length"])# 處理客戶端請求do_it(client, request_line, request_headers, request_body)except BaseException as error:# 打印錯(cuò)誤信息handle_error(client, error)finally:# 關(guān)閉客戶端請求client.close()server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server.bind(("127.0.0.1", 3000)) server.listen(5)print("啟動(dòng)tiny web server，port = 3000")while True:client, addr = server.accept()print("請求地址：%s" % str(addr))# 處理請求process_request(client, addr)

最后想說的

上面的tiny web server只是實(shí)現(xiàn)了很簡單的功能，在實(shí)際的應(yīng)用中比這復(fù)雜得多，這里只是體現(xiàn)了web server的核心思想

轉(zhuǎn)載于:https://my.oschina.net/u/3387996/blog/3058365

與50位技術(shù)專家面對面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的如何用socket构建一个简单的Web Server的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。