【网络通信与信息安全】之深入解析HTTP协议的实现和原理
一、計算機網絡體系結構分層
- 計算機網絡體系結構分層示例圖
- 計算機網絡體系結構說明:
二、TCP/IP 通信傳輸流
① TCP/IP 分層管理
- TCP/IP 構成
- 應用層:決定了向用戶提供應用服務時通信的活動。
FTP(文件傳輸協議),DNS(域名系統),HTTP(超文本傳輸協議) - 傳輸層:提供處于網絡連接中的兩臺計算機之間的數據傳輸。
TCP(傳輸控制協議),UDP(用戶數據報協議) - 網絡層(網絡互聯層):用來處理網絡上流動的數據包。數據包是網絡傳輸的最小單位。該層規定了通過怎樣的路徑到達對方計算機,并把數據包傳送給對方。
- 鏈路層(網絡接口層):出來處理連接網絡的硬件部分。
- 應用層:決定了向用戶提供應用服務時通信的活動。
- 利用 TCP/IP 協議族進行網絡通信時,會通過分層順序與對方進行通信。發送端從應用層往下走,接收端則從鏈路層往上走。如下:
- 流程分析
- 首先作為發送端的客戶端在應用層(HTTP 協議)發出一個想看某個 Web 頁面的 HTTP 請求。
- 接著,為了傳輸方便,在傳輸層(TCP 協議)把從應用層處收到的數據(HTTP 請求報文)進行分割,并在各個報文上打上標記序號及端口號后轉發給網絡層。
- 在網絡層(IP 協議),增加作為通信目的地的 MAC 地址后轉發給鏈路層。這樣一來,發往網絡的通信請求就準備齊全了。
- 接收端的服務器在鏈路層接收到數據,按序往上層發送,一直到應用層。當傳輸到應用層,才能算真正接收到由客戶端發送過來的 HTTP請求。
② 與 HTTP 關系密切的協議:IP、TCP 和 DNS
- IP:將數據包傳輸給對方,兩個重要條件:IP 地址和 MAC 地址。
- IP 地址指明了節點被分配到到地址,MAC 地址是指網卡所屬固定地址。IP 地址可以和MAC 地址進行配對。IP地址可以變換,但 MAC 地址基本上不會更改。
- ARP 協議憑借 MAC 地址進行通信:網絡上兩臺計算機進行通信,通常要經過多臺計算機和網絡設備中轉才能連接到對方。在中轉時,會利用下一站中轉設備的 MAC 地址來搜索下一個中轉目標。這時采用 ARP(地址解析協議),根據通信放的 IP 可以反查出對應 MAC 地址。
③ TCP 協議:將大塊數據分割以報文段為單位進行數據傳輸
- 確保數據能到達目標:TCP協議采用了三次握手
- 過程分析 :
- 客戶端發送SYN=1(表示請求連接),并發送一個seq(隨機碼);
- 服務器由于收到SYN=1,知道是請求連接,返回一個ACK=1(表示確認),并同返回一個請求連接SYN=1,然后返回一個ack=seq+1(客戶端隨機碼應答),且自己也返回一個seq(隨機碼);
- 客戶端收到服務器的ack后驗證,向服務器確認包發送ack=seq+1(服務器隨機碼應答);
- 服務器確認ack后建立連接,完成三次握手。
④ 域名解析系統 DNS
主機名/域名(www.baidu.com)不利于計算機解析,故計算機需要一串數字(類似192.168.0.100)來查找服務器。
⑤ 各種協議與 HTTP 的關系
- HTTP協議(HyperText Transfer Protocol,超文本傳輸協議)是用于從WWW服務器傳輸超文本到本地瀏覽器的傳輸協議。它可以使瀏覽器更加高效,使網絡傳輸減少。它不僅保證計算機正確快速地傳輸超文本文檔,還確定傳輸文檔中的哪一部分,以及哪部分內容首先顯示(如文本先于圖形)等。
- HTTP是客戶端瀏覽器或其他程序與Web服務器之間的應用層通信協議。在Internet上的Web服務器上存放的都是超文本信息,客戶機需要通過HTTP協議傳輸所要訪問的超文本信息。HTTP包含命令和傳輸信息,不僅可用于Web訪問,也可以用于其他因特網/內聯網應用系統之間的通信,從而實現各類應用資源超媒體訪問的集成。
- 我們在瀏覽器的地址欄里輸入的網站地址叫做URL (Uniform Resource Locator,統一資源定位符)。就像每家每戶都有一個門牌地址一樣,每個網頁也都有一個Internet地址。當你在瀏覽器的地址框中輸入一個URL或是單擊一個超級鏈接時,URL就確定了要瀏覽的地址。瀏覽器通過超文本傳輸協議(HTTP),將Web服務器上站點的網頁代碼提取出來,并翻譯成漂亮的網頁。
⑥ URI 和 URL
- URI:統一資源標識符。
- Uniform:規定統一的格式可方便處理多種不同類型的資源。
- Resource:可以被標識的任何東西(文檔,圖片,音樂,視頻等),能夠區別于其他類型的,全都可作為資源。資源不僅可以是單一的,也可以是多數的集合體。
- Identifier:標識符。
- 綜上:URI就是由某個協議方案表示的資源的定位標識符。協議方案是指訪問資源所使用的協議類型。
- URL:統一資源定位符。(URI表示某一互聯網資源,而URL表示資源的地點,可見URL是URI的子集)。
- URI格式: 絕對URI,絕對URL,相對URL(從瀏覽器中基本URI處指定URL)。
- 協議方案名:https,http等等
- 登錄信息:用于獲取資源時必要的登陸信息(可選項)
- 服務器地址:DNS可解析域名,IPv4地址,或者[0:0:0:0:0:0:0:1]這樣的IPv6地址。
- 服務器連接的網絡端口號:不填則使用默認端口號(80)
- 帶層次的文件路徑
- 查詢字符串
- 片段標識符:已獲取資源中的子資源
三、HTTP 工作流程
HTTP 通信機制是在一次完整的 HTTP 通信過程中,客戶端與服務器之間將完成下列 7 個步驟:
① 建立 TCP 連接
- 在HTTP工作開始之前,客戶端首先要通過網絡與服務器建立連接,該連接是通過 TCP 來完成的,該協議與 IP 協議共同構建 Internet,即著名的 TCP/IP 協議族,因此 Internet 又被稱作是 TCP/IP 網絡。
- HTTP 是比 TCP 更高層次的應用層協議,根據規則,只有低層協議建立之后,才能進行高層協議的連接,因此,首先要建立 TCP 連接,一般 TCP 連接的端口號是80;
② 客戶端向服務器發送請求命令
一旦建立了TCP連接,客戶端就會向服務器發送請求命令;
例如:GET/sample/hello.jsp HTTP/1.1
③ 客戶端發送請求頭信息
- 客戶端發送其請求命令之后,還要以頭信息的形式向服務器發送一些別的信息;
- 之后客戶端發送了一空白行來通知服務器,它已經結束了該頭信息的發送;
④ 服務器應答
- 客戶端向服務器發出請求后,服務器會客戶端返回響應;
- 例如: HTTP/1.1 200 OK
響應的第一部分是協議的版本號和響應狀態碼
⑤ 服務器返回響應頭信息
正如客戶端會隨同請求發送關于自身的信息一樣,服務器也會隨同響應向用戶發送關于它自己的數據及被請求的文檔;
⑥ 服務器向客戶端發送數據
- 服務器向客戶端發送頭信息后,它會發送一個空白行來表示頭信息的發送到此為結束;
- 接著,它就以 Content-Type 響應頭信息所描述的格式發送用戶所請求的實際數據;
⑦ 服務器關閉 TCP 連接
- 一般情況下,一旦服務器向客戶端返回了請求數據,它就要關閉 TCP 連接,然后如果客戶端或者服務器在其頭信息加入了這行代碼 Connection:keep-alive ,TCP 連接在發送后將仍然保持打開狀態,于是,客戶端可以繼續通過相同的連接發送請求。
- 保持連接節省了為每個請求建立新連接所需的時間,還節約了網絡帶寬。
四、HTTP 協議
① 通過請求和響應的交換達成通信
- 應用 HTTP 協議時,必定是一端擔任客戶端角色,另一端擔任服務器端角色。
- 僅從一條通信線路來說,服務器端和客服端的角色是確定的。
- HTTP 協議規定,請求從客戶端發出,最后服務器端響應該請求并返回。換句話說,肯定是先從客戶端開始建立通信的,服務器端在沒有接收到請求之前不會發送響應。
② HTTP 是不保存狀態的協議
- HTTP 是一種無狀態協議。
- 協議自身不對請求和響應之間的通信狀態進行保存。也就是說在 HTTP 這個級別,協議對于發送過的請求或響應都不做持久化處理。這是為了更快地處理大量事務,確保協議的可伸縮性,而特意把 HTTP 協議設計成如此簡單的。
- 可是隨著 Web 的不斷發展,我們的很多業務都需要對通信狀態進行保存。于是我們引入了 Cookie 技術。有了 Cookie 再用 HTTP 協議通信,就可以管理狀態了。
③ 使用 Cookie 的狀態管理
- Cookie 技術通過在請求和響應報文中寫入 Cookie 信息來控制客戶端的狀態。
- Cookie 會根據從服務器端發送的響應報文內的一個叫做 Set-Cookie 的首部字段信息,通知客戶端保存Cookie。當下次客戶端再往該服務器發送請求時,客戶端會自動在請求報文中加入 Cookie 值后發送出去。
- 服務器端發現客戶端發送過來的 Cookie 后,會去檢查究竟是從哪一個客戶端發來的連接請求,然后對比服務器上的記錄,最后得到之前的狀態信息。
④ 請求 URI 定位資源
- HTTP 協議使用 URI 定位互聯網上的資源。
- 正是因為 URI 的特定功能,在互聯網上任意位置的資源都能訪問到。
⑤ 告知服務器意圖的 HTTP 方法
⑥ 持久連接
- 傳統每請求一次就要三次握手連接tcp四次握手斷開,但是原來傳輸量特別小,所以影響不大,但是當下一個html可能包含n多圖片,會造成過多無謂大通信量。
- 持久連接:只要任意一段沒有明確提出斷開連接,則保持TCP連接。HTTP1.1默認所有連接都是持久連接。
- HTTP 協議的初始版本中,每進行一個 HTTP 通信都要斷開一次 TCP 連接。比如使用瀏覽器瀏覽一個包含多張圖片的 HTML 頁面時,在發送請求訪問 HTML 頁面資源的同時,也會請求該 HTML 頁面里包含的其他資源。因此,每次的請求都會造成無畏的 TCP 連接建立和斷開,增加通信量的開銷。
- 為了解決上述 TCP 連接的問題,HTTP/1.1 和部分 HTTP/1.0 想出了持久連接的方法。其特點是,只要任意一端沒有明確提出斷開連接,則保持 TCP 連接狀態。旨在建立一次 TCP 連接后進行多次請求和響應的交互。在 HTTP/1.1 中,所有的連接默認都是持久連接。
⑦ 管線化
- 持久連接使得多數請求以管線化方式發送成為可能。
- 管線化:以前發送請求后需等待并接收到響應,才能發送下一個請求。管線化技術出現后,不用等待亦可發送下一個請求。這樣就能做到同時并行發送多個請求,而不需要一個接一個地等待響應了。
- 比如,當請求一個包含多張圖片的 HTML 頁面時,與挨個連接相比,用持久連接可以讓請求更快結束。而管線化技術要比持久連接速度更快。請求數越多,時間差就越明顯。
五、HTTP 協議報文結構
① HTTP 報文
- 用于 HTTP 協議交互的信息被稱為 HTTP 報文。
- 請求端(客戶端)的 HTTP 報文叫做請求報文;響應端(服務器端)的叫做響應報文。
- HTTP 報文本身是由多行(用 CR+LF 作換行符)數據構成的字符串文本。
② HTTP 報文結構
報文構成
- HTTP 報文大致可分為報文首部和報文主體兩部分:
- 兩者由最初出現的空行(CR+LF)來劃分。通常,并不一定有報文主體。如下:
請求報文結構
- 請求報文的首部內容由以下數據組成:
- 請求行 —— 包含用于請求的方法、請求 URI 和 HTTP 版本。
- 首部字段 —— 包含表示請求的各種條件和屬性的各類首部。(通用首部、請求首部、實體首部以及RFC里未定義的首部如 Cookie 等);
- 請求報文的示例,如下:
響應報文結構
- 響應報文的首部內容由以下數據組成:
- 狀態行 —— 包含表明響應結果的狀態碼、原因短語和 HTTP 版本。
- 首部字段 —— 包含表示請求的各種條件和屬性的各類首部。(通用首部、響應首部、實體首部以及RFC里未定義的首部如 Cookie 等);
- 響應報文的示例,如下:
六、HTTP 報文首部之請求行、狀態行
① 請求行
- 如下是一個 HTTP 請求的報文:
- 其中,如下這行就是請求行:
- 說明:
- 開頭的 GET 表示請求訪問服務器的類型,稱為方法;
- 隨后的字符串 /index.htm 指明了請求訪問的資源對象,也叫做請求 URI;
- 最后的 HTTP/1.1,即 HTTP 的版本號,用來提示客戶端使用的 HTTP 協議功能。
- 綜合來看,大意是請求訪問某臺 HTTP 服務器上的 /index.htm 頁面資源。
② 狀態行
- 如下是一個 HTTP 響應的報文:
- 其中,如下這行就是狀態行:
- 說明:
- HTTP/1.1 表示服務器對應的 HTTP 版本;
- 200 OK 表示請求的處理結果的狀態碼和原因短語。
七、HTTP 報文首部之首部字段
① 首部字段概述
- 先來回顧一下首部字段在報文的位置,HTTP 報文包含報文首部和報文主體,報文首部包含請求行(或狀態行)和首部字段。
- 在報文眾多的字段當中,HTTP 首部字段包含的信息最為豐富。首部字段同時存在于請求和響應報文內,并涵蓋 HTTP 報文相關的內容信息。
- 使用首部字段是為了給客服端和服務器端提供報文主體大小、所使用的語言、認證信息等內容。
② 首部字段結構
- HTTP 首部字段是由首部字段名和字段值構成的,中間用冒號“:”分隔。
- 字段值對應單個 HTTP 首部字段可以有多個值。
- 當 HTTP 報文首部中出現了兩個或以上具有相同首部字段名的首部字段時,這種情況在規范內尚未明確,根據瀏覽器內部處理邏輯的不同,優先處理的順序可能不同,結果可能并不一致。
| Content-Type | : | text/html |
| Keep-Alive | : | timeout=30, max=120 |
③ 首部字段類型
首部字段根據實際用途被分為以下4種類型:
| 通用首部字段 | 請求報文和響應報文兩方都會使用的首部 |
| 請求首部字段 | 從客戶端向服務器端發送請求報文時使用的首部 補充了請求的附加內容、客戶端信息、響應內容相關優先級等信息 |
| 響應首部字段 | 從服務器端向客戶端返回響應報文時使用的首部 補充了響應的附加內容,也會要求客戶端附加額外的內容信息 |
| 實體首部字段 | 針對請求報文和響應報文的實體部分使用的首部 補充了資源內容更新時間等與實體有關的的信息 |
④ 通用首部字段(HTTP/1.1)
| Cache-Control | 控制緩存的行為 |
| Connection | 逐挑首部、連接的管理 |
| Date | 創建報文的日期時間 |
| Pragma | 報文指令 |
| Trailer | 報文末端的首部一覽 |
| Transfer-Encoding | 指定報文主體的傳輸編碼方式 |
| Upgrade | 升級為其他協議 |
| Via | 代理服務器的相關信息 |
| Warning | 錯誤通知 |
(1)Cache-Control:通過指定首部字段 Cache-Control 的指令,就能操作緩存的工作機制,可用的指令按請求和響應分類如下:
- 緩存請求指令
| no-cache | 無 | 強制向服務器再次驗證 |
| no-store | 無 | 不緩存請求或響應的任何內容 |
| max-age = [秒] | 必需 | 響應的最大Age值 |
| max-stale( =[秒]) | 可省略 | 接收已過期的響應 |
| min-fresh = [秒] | 必需 | 期望在指定時間內的響應仍有效 |
| no-transform | 無 | 代理不可更改媒體類型 |
| only-if-cached | 無 | 從緩存獲取資源 |
| cache-extension | - | 新指令標記(token) |
- 緩存響應指令
| public | 無 | 可向任意方提供響應的緩存 |
| private | 可省略 | 僅向特定用戶返回響應 |
| no-cache | 可省略 | 緩存前必須先確認其有效性 |
| no-store | 無 | 不緩存請求或響應的任何內容 |
| no-transform | 無 | 代理不可更改媒體類型 |
| must-revalidate | 無 | 可緩存但必須再向源服務器進行確認 |
| proxy-revalidate | 無 | 要求中間緩存服務器對緩存的響應有效性再進行確認 |
| max-age = [秒] | 必需 | 響應的最大Age值 |
| s-maxage = [秒] | 必需 | 公共緩存服務器響應的最大Age值 |
| cache-extension | - | 新指令標記(token) |
-
表示能否緩存的指令:
- public 指令:Cache-Control: public
當指定使用 public 指令時,則明確表明其他用戶也可利用緩存。 - private 指令:Cache-Control: private
當指定 private 指令后,響應只以特定的用戶作為對象,這與 public 指令的行為相反。緩存服務器會對該特定用戶提供資源緩存的服務,對于其他用戶發送過來的請求,代理服務器則不會返回緩存。 - no-cache 指令:
- Cache-Control: no-cache
- 使用 no-cache 指令是為了防止從緩存中返回過期的資源。
- 客戶端發送的請求中如果包含 no-cache 指令,則表示客戶端將不會接收緩存過的響應。于是,“中間”的緩存服務器必須把客戶端請求轉發給源服務器。
- 如果服務器中返回的響應包含 no-cache 指令,那么緩存服務器不能對資源進行緩存。源服務器以后也將不再對緩存服務器請求中提出的資源有效性進行確認,且禁止其對響應資源進行緩存操作。
- Cache-Control: no-cache=Location
- 由服務器返回的響應中,若報文首部字段 Cache-Control 中對 no-cache 字段名具體指定參數值,那么客戶端在接收到這個被指定參數值的首部字段對應的響應報文后,就不能使用緩存。
- 換言之,無參數值的首部字段可以使用緩存。只能在響應指令中指定該參數。
- Cache-Control: no-cache
- no-store 指令:Cache-Control: no-store
- 當使用 no-store 指令時,暗示請求(和對應的響應)或響應中包含機密信息。因此,該指令規定緩存不能在本地存儲請求或響應的任一部分。
- 注意:no-cache 指令代表不緩存過期的指令,緩存會向源服務器進行有效期確認后處理資源;no-store 指令才是真正的不進行緩存。
- public 指令:Cache-Control: public
-
指定緩存期限和認證的指令
-
s-maxage 指令:Cache-Control: s-maxage=604800(單位:秒)
- s-maxage 指令的功能和 max-age 指令的相同,它們的不同點是 s-maxage 指令只適用于供多位用戶使用的公共緩存服務器(一般指代理)。也就是說,對于向同一用戶重復返回響應的服務器來說,這個指令沒有任何作用。
- 另外,當使用 s-maxage 指令后,則直接忽略對 Expires 首部字段及 max-age 指令的處理。
-
max-age 指令:Cache-Control: max-age=604800(單位:秒)
- 當客戶端發送的請求中包含 max-age 指令時,如果判定緩存資源的緩存時間數值比指定的時間更小,那么客戶端就接收緩存的資源。
- 另外,當指定 max-age 的值為0,那么緩存服務器通常需要將請求轉發給源服務器。
- 當服務器返回的響應中包含 max-age 指令時,緩存服務器將不對資源的有效性再作確認,而 max-age 數值代表資源保存為緩存的最長時間。
- 應用 HTTP/1.1 版本的緩存服務器遇到同時存在 Expires 首部字段的情況時,會優先處理 max-age 指令,并忽略掉 Expires 首部字段;而 HTTP/1.0 版本的緩存服務器則相反。
-
min-fresh 指令:Cache-Control: min-fresh=60(單位:秒)
- min-fresh 指令要求緩存服務器返回至少還未過指定時間的緩存資源。
-
max-stale 指令:Cache-Control: max-stale=3600(單位:秒)
- 使用 max-stale 可指示緩存資源,即使過期也照常接收。
- 如果指令未指定參數值,那么無論經過多久,客戶端都會接收響應;如果指定了具體參數值,那么即使過期,只要仍處于 max-stale 指定的時間內,仍舊會被客戶端接收。
-
only-if-cached 指令:Cache-Control: only-if-cached
- 表示客戶端僅在緩存服務器本地緩存目標資源的情況下才會要求其返回。
- 換言之,該指令要求緩存服務器不重新加載響應,也不會再次確認資源的有效性。
-
must-revalidate 指令:Cache-Control: must-revalidate
- 使用 must-revalidate 指令,代理會向源服務器再次驗證即將返回的響應緩存目前是否仍有效。
- 另外,使用 must-revalidate 指令會忽略請求的 max-stale 指令。
-
proxy-revalidate 指令:Cache-Control: proxy-revalidate
- proxy-revalidate 指令要求所有的緩存服務器在接收到客戶端帶有該指令的請求返回響應之前,必須再次驗證緩存的有效性。
-
no-transform 指令:Cache-Control: no-transform
- 使用 no-transform 指令規定無論是在請求還是響應中,緩存都不能改變實體主體的媒體類型。這樣做可防止緩存或代理壓縮圖片等類似操作。
-
-
Cache-Control 擴展:Cache-Control: private, community=“UCI”
- 通過 cache-extension 標記(token),可以擴展 Cache-Control 首部字段內的指令。
- 上述 community 指令即擴展的指令,如果緩存服務器不能理解這個新指令,就會直接忽略掉。
(2)Connection:Connection 首部字段具備以下兩個作用:
- 控制不再轉發的首部字段
- Connection: Upgrade:在客戶端發送請求和服務器返回響應中,使用 Connection 首部字段,可控制不再轉發給代理的首部字段,即刪除后再轉發(即Hop-by-hop首部)。
- 管理持久連接
- Connection: close
- HTTP/1.1 版本的默認連接都是持久連接。
- 當服務器端想明確斷開連接時,則指定 Connection 首部字段的值為 close。
- Connection: Keep-Alive
- HTTP/1.1 之前的 HTTP 版本的默認連接都是非持久連接。
- 為此,如果想在舊版本的 HTTP 協議上維持持續連接,則需要指定 Connection 首部字段的值為 Keep-Alive。
- Connection: close
(3)Date
- 表明創建 HTTP 報文的日期和時間。
- HTTP/1.1 協議使用在 RFC1123 中規定的日期時間的格式:Date: Mon, 10 Jul 2017 15:50:06 GMT
(4)Pragma
- Pragma 首部字段是 HTTP/1.1 版本之前的歷史遺留字段,僅作為與 HTTP/1.0 的向后兼容而定義。
- Pragma: no-cache
- 該首部字段屬于通用首部字段,但只用在客戶端發送的請求中,要求所有的中間服務器不返回緩存的資源。
- 所有的中間服務器如果都能以 HTTP/1.1 為基準,那直接采用 Cache-Control: no-cache 指定緩存的處理方式最為理想。但是要整體掌握所有中間服務器使用的 HTTP 協議版本卻是不現實的,所以,發送的請求會同時包含下面兩個首部字段:
(5)Trailer:Expires
- 首部字段 Trailer 會事先說明在報文主體后記錄了哪些首部字段。
- 可應用在 HTTP/1.1 版本分塊傳輸編碼時。
(6)Transfer-Encoding:chunked
- 規定了傳輸報文主體時采用的編碼方式。
- HTTP/1.1 的傳輸編碼方式僅對分塊傳輸編碼有效。
(7)Upgrade:TSL/1.0
- 用于檢測 HTTP 協議及其他協議是否可使用更高的版本進行通信,其參數值可以用來指定一個完全不同的通信協議。
(8)Via: 1.1 a1.sample.com(Squid/2.7)
- 為了追蹤客戶端和服務器端之間的請求和響應報文的傳輸路徑。
- 報文經過代理或網關時,會現在首部字段 Via 中附加該服務器的信息,然后再進行轉發。
- 首部字段 Via 不僅用于追蹤報文的轉發,還可避免請求回環的發生。
(9)Warning
- 該首部字段通常會告知用戶一些與緩存相關的問題的警告。
- Warning 首部字段的格式如下:
Warning:[警告碼][警告的主機:端口號] “[警告內容]”([日期時間])
最后的日期時間可省略。 - HTTP/1.1 中定義了7種警告,警告碼對應的警告內容僅推薦參考,另外,警告碼具備擴展性,今后有可能追加新的警告碼。
| 110 | Response is stale(響應已過期) | 代理返回已過期的資源 |
| 111 | Revalidation failed(再驗證失敗) | 代理再驗證資源有效性時失敗(服務器無法到達等原因) |
| 112 | Disconnection operation(斷開連接操作) | 代理與互聯網連接被故意切斷 |
| 113 | Heuristic expiration(試探性過期) | 響應的試用期超過24小時(有效緩存的設定時間大于24小時的情況下) |
| 199 | Miscellaneous warning(雜項警告) | 任意的警告內容 |
| 214 | Transformation applied(使用了轉換) | 代理對內容編碼或媒體類型等執行了某些處理時 |
| 299 | Miscellaneous persistent warning(持久雜項警告) | 任意的警告內容 |
⑤ 請求首部字段(HTTP/1.1)
| Accept | 用戶代理可處理的媒體類型 |
| Accept-Charset | 優先的字符集 |
| Accept-Encoding | 優先的內容編碼 |
| Accept-Language | 優先的語言(自然語言) |
| Authorization | Web認證信息 |
| Expect | 期待服務器的特定行為 |
| From | 用戶的電子郵箱地址 |
| Host | 請求資源所在服務器 |
| If-Match | 比較實體標記(ETag) |
| If-Modified-Since | 比較資源的更新時間 |
| If-None-Match | 比較實體標記(與 If-Macth 相反) |
| If-Range | 資源未更新時發送實體 Byte 的范圍請求 |
| If-Unmodified-Since | 比較資源的更新時間(與 If-Modified-Since 相反) |
| Max-Forwards | 最大傳輸逐跳數 |
| Proxy-Authorization | 代理服務器要求客戶端的認證信息 |
| Range | 實體的字節范圍請求 |
| Referer | 對請求中 URI 的原始獲取方 |
| TE | 傳輸編碼的優先級 |
| User-Agent | HTTP 客戶端程序的信息 |
(1)Accept:text/html, application/xhtml+xml, application/xml; q=0.5
- Accept 首部字段可通知服務器,用戶代理能夠處理的媒體類型及媒體類型的相對優先級。可使用 type/subtype 這種形式,一次指定多種媒體類型。
- 若想要給顯示的媒體類型增加優先級,則使用 q=[數值] 來表示權重值,用分號(;)進行分隔。權重值的范圍 0~1(可精確到小數點后三位),且 1 為最大值。不指定權重值時,默認為 1。
(2)Accept-Charset:iso-8859-5, unicode-1-1; q=0.8
- Accept-Charset 首部字段可用來通知服務器用戶代理支持的字符集及字符集的相對優先順序。
- 另外,可一次性指定多種字符集。同樣使用 q=[數值] 來表示相對優先級。
(3)Accept-Encoding:gzip, deflate
- Accept-Encoding 首部字段用來告知服務器用戶代理支持的內容編碼及內容編碼的優先順序,并可一次性指定多種內容編碼。
- 同樣使用 q=[數值] 來表示相對優先級。也可使用星號(*)作為通配符,指定任意的編碼格式。
(4)Accept-Language:zh-cn,zh;q=0.7,en=us,en;q=0.3
- 告知服務器用戶代理能夠處理的自然語言集(指中文或英文等),以及自然語言集的相對優先級,可一次性指定多種自然語言集。
- 同樣使用 q=[數值] 來表示相對優先級。
(5)Authorization
- 告知服務器用戶代理的認證信息(證書值)。通常,想要通過服務器認證的用戶代理會在接收到返回的 401 狀態碼響應后,把首部字段 Authorization 加入請求中。
- 共用緩存在接收到含有 Authorization 首部字段的請求時的操作處理會略有差異。
(6)Expect:100-continue
- 告知服務器客戶端期望出現的某種特定行為。
(7)From:XXXXXXX@163.com
- 告知服務器使用用戶代理的電子郵件地址。
(8)Host:www.csdn.com
- 告知服務器,請求的資源所處的互聯網主機和端口號。
- Host 首部字段是 HTTP/1.1 規范內唯一一個必須被包含在請求內的首部字段。
- 若服務器未設定主機名,那直接發送一個空值即可 Host: 。
(9)If-Match
- 形如 If-xxx 這種樣式的請求首部字段,都可稱為條件請求。
- 服務器接收到附帶條件的請求后,只有判斷指定條件為真時,才會執行請求。
- If-Match: “123456”
- 首部字段 If-Match,屬附帶條件之一,它會告知服務器匹配資源所用的實體標記(ETag)值。這時的服務器無法使用弱 ETag 值。
- 服務器會比對 If-Match 的字段值和資源的 ETag 值,僅當兩者一致時,才會執行請求。反之,則返回狀態碼 412 Precondition Failed 的響應。
- 還可以使用星號(*)指定 If-Match 的字段值。針對這種情況,服務器將會忽略 ETag 的值,只要資源存在就處理請求。
(10)If-Modified-Since:Mon, 10 Jul 2017 15:50:06 GMT
- 首部字段 If-Modified-Since,屬附帶條件之一,用于確認代理或客戶端擁有的本地資源的有效性。
- 它會告知服務器若 If-Modified-Since 字段值早于資源的更新時間,則希望能處理該請求。而在指定 If-Modified-Since 字段值的日期時間之后,如果請求的資源都沒有過更新,則返回狀態碼 304 Not Modified 的響應。
(11)If-None-Match
- 首部字段 If-None-Match 屬于附帶條件之一。
- 它和首部字段 If-Match 作用相反。
- 用于指定 If-None-Match 字段值的實體標記(ETag)值與請求資源的 ETag 不一致時,它就告知服務器處理該請求。
(12)If-Range
- 首部字段 If-Range 屬于附帶條件之一。它告知服務器若指定的 If-Range 字段值(ETag 值或者時間)和請求資源的 ETag 值或時間相一致時,則作為范圍請求處理。反之,則返回全體資源。
- 下面我們思考一下不使用首部字段 If-Range 發送請求的情況。服務器端的資源如果更新,那客戶端持有資源中的一部分也會隨之無效,當然,范圍請求作為前提是無效的。這時,服務器會暫且以狀態碼 412 Precondition Failed 作為響應返回,其目的是催促客戶端再次發送請求。這樣一來,與使用首部字段 If-Range 比起來,就需要花費兩倍的時間。
(13)If-Unmodified-Since:Mon, 10 Jul 2017 15:50:06 GMT
- 首部字段 If-Unmodified-Since 和首部字段 If-Modified-Since 的作用相反。
- 它的作用的是告知服務器,指定的請求資源只有在字段值內指定的日期時間之后,未發生更新的情況下,才能處理請求。
- 如果在指定日期時間后發生了更新,則以狀態碼 412 Precondition Failed 作為響應返回。
(14)Max-Forwards
- 通過 TRACE 方法或 OPTIONS 方法,發送包含首部字段 Max-Forwards 的請求時,該字段以十進制整數形式指定可經過的服務器最大數目。
- 服務器在往下一個服務器轉發請求之前,Max-Forwards 的值減 1 后重新賦值。
- 當服務器接收到 Max-Forwards 值為 0 的請求時,則不再進行轉發,而是直接返回響應。
(15)Proxy-Authorization
- 接收到從代理服務器發來的認證質詢時,客戶端會發送包含首部字段 Proxy-Authorization 的請求,以告知服務器認證所需要的信息。
- 這個行為是與客戶端和服務器之間的 HTTP 訪問認證相類似的,不同之處在于,認證行為發生在客戶端與代理之間。
(16)Range:bytes=5001-10000
- 對于只需獲取部分資源的范圍請求,包含首部字段 Range 即可告知服務器資源的指定范圍。
- 接收到附帶 Range 首部字段請求的服務器,會在處理請求之后返回狀態碼為 206 Partial Content 的響應。無法處理該范圍請求時,則會返回狀態碼 200 OK 的響應及全部資源。
(17)Referer
- 首部字段 Referer 會告知服務器請求的原始資源的 URI。
(18)TE:gzip, deflate; q=0.5
- 首部字段 TE 會告知服務器客戶端能夠處理響應的傳輸編碼方式及相對優先級。它和首部字段 Accept-Encoding 的功能很相像,但是用于傳輸編碼。
- 首部字段 TE 除指定傳輸編碼之外,還可以指定伴隨 trailer 字段的分塊傳輸編碼的方式。應用后者時,只需把 trailers 賦值給該字段值。TE: trailers
(19)User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:13.0) Gecko/20100101
- 首部字段 User-Agent 會將創建請求的瀏覽器和用戶代理名稱等信息傳達給服務器。
- 由網絡爬蟲發起請求時,有可能會在字段內添加爬蟲作者的電子郵件地址。此外,如果請求經過代理,那么中間也很可能被添加上代理服務器的名稱。
⑥ 響應首部字段(HTTP/1.1)
| Accept-Ranges | 是否接受字節范圍請求 |
| Age | 推算資源創建經過時間 |
| ETag | 資源的匹配信息 |
| Location | 令客戶端重定向至指定 URI |
| Proxy-Authenticate | 代理服務器對客戶端的認證信息 |
| Retry-After | 對再次發起請求的時機要求 |
| Server | HTTP 服務器的安裝信息 |
| Vary | 代理服務器緩存的管理信息 |
| WWW-Authenticate | 服務器對客戶端的認證信息 |
(1)Accept-Ranges:bytes
- 首部字段 Accept-Ranges 是用來告知客戶端服務器是否能處理范圍請求,以指定獲取服務器端某個部分的資源。
- 可指定的字段值有兩種,可處理范圍請求時指定其為 bytes,反之則指定其為 none。
(2)Age
- 首部字段 Age 能告知客戶端,源服務器在多久前創建了響應。字段值的單位為秒。
- 若創建該響應的服務器是緩存服務器,Age 值是指緩存后的響應再次發起認證到認證完成的時間值。代理創建響應時必須加上首部字段 Age。
(3)ETag
- 首部字段 ETag 能告知客戶端實體標識。它是一種可將資源以字符串形式做唯一性標識的方式。服務器會為每份資源分配對應的 ETag 值。
- 另外,當資源更新時,ETag 值也需要更新。生成 ETag 值時,并沒有統一的算法規則,而僅僅是由服務器來分配。
- ETag 中有強 ETag 值和弱 ETag 值之分。強 ETag 值,不論實體發生多么細微的變化都會改變其值;弱 ETag 值只用于提示資源是否相同。只有資源發生了根本改變,產生差異時才會改變 ETag 值。這時,會在字段值最開始處附加 W/: ETag: W/“usagi-1234”。
(4)Location
- 使用首部字段 Location 可以將響應接收方引導至某個與請求 URI 位置不同的資源。
- 基本上,該字段會配合 3xx :Redirection 的響應,提供重定向的 URI。
- 幾乎所有的瀏覽器在接收到包含首部字段 Location 的響應后,都會強制性地嘗試對已提示的重定向資源的訪問。
(5)Proxy-Authenticate
- 首部字段 Proxy-Authenticate 會把由代理服務器所要求的認證信息發送給客戶端。
- 它與客戶端和服務器之間的 HTTP 訪問認證的行為相似,不同之處在于其認證行為是在客戶端與代理之間進行的。
(6)Retry-After
- 首部字段 Retry-After 告知客戶端應該在多久之后再次發送請求。主要配合狀態碼 503 Service Unavailable 響應,或 3xx Redirect 響應一起使用。
- 字段值可以指定為具體的日期時間(Mon, 10 Jul 2017 15:50:06 GMT 等格式),也可以是創建響應后的秒數。
(7)Server
- 首部字段 Server 告知客戶端當前服務器上安裝的 HTTP 服務器應用程序的信息。
- 不單單會標出服務器上的軟件應用名稱,還有可能包括版本號和安裝時啟用的可選項。
(8)Vary
- 首部字段 Vary 可對緩存進行控制。源服務器會向代理服務器傳達關于本地緩存使用方法的命令。
- 從代理服務器接收到源服務器返回包含 Vary 指定項的響應之后,若再要進行緩存,僅對請求中含有相同 Vary 指定首部字段的請求返回緩存。即使對相同資源發起請求,但由于 Vary 指定的首部字段不相同,因此必須要從源服務器重新獲取資源。
(9)WWW-Authenticate
- 首部字段 WWW-Authenticate 用于 HTTP 訪問認證。
- 它會告知客戶端適用于訪問請求 URI 所指定資源的認證方案(Basic 或是 Digest)和帶參數提示的質詢(challenge)。
⑦ 實體首部字段(HTTP/1.1)
| Allow | 資源可支持的 HTTP 方法 |
| Content-Encoding | 實體主體適用的編碼方式 |
| Content-Language | 實體主體的自然語言 |
| Content-Length | 實體主體的大小(單位:字節) |
| Content-Location | 替代對應資源的 URI |
| Content-MD5 | 實體主體的報文摘要 |
| Content-Range | 實體主體的位置范圍 |
| Content-Type | 實體主體的媒體類型 |
| Expires | 實體主體過期的日期時間 |
| Last-Modified | 資源的最后修改日期時間 |
(1)Allow: GET, HEAD
- 首部字段 Allow 用于通知客戶端能夠支持 Request-URI 指定資源的所有 HTTP 方法。
- 當服務器接收到不支持的 HTTP 方法時,會以狀態碼 405 Method Not Allowed 作為響應返回。
- 與此同時,還會把所有能支持的 HTTP 方法寫入首部字段 Allow 后返回。
(2)Content-Encoding: gzip
- 首部字段 Content-Encoding 會告知客戶端服務器對實體的主體部分選用的內容編碼方式。
- 內容編碼是指在不丟失實體信息的前提下所進行的壓縮。
- 主要采用這 4 種內容編碼的方式(gzip、compress、deflate、identity)。
(3)Content-Language
- 首部字段 Content-Language 會告知客戶端,實體主體使用的自然語言(指中文或英文等語言)。
(4)Content-Length
- 首部字段 Content-Length 表明了實體主體部分的大小(單位是字節)。
- 對實體主體進行內容編碼傳輸時,不能再使用 Content-Length首部字段。
(5)Content-Location
- 首部字段 Content-Location 給出與報文主體部分相對應的 URI。
- 和首部字段 Location 不同,Content-Location 表示的是報文主體返回資源對應的 URI。
(6)Content-MD5
- 首部字段 Content-MD5 是一串由 MD5 算法生成的值,其目的在于檢查報文主體在傳輸過程中是否保持完整,以及確認傳輸到達。
(7)Content-Range
- 針對范圍請求,返回響應時使用的首部字段 Content-Range,能告知客戶端作為響應返回的實體的哪個部分符合范圍請求。
- 字段值以字節為單位,表示當前發送部分及整個實體大小。
(8)Content-Type
- 首部字段 Content-Type 說明了實體主體內對象的媒體類型。
- 和首部字段 Accept 一樣,字段值用 type/subtype 形式賦值。
- 參數 charset 使用 iso-8859-1 或 euc-jp 等字符集進行賦值。
(9)Expires
- 首部字段 Expires 會將資源失效的日期告知客戶端。
- 緩存服務器在接收到含有首部字段 Expires 的響應后,會以緩存來應答請求,在 Expires 字段值指定的時間之前,響應的副本會一直被保存。
- 當超過指定的時間后,緩存服務器在請求發送過來時,會轉向源服務器請求資源。
- 源服務器不希望緩存服務器對資源緩存時,最好在 Expires 字段內寫入與首部字段 Date 相同的時間值。
(10)Last-Modified
- 首部字段 Last-Modified 指明資源最終修改的時間。
- 一般來說,這個值就是 Request-URI 指定資源被修改的時間。
- 但類似使用 CGI 腳本進行動態數據處理時,該值有可能會變成數據最終修改時的時間。
⑧ 為 Cookie 服務的首部字段
| Set-Cookie | 開始狀態管理所使用的 Cookie 信息 | 響應首部字段 |
| Cookie | 服務器接收到的 Cookie 信息 | 請求首部字段 |
(1) Set-Cookie
- 例如:status=enable; expires=Mon, 10 Jul 2017 15:50:06 GMT; path=/;
- Set-Cookie 的字段值:
| NAME=VALUE | 賦予 Cookie 的名稱和其值(必需項) |
| expires=DATE | Cookie 的有效期(若不明確指定則默認為瀏覽器關閉前為止) |
| path=PATH | 將服務器上的文件目錄作為Cookie的適用對象(若不指定則默認為文檔所在的文件目錄) |
| domain=域名 | 作為 Cookie 適用對象的域名 (若不指定則默認為創建 Cookie的服務器的域名) |
| Secure | 僅在 HTTPS 安全通信時才會發送 Cookie |
| HttpOnly | 加以限制,使 Cookie 不能被 JavaScript 腳本訪問 |
- 屬性說明
-
expires 屬性
- Cookie 的 expires 屬性指定瀏覽器可發送 Cookie 的有效期。
- 當省略 expires 屬性時,其有效期僅限于維持瀏覽器會話(Session)時間段內。這通常限于瀏覽器應用程序被關閉之前。
- 另外,一旦 Cookie 從服務器端發送至客戶端,服務器端就不存在可以顯式刪除 Cookie 的方法。但可通過覆蓋已過期的 Cookie,實現對客戶端 Cookie 的實質性刪除操作。
-
path 屬性
- Cookie 的 path 屬性可用于限制指定 Cookie 的發送范圍的文件目錄。
-
domain 屬性
- 通過 Cookie 的 domain 屬性指定的域名可做到與結尾匹配一致。比如,當指定 example.com 后,除example.com 以外,www.example.com 或 www2.example.com 等都可以發送 Cookie。
- 因此,除了針對具體指定的多個域名發送 Cookie 之 外,不指定 domain 屬性顯得更安全。
-
secure 屬性
- Cookie 的 secure 屬性用于限制 Web 頁面僅在 HTTPS 安全連接時,才可以發送 Cookie。
-
HttpOnly 屬性
- Cookie 的 HttpOnly 屬性是 Cookie 的擴展功能,它使 JavaScript 腳本無法獲得 Cookie。其主要目的為防止跨站腳本攻擊(Cross-site scripting,XSS)對 Cookie 的信息竊取。
- 通過上述設置,通常從 Web 頁面內還可以對 Cookie 進行讀取操作。但使用 JavaScript 的 document.cookie 就無法讀取附加 HttpOnly 屬性后的 Cookie 的內容了。因此,也就無法在 XSS 中利用 JavaScript 劫持 Cookie 了。
-
(2)Cookie
- 首部字段 Cookie 會告知服務器,當客戶端想獲得 HTTP 狀態管理支持時,就會在請求中包含從服務器接收到的 Cookie。
- 接收到多個 Cookie 時,同樣可以以多個 Cookie 形式發送。
⑨ 其他首部字段
HTTP 首部字段是可以自行擴展的。所以在 Web 服務器和瀏覽器的應用上,會出現各種非標準的首部字段。
(1)X-Frame-Options
- 首部字段 X-Frame-Options 屬于 HTTP 響應首部,用于控制網站內容在其他 Web 網站的 Frame 標簽內的顯示問題。其主要目的是為了防止點擊劫持(clickjacking)攻擊。
- 首部字段 X-Frame-Options 有以下兩個可指定的字段值:
- DENY:拒絕
- SAMEORIGIN:僅同源域名下的頁面(Top-level-browsing-context)匹配時許可。(比如,當指定 http://sample.com/sample.html 頁面為 SAMEORIGIN 時,那么 sample.com 上所有頁面的 frame 都被允許可加載該頁面,而 example.com 等其他域名的頁面就不行了)
(2)X-XSS-Protection
- 首部字段 X-XSS-Protection 屬于 HTTP 響應首部,它是針對跨站腳本攻擊(XSS)的一種對策,用于控制瀏覽器 XSS 防護機制的開關。
- 首部字段 X-XSS-Protection 可指定的字段值如下:
- 0 :將 XSS 過濾設置成無效狀態
- 1 :將 XSS 過濾設置成有效狀態
(3)DNT
- 首部字段 DNT 屬于 HTTP 請求首部,其中 DNT 是 Do Not Track 的簡稱,意為拒絕個人信息被收集,是表示拒絕被精準廣告追蹤的一種方法。
- 首部字段 DNT 可指定的字段值如下:
- 0 :同意被追蹤
- 1 :拒絕被追蹤
- 由于首部字段 DNT 的功能具備有效性,所以 Web 服務器需要對 DNT做對應的支持。
(4)P3P
- 首部字段 P3P 屬于 HTTP 響應首部,通過利用 P3P(The Platform for Privacy Preferences,在線隱私偏好平臺)技術,可以讓 Web 網站上的個人隱私變成一種僅供程序可理解的形式,以達到保護用戶隱私的目的。
- 要進行 P3P 的設定,需按以下操作步驟進行:
- 步驟 1:創建 P3P 隱私
- 步驟 2:創建 P3P 隱私對照文件后,保存命名在 /w3c/p3p.xml
- 步驟 3:從 P3P 隱私中新建 Compact policies 后,輸出到 HTTP 響應中
八、HTTP 響應狀態碼
① 狀態碼概述
- HTTP 狀態碼負責表示客戶端 HTTP 請求的返回結果、標記服務器端的處理是否正常、通知出現的錯誤等工作。
- HTTP 狀態碼如 200 OK ,以 3 位數字和原因短語組成。數字中的第一位指定了響應類別,后兩位無分類。
- 不少返回的響應狀態碼都是錯誤的,但是用戶可能察覺不到這點。比如 Web 應用程序內部發生錯誤,狀態碼依然返回 200 OK。
② 狀態碼類別
| 1xx | Informational(信息性狀態碼) | 接收的請求正在處理 |
| 2xx | Success(成功狀態碼) | 請求正常處理完畢 |
| 3xx | Redirection(重定向狀態碼) | 需要進行附加操作以完成請求 |
| 4xx | Client Error(客戶端錯誤狀態碼) | 服務器無法處理請求 |
| 5xx | Server Error(服務器錯誤狀態碼) | 服務器處理請求出錯 |
我們可以自行改變 RFC2616 中定義的狀態碼或者服務器端自行創建狀態碼,只要遵守狀態碼的類別定義就可以了。
③ 常用狀態碼解析
HTTP 狀態碼種類繁多,數量達幾十種。其中最常用的有以下 14 種:
(1)200 OK
- 表示從客戶端發來的請求在服務器端被正常處理。
(2)204 No Content
- 代表服務器接收的請求已成功處理,但在返回的響應報文中不含實體的主體部分。另外,也不允許返回任何實體的主體。
- 一般在只需要從客戶端向服務器端發送消息,而服務器端不需要向客戶端發送新消息內容的情況下使用。
(3)206 Partial Content
- 表示客戶端進行了范圍請求,而服務器成功執行了這部分的 GET 請求。
- 響應報文中包含由 Content-Range 首部字段指定范圍的實體內容。
(4)301 Moved Permanently
- 永久性重定向。
- 表示請求的資源已被分配了新的 URI,以后應使用資源現在所指的 URI。
- 也就是說,如果已經把資源對應的 URI 保存為書簽了,這時應該按 Location 首部字段提示的 URI 重新保存。
(5)302 Found
- 臨時性重定向。
- 表示請求的資源已被分配了新的 URI,希望用戶(本次)能使用新的 URI 訪問。
- 和 301 Moved Permanently 狀態碼相似,但 302 Found 狀態碼代表資源不是被永久移動,只是臨時性質的。換句話說,已移動的資源對應的 URI 將來還有可能發生改變。
(6)303 See Other
- 表示由于請求的資源存在著另一個 URI,應使用 GET 方法定向獲取請求的資源。
- 303 See Other 和 302 Found 狀態碼有著相同的功能,但 303 See Other 狀態碼明確表示客戶端應采用 GET 方法獲取資源,這點與 302 Found 狀態碼有區別。
(7)304 Not Modified
- 表示客戶端發送附帶條件的請求時,服務器端允許請求訪問的資源,但未滿足條件的情況。
- 304 Not Modified 狀態碼返回時,不包含任何響應的主體部分。
- 304 Not Modified 雖然被劃分到 3xx 類別中,但和重定向沒有關系。
(8)307 Temporary Redirect
- 臨時重定向。該狀態碼與 302 Found 有著相同的含義。
(9)400 Bad Request
- 表示請求報文中存在語法錯誤。
- 當錯誤發生時,需修改請求的內容后再次發送請求。
- 另外,瀏覽器會像 200 OK 一樣對待該狀態碼。
(10)401 Unauthorized
- 表示發送的請求需要有通過 HTTP 認證(BASIC 認證、DIGEST 認證)的認證信息。
- 另外,若之前已進行過 1 次請求,則表示用戶認證失敗。
- 返回含有 401 Unauthorized 的響應必須包含一個適用于被請求資源的 WWW-Authenticate 首部用以質詢(challenge)用戶信息。
(11)403 Forbidden
- 表明對請求資源的訪問被服務器拒絕了。
- 服務器端沒有必要給出詳細的拒絕理由,當然也可以在響應報文的實體主體部分對原因進行描述。
(12)404 Not Found
- 表明服務器上無法找到請求的資源。
- 除此之外,也可以在服務器端拒絕請求且不想說明理由的時候使用。
(13)500 Internal Server Error
- 表明服務器端在執行請求時發生了錯誤。
- 也可能是 Web 應用存在的 bug 或某些臨時的故障。
(14)503 Service Unavailable
- 表明服務器暫時處于超負載或正在進行停機維護,現在無法處理請求。
- 如果事先得知解除以上狀況需要的時間,最好寫入 Retry-After 首部字段再返回給客戶端。
九、HTTP 報文實體
① HTTP 報文實體概述
- 如果把 HTTP 報文想象成因特網貨運系統中的箱子,那么 HTTP 實體就是報文中實際的貨物。
- 報文:是網絡中交換和傳輸的數據單元,即站點一次性要發送的數據塊。報文包含了將要發送的完整的數據信息,其長短很不一致,長度不限且可變。
- 實體:作為請求或響應的有效載荷數據(補充項)被傳輸,其內容由實體首部和實體主體組成。(實體首部相關內容在上面第六點中已有闡述。)
- 可以看到,上面示例右圖中深紅色框的內容就是報文的實體部分,而藍色框的兩部分內容分別就是實體首部和實體主體。而左圖中粉紅框內容就是報文主體。
- 通常,報文主體等于實體主體。只有當傳輸中進行編碼操作時,實體主體的內容發生變化,才導致它和報文主體產生差異。
② 內容編碼
- HTTP 應用程序有時在發送之前需要對內容進行編碼。例如,在把很大的 HTML 文檔發送給通過慢速連接上來的客戶端之前,服務器可能會對其進行壓縮,這樣有助于減少傳輸實體的時間。
- 服務器還可以把內容攪亂或加密,以此來防止未授權的第三方看到文檔的內容。
- 這種類型的編碼是在發送方應用到內容之上的。當內容經過內容編碼后,編好碼的數據就放在實體主體中,像往常一樣發送給接收方。
- 內容編碼類型:
| gzip | 表明實體采用 GNU zip 編碼 |
| compress | 表明實體采用 Unix 的文件壓縮程序 |
| deflate | 表明實體采用 zlib 的格式壓縮的 |
| identity | 表明沒有對實體進行編碼,當沒有 Content-Encoding 首部字段時,默認采用此編碼方式 |
③ 傳輸編碼
- 內容編碼是對報文的主體進行的可逆變換,是和內容的具體格式細節緊密相關的。
- 傳輸編碼也是作用在實體主體上的可逆變換,但使用它們是由于架構方面的原因,同內容的格式無關。
- 使用傳輸編碼是為了改變報文中的數據在網絡上傳輸的方式。
④ 分塊編碼
- 分塊編碼把報文分割成若干已知大小的塊。塊之間是緊挨著發送的,這樣就不需要在發送之前知道整個報文的大小了。分塊編碼是一種傳輸編碼,是報文的屬性。
- 分塊編碼與持久連接
- 若客戶端與服務器端之間不是持久連接,客戶端就不需要知道它在讀取的主體的長度,而只需要讀取到服務器關閉主體連接為止。
- 當使用持久連接時,在服務器寫主體之前,必須知道它的大小并在 Content-Length 首部中發送。如果服務器動態創建內容,就可能在發送之前無法知道主體的長度。
- 分塊編碼為這種困難提供了解決方案,只要允許服務器把主體分塊發送,說明每塊的大小就可以了。因為主體是動態創建的,服務器可以緩沖它的一部分,發送其大小和相應的塊,然后在主體發送完之前重復這個過程。服務器可以用大小為 0 的塊作為主體結束的信號,這樣就可以繼續保持連接,為下一個響應做準備。
⑤ 多部分媒體類型
- MIME 中的 multipart(多部分)電子郵件報文中包含多個報文,它們合在一起作為單一的復雜報文發送。
- 每一部分都是獨立的,有各自的描述其內容的集,不同部分之間用分界字符串連接在一起。
- 相應得,HTTP 協議中也采納了多部分對象集合,發送的一份報文主體內可包含多種類型實體。
- 多部分對象集合包含的對象如下:
- multipart/form-data:在 Web 表單文件上傳時使用。
- multipart/byteranges:狀態碼 206 Partial Content 響應報文包含了多個范圍的內容時使用。
⑥ 范圍請求
- 假設正在下載一個很大的文件,已經下了四分之三,忽然網絡中斷了,那下載就必須重頭再來一遍。為了解決這個問題,需要一種可恢復的機制,即能從之前下載中斷處恢復下載。要實現該功能,這就要用到范圍請求。
- 有了范圍請求, HTTP 客戶端可以通過請求曾獲取失敗的實體的一個范圍(或者說一部分),來恢復下載該實體。當然這有一個前提,那就是從客戶端上一次請求該實體到這一次發出范圍請求的時間段內,該對象沒有改變過。
十、與 HTTP 協作的 Web 服務器
① 代理
- HTTP 代理服務器是 Web 安全、應用集成以及性能優化的重要組成模塊。
- 代理位于客戶端和服務器端之間,接收客戶端所有的 HTTP 請求,并將這些請求轉發給服務器(可能會對請求進行修改之后再進行轉發)。
- 對用戶來說,這些應用程序就是一個代理,代表用戶訪問服務器。
- 出于安全考慮,通常會將代理作為轉發所有 Web 流量的可信任中間節點使用。
- 代理還可以對請求和響應進行過濾,安全上網或綠色上網。
② 緩存
- 瀏覽器第一次請求
- 瀏覽器再次請求:
- Web 緩存或代理緩存是一種特殊的 HTTP 代理服務器,可以將經過代理傳輸的常用文檔復制保存起來。
- 下一個請求同一文檔的客戶端就可以享受緩存的私有副本所提供的服務了。
- 客戶端從附近的緩存下載文檔會比從遠程 Web 服務器下載快得多。
③ 網關
- 網關是一種特殊的服務器,作為其他服務器的中間實體使用。
- 通常用于將 HTTP 流量轉換成其他的協議。
- 網關接收請求時就好像自己是資源的源服務器一樣。
- 客戶端可能并不知道自己正在跟一個網關進行通信。
④ 隧道
- 隧道是會在建立起來之后,就會在兩條連接之間對原始數據進行盲轉發的 HTTP 應用程序。
- HTTP 隧道通常用來在一條或多條 HTTP 連接上轉發非 HTTP 數據,轉發時不會窺探數據。
- HTTP 隧道的一種常見用途就是通過 HTTP 連接承載加密的安全套接字層(SSL)流量,這樣 SSL 流量就可以穿過只允許 Web 流量通過的防火墻了。
⑤ Agent 代理
- Agent 代理是代表用戶發起 HTTP 請求的客戶端應用程序。
- 所有發布 Web 請求的應用程序都是 HTTP Agent 代理。
十一、基于 HTTP 的功能追加協議
① 消除 HTTP 瓶頸的 SPDY
- google 發布 SPDY 目標解決 HTTP 的性能瓶頸,縮短Web頁面的加載時間(50%);
- Facebook 和 Twitter這樣的SNS網站上,為了盡可能實時地顯示這些更新的內容,服務器上一有內容更新,就需要直接把那些內容反饋到客戶端的界面上。如果使用HTTP,需要頻繁地從客戶端到服務端進行確認,如果服務器上沒有內容更新,那么就會產生徒勞的通信。
- 一條連接上只可發送一個請求。
- 請求只能從客戶端開始,客戶端不可以接收除響應以外的指令
- 請求/響應首部未經壓縮就發送,首部信息越多延遲越大。
- 發送冗長的首部,每次互相發送相同首部造成的浪費較多。
- 可任意選數據壓縮格式,非強制壓縮發送。
- AJAX的解決方法:
- Comet的解決方法:Comet會將響應置于掛起狀態,當服務器端有內容更新時,再返回該響應。因此服務器一旦有更新,就可以立即反饋給客戶端。雖然可以做到實時更新,但為了保留想有,一次連接的持續時間也變長了,也會消耗更多資源。仍未解決根本問題。
- SPDY的目標
- 設計與功能,在應用層與運輸層之間通過新加會話層的形式運作。同時,考慮到安全性問題,SPDY規定通信中使用SSL。
- 使用SPDY后,HTTP協議額外獲得以下功能:
- 多路復用流:一個TCP連接,可以處理無限多個HTTP請求;
- 賦予請求優先級:解決因寬帶低而導致響應變慢的問題。
- 壓縮HTTP首部;
- 推送功能:支持服務器主動向客戶端推送數據的功能。
- 服務器提示功能:服務器可以主動提示客戶端請求所需的資源。客戶端發現資源之前就可以獲知資源的存在,因此在資源已緩存等情況下,可以避免發送不必要的請求。
- SPDY消除Web瓶頸了嗎?
- 實際運用狀態不佳
- 只將單個域名的通信多路復用,因為SPDY基本上只是將單個域名的通信多路復用,當一個Web網站上使用多個域名下的資源,改善效果就會受限。
- 并非所有瓶頸問題都是因為HTTP問題,所以還需要其他方面的改善。
② 使用瀏覽器進行全雙工通信WebSocket
問題在于通信若使用HTTP協議,就無法徹底解決瓶頸問題:
- WebSocket的設計與功能:解決XMLHttpRequest附帶的缺陷引起的問題。
- WebSocket協議:一旦服務器與客戶端建立起該協議的通信,之后所有的通信都依靠這個專用協議進行。因為基于HTTP,因此發起方仍是客戶端。
- 推送功能
- 減少通信量:連接就一直保持連接狀態。和HTTP相比,不但每次連接時的總開銷減少,由于WebSocket的首部信息很小,通信量也相應減少了。
- 握手-請求:為了實現WebSocket通信,需要用到HTTP的Upgrade首部字段,告知服務器通信協議發生改變,以達到握手的目的。
- Sec-WebSocket-Key:記錄握手過程中必不可少的鍵值;
- Sec-WebSocket-Protocol:使用的子協議(在連接分開使用時,定義那些連接的名稱)
- 握手-響應:對于之前的請求,返回狀態碼101 Switching Protocols的響應。
- Sec-WebSocket-Key由請求中的Key字段值生成。
- 成功連接后,通信時不再使用HTTP的數據幀,而采用WebSockets獨立數據幀。
③ 期盼已久的HTTP/2.0
- 特點:改善用戶在使用Web時的速度體驗。
- 基于以下幾點:
- SPDY
- HTTP Speed + Mobility
- Network-Friendly HTTP Upgrade
| 多路復用 | SPDY |
| TLS義務化 | Speed+Mobility |
| 協商 | Speed+Mobility,Friendly |
| 客戶端拉拽(Client Pull) / 服務器推送(ServerPush) | Speed+Mobility |
| 流量控制 | SPDY |
| WebSocket | Speed+Mobility |
- 注意:HTTP Speed+Mobility 簡寫為 Speed+Mobility,Network-Friendly HTTP Upgrade 簡寫為 Friendly。
總結
以上是生活随笔為你收集整理的【网络通信与信息安全】之深入解析HTTP协议的实现和原理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MySQL之深入解析一条SQL的执行流程
- 下一篇: 【网络通信与信息安全】之深入解析TCP的