許多企事業(yè)單位的核心業(yè)務(wù)系統(tǒng)通常對穩(wěn)定性、性能和擴(kuò)展性有很高的要求。應(yīng)用負(fù)載均衡設(shè)備通過對服務(wù)器建立有效的健康檢查和負(fù)載均衡機(jī)制，提供一種高性價比、透明的容錯方法擴(kuò)容網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、吞吐量和數(shù)據(jù)處理能力，提高網(wǎng)絡(luò)的靈活性和可用性。這些特性使得應(yīng)用負(fù)載均衡備受青睞。但同時負(fù)載均衡出的問題也會經(jīng)常讓網(wǎng)管人員“頭痛”。這里我們分享了一個典型的由于負(fù)載均衡設(shè)備造成的業(yè)務(wù)訪問失敗的案例。

與鏈路負(fù)載均衡設(shè)備一樣，作為流量轉(zhuǎn)發(fā)的一環(huán)，應(yīng)用負(fù)載均衡設(shè)備也可能導(dǎo)致業(yè)務(wù)訪問失敗。

1.1?? 問題描述

1.1.1 故障環(huán)境

客戶端通過10.189.96.171訪問客服web，負(fù)載均衡設(shè)備-1的IP為10.189.96.169，負(fù)載均衡設(shè)備-2的IP為10.189.96.170，負(fù)載均衡設(shè)備-1和負(fù)載均衡設(shè)備-2通過自身的IP與客服web( 10.191.121.x)通訊，負(fù)載均衡設(shè)備轉(zhuǎn)發(fā)客戶端的請求，然后再將響應(yīng)轉(zhuǎn)發(fā)給客戶端。

1.1.2 故障現(xiàn)象

客戶端通過189.96.171訪問Web服務(wù)器，會出現(xiàn)404 not found提示：

圖 1?2

客戶端直接訪問客服web的IP則不會出現(xiàn)問題，懷疑負(fù)載均衡設(shè)備轉(zhuǎn)發(fā)存在問題，需要找到數(shù)據(jù)進(jìn)行驗證。

1.2 ? 分析過程

1.2.1 分析思路

本故障中出404 NOT? FOUND錯誤的原因有兩個：

一個客戶發(fā)起的請求不存在，

二是負(fù)載均衡設(shè)備轉(zhuǎn)發(fā)客戶端的請求存在問題。

原因一的分析確認(rèn)方法：

提取404 NOT FOUND會話中的客戶端請求，直接訪問可以確定客戶的請求是否有效，經(jīng)驗證，出現(xiàn)404 NOT FOUND提示的請求直接可以訪問，從而排除了第一個原因。

原因二的分析確認(rèn)方法：

將客戶端的請求與負(fù)載均衡設(shè)備轉(zhuǎn)的請求進(jìn)行對比分析，確定負(fù)載均衡設(shè)備的轉(zhuǎn)化是否存在問題。這也是這次分析的重點。

1.2.2 前期分析準(zhǔn)備

通過客戶反饋，找出錯誤提示的會話，提取關(guān)鍵字：

圖 1?3

經(jīng)過與用戶確認(rèn)，每個出錯頁面的content=“WebLogic Server”；

數(shù)據(jù)流信息包括客戶端IP、sessionID等關(guān)鍵字；

提取正常訪問數(shù)據(jù)，為對比分析做準(zhǔn)備。

客戶端與負(fù)載均衡設(shè)備正常的通訊數(shù)據(jù)：

圖 1?4

客戶端的請求里包括詳細(xì)的get請求，客戶端IP、 sna_cookie和login_cookie信息。

負(fù)載均衡設(shè)備與服務(wù)器的正常通訊分析：

圖 1?5

負(fù)載均衡設(shè)備(10.189.96.70)發(fā)起請求，包含的信息與客戶端發(fā)出的請求信息一致。

1.2.3 分析過程

由于需要完整抓取客戶端到負(fù)載均衡設(shè)備和負(fù)載均衡設(shè)備到客服web的所有數(shù)據(jù)，而且該現(xiàn)像不定期出現(xiàn)，所以鏡像負(fù)載均衡設(shè)備端口，并部署科來網(wǎng)絡(luò)回溯分析系統(tǒng)進(jìn)行數(shù)據(jù)采集，等問題重現(xiàn)后提取數(shù)據(jù)包分析。

圖 1?6

客戶端與負(fù)載均衡設(shè)備的通訊數(shù)據(jù)分析：

客戶端(10.191.138.210)發(fā)起GET請求，請求數(shù)據(jù)1.601KB，內(nèi)容包括客戶端IP、 sna_cookie和login_cookie等信息，服務(wù)器10.189.96.171響應(yīng)404 NOT FOUND，客戶端的端口為1359。

圖 1?7

再看客戶端與負(fù)載均衡設(shè)備的數(shù)據(jù)流信息驗證：

圖 1?8

客戶端的請求里包括詳細(xì)的get請求，客戶端IP、 sna_cookie和login_cookie信息，且服務(wù)器的錯誤響應(yīng)包含content=“WebLogic Server”。

負(fù)載均衡設(shè)備與服務(wù)器的通訊分析

提取負(fù)載均衡設(shè)備與服務(wù)器的通訊，設(shè)置高級過濾器：(請求里的cookie有客戶端的IP信息，數(shù)據(jù)流包括WebLogic Server，還可以通過sessionID等)。

圖 1?9

負(fù)載均衡設(shè)備(10.189.96.70)發(fā)起請求，請求數(shù)據(jù)826B，小于客戶端的請求數(shù)據(jù)(未見get請求)，服務(wù)器10.191.121.32響應(yīng)404 NOT FOUND，負(fù)載均衡設(shè)備的端口為1359，與客戶端的端口一樣。

與客戶端的請求綜合對比分析可知，負(fù)載均衡設(shè)備與服務(wù)器端通訊的請求不完整，未見sna_cookie信息，但通過login_cookie，客戶端IP，sessionid等信息可以確定這是與客戶端請求負(fù)載均衡設(shè)備的同一會話，且服務(wù)器的錯誤響應(yīng)包含content=“WebLogic Server”。

圖 1?10

1.3 ? 分析結(jié)論與建議

負(fù)載均衡設(shè)備轉(zhuǎn)發(fā)的請求與客戶端發(fā)出的請求不一致，導(dǎo)致客戶端訪問客服web出現(xiàn)4O4 NOT FOUND提示，該問題與客戶端和服務(wù)器無關(guān)，應(yīng)是負(fù)載均衡設(shè)備的轉(zhuǎn)發(fā)存在BUG。

1.4 ?價值

當(dāng)應(yīng)用出現(xiàn)不能訪問時，我們通常會懷疑是某個網(wǎng)絡(luò)設(shè)備或端點設(shè)備的問題，比如本案例我們懷疑是應(yīng)用負(fù)載均衡的問題，但如果缺乏有效的手段和工具，排查問題將會耗費大量的時間。

通過網(wǎng)絡(luò)分析技術(shù)能夠幫助用戶進(jìn)行數(shù)據(jù)包級的精細(xì)分析，可以看出數(shù)據(jù)包在傳輸中是否存在異常，迅速定位異常節(jié)點，從而進(jìn)行快速排障。

總結(jié)

以上是生活随笔為你收集整理的服务器负载信息失败,网络故障分析案例：负载均衡系统造成网络业务访问失败...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。