簡介：CDN是通過在全球范圍內分布式地部署邊緣服務器將各類互聯網內容緩存到靠近用戶的邊緣服務器上，從而降低用戶訪問時延并大幅減少穿越互聯網核心網的流量。互聯網業務使用CDN已經成為一種必然的選擇。

企業邊緣應用面臨的挑戰

CDN是通過在全球范圍內分布式地部署邊緣服務器將各類互聯網內容緩存到靠近用戶的邊緣服務器上，從而降低用戶訪問時延并大幅減少穿越互聯網核心網的流量。互聯網業務使用CDN已經成為一種必然的選擇。傳統網站防護基本上都是保護源站，客戶購買防火墻、WAF等產品就可以保護自己核心業務的內容不被惡意竊取。但傳統防護方式并不能完全滿足業務流量通過CDN分發的場景：

部署位置在源站前，主要為了保護源站。在CDN架構中，頁面基本都緩存在CDN上，爬蟲可以直接從CDN上直接爬走用戶敏感業務數據。

識別手段主要依靠在用戶頁面中嵌入JS，這種方式本質上修改了用戶的頁面，有很強的侵入性，并且只能適配web業務，針對api業務不生效。

處置手段一般通過頻次控制，對高頻的IP等特征進行限制，這種方式容易被繞過，現在爬蟲基本都會采用IP代理池的方式，隨機修改請求的header字端，這樣很難找到特征進行頻次控制。

CDN當前承接了主站大量業務，也必然要保證業務瀏覽和交易體驗，防止內容不被惡意竊取。越來越多的業務數據緩存在CDN的邊緣服務器上，邊緣安全的權重越來越高。而基于邊緣云的機器流量管理應運而生，應對CDN邊緣安全隱患，實現用戶應用數據安全保護。

邊緣云的機器流量管理的實現及優勢

基于CDN邊緣節點的機器流量管理分析及處理流程如下圖所示：

互聯網訪問一般分為用戶正常，商業搜索引擎訪問，惡意爬蟲訪問等，機器流量管理通過在邊緣提取請求報文特征，基于報文特征識別請求類型，在邊緣阻斷惡意爬蟲訪問，保護CDN上緩存資源不被惡意爬取。

機器流量管理的優勢如下：

基于CDN邊緣網絡架構實現機器流量管理能力，通過請求報文特征識別域名的請求類型，區分是正常的請求還是惡意的機器請求，幫助用戶管理自己的請求，阻斷惡意請求。

通過識別域名的請求類型，實時標記出請求的報文類型，非常直觀的展示出當前的業務請求中的報文類型，客戶可以直觀的感知到自己的網站的訪問類型分布情況，針對異常的報文類型進行處置。

通過處置報文類型而不是處置IP，只要惡意請求的報文類型不變，攻擊者隨機頭部字段或者使用秒撥代理IP池都無法繞過。

機器流量管理實際結果驗證

在雙11業務場景，機器流量管理針對訪問主站詳情頁的全部流量做識別，并對?Bot?流量進行細化分類。核心策略是放行搜索引擎等正規商業爬蟲，限制或攔截惡意爬蟲。

通過分析詳情頁的流量以及請求的行為特征，分析出近40%的請求都是惡意訪問。在雙11前，通過開啟了處置策略，成功幫助主站某業務攔截了超過70%的爬蟲流量。下圖為開啟處置前后的流量對比情況，藍線為未開啟處置策略是的流量趨勢，綠線為開啟處置策略后的流量趨勢，攔截效果非常明顯，并且不影響實際業務運行。

雙11當日，基本上請求的訪問特征沒有變化，最終攔截數億次惡意請求、上百萬惡意IP及數千萬惡意爬取商品ID。

CDN機器流量管理承擔更多主站業務的防護，并且發現部分爬取主站內容的請求可以透過防護策略，即爬取的請求行為發生了變化。通過對線上突增qps分析，定位出變異爬蟲主要使用的是IE的瀏覽器引擎，源IP大量使用秒撥代理IP，具有明顯的商業爬蟲特征。經上報，快速形成了應急預案，快速對異常類型進行處置。

原文鏈接：https://developer.aliyun.com/article/785249?

版權聲明：本文內容由阿里云實名注冊用戶自發貢獻，版權歸原作者所有，阿里云開發者社區不擁有其著作權，亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將立刻刪除涉嫌侵權內容。 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的基于边缘云的机器流量管理技术实战的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。