一、大型網站的軟件系統的特點

• 高并發，大流量
• 高可用
• 海量數據
• 用戶分布廣泛，網絡情況復雜
• 安全環境惡劣
• 需求快速變更，發布頻繁
• 漸進式發展

二、大型網站的架構演化發展歷程

1、初始階段的網站架構

最開始網站的應用程序、數據庫、文件等所有的資源都在一臺服務器上。最典型的就是LAMP技術了：服務器操作系統使用Linux，應用程序使用PHP開發，數據庫使用MySQL，然后部署在Apache上。

2、應用服務和數據服務分離

隨著網站業務的發展，一臺服務器的性能和存儲空間逐漸不能滿足需求，這時就將應用和數據分離，整個網站使用三臺服務器：應用服務器、文件服務器和數據庫服務器。三臺服務器對硬件資源的要求也各不相同：應用服務器需要更快更強大的CPU，數據庫服務器需要更快的硬盤的更大的內存，文件服務器需要更大的硬盤。

3、使用緩存改善網站性能

網站訪問特點和現實世界的財富分配一樣遵循二八定律：80%的業務訪問集中在20%的數據上。把大部分業務訪問的小部分數據緩存在內存中，可以減少數據庫的訪問壓力，提高整個網站的數據訪問速度。

緩存可以分為兩種：應用服務器上的本地緩存和分布式緩存服務器上的遠程緩存。本地緩存訪問速度更快，但緩存數據有限，而且會出現和應用程序爭用內存的情況。遠程緩存可以使用集群的方式，理論上可以做到不受內存容量的限制。

4、使用應用服務器集群改善網站的并發處理能力

一臺應用服務器所能處理的請求有限（一臺Tomcat大概六七百），企圖去換更強大的服務器也終究會滿足不了持續增長的業務需求，而且網站有訪問高峰期和低谷期，擴展性也不好。使用集群是網站解決高并發、海量數據問題的常用手段。通過負載均衡調度服務器，可將來自用戶瀏覽器的訪問請求分發到應用服務器集群中的任何一臺服務器上。

5、數據庫讀寫分離

使用緩存后，仍有一部分讀操作（緩存訪問不命中、緩存過期）和全部的寫操作需要訪問數據庫。數據庫服務器也終究會因為負載壓力過高而成為網站的瓶頸。

目前大部分的主流數據庫都提供主從熱備功能，通過配置兩臺數據庫主從關系，可以將一臺數據庫服務器的數據更新同步到另一臺數據庫服務器。

應用服務器在寫數據的時候，訪問主數據庫，主數據庫通過主從復制機制將數據更新同步到從數據庫，這樣當應用服務器讀數據的時候，就可以通過從數據庫獲得數據。

6、使用反向代理和CDN加速網站響應

CDN和反向代理的基本原理都是緩存，區別在于CDN部署在網絡提供商的機房，使用戶在請求網站服務時，可以從距離自己最近的網絡提供商機房獲取數據；而反向代理則部署在網站的中心機房，當用戶請求到達中心機房后，首先訪問的服務器是反向代理服務器，如果反向代理服務器中緩存著用戶請求的資源，就將其直接返回給用戶。

7、使用分布式文件系統和分布式數據庫系統

只有在單表數據規模非常龐大的時候才使用分布式數據庫。網站更常用的數據庫拆分手段是業務分庫。

8、使用NoSQL和搜索引擎

隨著網站業務越來越復雜，對數據存儲和檢索的需求也越來越復雜，關系型數據庫逐漸不能滿足需求。網站需要采用一些非關系型數據庫技術如NoSQL和非數據庫查詢技術如搜索引擎。

9、業務拆分

大型網站為了應對日益復雜的業務場景，通過使用分而治之的手段將整個網站按業務拆分，如購物系統將首頁、商鋪、訂單、購物車、支付等分成不同模塊，分歸不同的團隊負責，作為不同的應用獨立開發和獨立部署。用得最多的是各應用通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

10、分布式服務

既然每一個應用系統都需要執行許多相同的業務操作，比如用戶管理、商品管理等，那么可以將這些公用的業務提取出來，獨立部署。由這些可復用的業務連接數據庫，提供公用業務服務，而應用系統只需要管理用戶界面，通過分布式服務調用共用業務服務完成具體業務操作。

三、大型網站的架構模式

1、分層

對網站軟件系統在橫向方面進行切分，分為應用層、服務層、數據層。

• 應用層：負責具體業務和視圖展示，如網站首頁及搜索輸入和結果展示。
• 服務層：為應用層提供服務支持，如用戶管理服務、購物車服務等。
• 數據層：提供數據存儲訪問服務，如數據庫、緩存、文件、搜索引擎等。

2、分割

在縱向方向對軟件進行切分，將網站按不同的功能和服務分割，包裝成高內聚低耦合的模塊單元。一方面有助于軟件的開發和維護，另一方面便于不同模塊的分布式部署，提高網站的并發處理能力和功能擴展能力。比如將軟件系統的購物、論壇、搜索、廣告分割成不同的應用。

3、分布式

在網站應用中，常用的分布式方案有以下幾種。

• 分布式應用和服務：將分層和分割后的應用和服務模塊分布式部署。
• 分布式靜態資源：網站的靜態資源如JS、CSS、Logo圖片等資源獨立分布式部署。
• 分布式數據和存儲：為網站應用而生的各種NoSQL產品幾乎都是分布式的。
• 分布式計算：Hadoop及其MapReduce分布式計算框架，移動計算而不是移動數據。
• 分布式配置：支持網站線上服務器配置實時更新。
• 分布式鎖：分布式環境下實現并發和協同。
• 分布式文件系統：FastDFS、HDFS。

4、集群

提高網站高并發和高可用的能力。

5、緩存

提高數據訪問速度。

• CDN
• 反向代理
• 本地緩存
• 分布式緩存

6、異步

• 降低軟件耦合性。
• 提高系統可用性。
• 加快網站相應速度。
• 消除并發訪問高峰。

7、冗余

服務器故障時保證數據不丟失。

8、自動化

• 發布過程自動化
• 自動化代碼管理
• 自動化測試
• 自動化安全檢測
• 自動化部署
• 自動化監控
• 自動化報警
• 自動化失效轉移
• 自動化失效恢復
• 自動化降級
• 自動化分配資源

9、安全

• 通過密碼和手機驗證碼進行身份認證。
• 對網絡傳輸數據進行加密。
• 使用驗證碼識別機器人程序濫用網絡資源攻擊網站。
• 攻擊網站的XSS攻擊、SQL注入進行編碼轉換。
• 垃圾信息、敏感信息的過濾。
• 交易轉賬等重要操作的風險控制。

四、大型網站的架構技術一覽

1、前端架構

• 瀏覽器優化技術
• CDN
• 動靜分離，靜態資源獨立部署
• 圖片服務
• 反向代理
• DNS

2、應用層架構

• 開發框架
• 頁面渲染
• 負載均衡
• Session管理
• 動態頁面靜態化
• 業務拆分
• 虛擬化服務器

3、服務層架構

• 分布式消息
• 分布式服務
• 分布式緩存
• 分布式配置

4、存儲層架構

• 分布式文件
• 關系數據庫
• NoSQL數據庫
• 數據同步

5、后臺架構

• 搜索引擎
• 數據倉庫
• 推薦系統

6、數據采集與監控

• 瀏覽器數據采集
• 服務器業務數據采集
• 服務器性能數據采集
• 系統監控
• 系統報警

7、安全架構

• Web攻擊
• 數據保護

8、數據中心機房架構

• 機房架構
• 機柜架構?
• 服務器架構

本文主要摘自 阿里大牛 李智慧 寫的《大型網站技術架構·核心原理與案例分析》。

總結

以上是生活随笔為你收集整理的图说大型网站的技术架构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。