之前也有一些介紹大型網(wǎng)站架構(gòu)演變的文章，例如LiveJournal的、ebay的，都是非常值得參考的，不過感覺他們講的更多的是每次演變的結(jié)果，而沒有很詳細(xì)的講為什么需要做這樣的演變，再加上近來感覺有不少同學(xué)都很難明白為什么一個(gè)網(wǎng)站需要那么復(fù)雜的技術(shù)，于是有了寫這篇文章的想法，在這篇文章中將闡述一個(gè)普通的網(wǎng)站發(fā)展成大型網(wǎng)站過程中的一種較為典型的架構(gòu)演變歷程和所需掌握的知識(shí)體系，希望能給想從事互聯(lián)網(wǎng)行業(yè)的同學(xué)一點(diǎn)初步的概念，文中的不對(duì)之處也請(qǐng)各位多給點(diǎn)建議，讓本文真正起到拋磚引玉的效果。
架構(gòu)演變第一步：物理分離webserver和數(shù)據(jù)庫
最開始，由于某些想法，于是在互聯(lián)網(wǎng)上搭建了一個(gè)網(wǎng)站，這個(gè)時(shí)候甚至有可能主機(jī)都是租借的，但由于這篇文章我們只關(guān)注架構(gòu)的演變歷程，因此就假設(shè)這個(gè)時(shí)候 已經(jīng)是托管了一臺(tái)主機(jī)，并且有一定的帶寬了，這個(gè)時(shí)候由于網(wǎng)站具備了一定的特色，吸引了部分人訪問，逐漸你發(fā)現(xiàn)系統(tǒng)的壓力越來越高，響應(yīng)速度越來越慢，而這個(gè)時(shí)候比較明顯的是數(shù)據(jù)庫和應(yīng)用互相影響，應(yīng)用出問題了，數(shù)據(jù)庫也很容易出現(xiàn)問題，而數(shù)據(jù)庫出問題的時(shí)候，應(yīng)用也容易出問題，于是進(jìn)入了第一步演變階段：將應(yīng)用和數(shù)據(jù)庫從物理上分離，變成了兩臺(tái)機(jī)器，這個(gè)時(shí)候技術(shù)上沒有什么新的要求，但你發(fā)現(xiàn)確實(shí)起到效果了，系統(tǒng)又恢復(fù)到以前的響應(yīng)速度了，并且支撐住了更高的流量，并且不會(huì)因?yàn)閿?shù)據(jù)庫和應(yīng)用形成互相的影響。
看看這一步完成后系統(tǒng)的圖示：

這一步涉及到了這些知識(shí)體系：
這一步架構(gòu)演變對(duì)技術(shù)上的知識(shí)體系基本沒有要求。
架構(gòu)演變第二步：增加頁面緩存
好景不長，隨著訪問的人越來越多，你發(fā)現(xiàn)響應(yīng)速度又開始變慢了，查找原因，發(fā)現(xiàn)是訪問數(shù)據(jù)庫的操作太多，導(dǎo)致數(shù)據(jù)連接競爭激烈，所以響應(yīng)變慢，但數(shù)據(jù)庫連 接又不能開太多，否則數(shù)據(jù)庫機(jī)器壓力會(huì)很高，因此考慮采用緩存機(jī)制來減少數(shù)據(jù)庫連接資源的競爭和對(duì)數(shù)據(jù)庫讀的壓力，這個(gè)時(shí)候首先也許會(huì)選擇采用squid 等類似的機(jī)制來將系統(tǒng)中相對(duì)靜態(tài)的頁面（例如一兩天才會(huì)有更新的頁面）進(jìn)行緩存（當(dāng)然，也可以采用將頁面靜態(tài)化的方案），這樣程序上可以不做修改，就能夠 很好的減少對(duì)webserver的壓力以及減少數(shù)據(jù)庫連接資源的競爭，OK，于是開始采用squid來做相對(duì)靜態(tài)的頁面的緩存。
看看這一步完成后系統(tǒng)的圖示：

這一步涉及到了這些知識(shí)體系：
前端頁面緩存技術(shù)，例如squid，如想用好的話還得深入掌握下squid的實(shí)現(xiàn)方式以及緩存的失效算法等。
架構(gòu)演變第三步：增加頁面片段緩存
增加了squid做緩存后，整體系統(tǒng)的速度確實(shí)是提升了，webserver的壓力也開始下降了，但隨著訪問量的增加，發(fā)現(xiàn)系統(tǒng)又開始變的有些慢了，在嘗 到了squid之類的動(dòng)態(tài)緩存帶來的好處后，開始想能不能讓現(xiàn)在那些動(dòng)態(tài)頁面里相對(duì)靜態(tài)的部分也緩存起來呢，因此考慮采用類似ESI之類的頁面片段緩存策略，OK，于是開始采用ESI來做動(dòng)態(tài)頁面中相對(duì)靜態(tài)的片段部分的緩存。
看看這一步完成后系統(tǒng)的圖示：

這一步涉及到了這些知識(shí)體系：
頁面片段緩存技術(shù)，例如ESI等，想用好的話同樣需要掌握ESI的實(shí)現(xiàn)方式等；

架構(gòu)演變第四步：數(shù)據(jù)緩存
在采用ESI之類的技術(shù)再次提高了系統(tǒng)的緩存效果后，系統(tǒng)的壓力確實(shí)進(jìn)一步降低了，但同樣，隨著訪問量的增加，系統(tǒng)還是開始變慢，經(jīng)過查找，可能會(huì)發(fā)現(xiàn)系 統(tǒng)中存在一些重復(fù)獲取數(shù)據(jù)信息的地方，像獲取用戶信息等，這個(gè)時(shí)候開始考慮是不是可以將這些數(shù)據(jù)信息也緩存起來呢，于是將這些數(shù)據(jù)緩存到本地內(nèi)存，改變完畢后，完全符合預(yù)期，系統(tǒng)的響應(yīng)速度又恢復(fù)了，數(shù)據(jù)庫的壓力也再度降低了不少。
看看這一步完成后系統(tǒng)的圖示：

這一步涉及到了這些知識(shí)體系：
緩存技術(shù)，包括像Map數(shù)據(jù)結(jié)構(gòu)、緩存算法、所選用的框架本身的實(shí)現(xiàn)機(jī)制等。
架構(gòu)演變第五步： 增加webserver
好景不長，發(fā)現(xiàn)隨著系統(tǒng)訪問量的再度增加，webserver機(jī)器的壓力在高峰期會(huì)上升到比較高，這個(gè)時(shí)候開始考慮增加一臺(tái)webserver，這也是為了同時(shí)解決可用性的問題，避免單臺(tái)的webserver down機(jī)的話就沒法使用了，在做了這些考慮后，決定增加一臺(tái)webserver，增加一臺(tái)webserver時(shí)，會(huì)碰到一些問題，典型的有：
1、如何讓訪問分配到這兩臺(tái)機(jī)器上，這個(gè)時(shí)候通常會(huì)考慮的方案是Apache自帶的負(fù)載均衡方案，或LVS這類的軟件負(fù)載均衡方案；
2、如何保持狀態(tài)信息的同步，例如用戶session等，這個(gè)時(shí)候會(huì)考慮的方案有寫入數(shù)據(jù)庫、寫入存儲(chǔ)、cookie或同步session信息等機(jī)制等；
3、如何保持?jǐn)?shù)據(jù)緩存信息的同步，例如之前緩存的用戶數(shù)據(jù)等，這個(gè)時(shí)候通常會(huì)考慮的機(jī)制有緩存同步或分布式緩存；
4、如何讓上傳文件這些類似的功能繼續(xù)正常，這個(gè)時(shí)候通常會(huì)考慮的機(jī)制是使用共享文件系統(tǒng)或存儲(chǔ)等；
在解決了這些問題后，終于是把webserver增加為了兩臺(tái)，系統(tǒng)終于是又恢復(fù)到了以往的速度。
看看這一步完成后系統(tǒng)的圖示：

這一步涉及到了這些知識(shí)體系：
負(fù)載均衡技術(shù)（包括但不限于硬件負(fù)載均衡、軟件負(fù)載均衡、負(fù)載算法、linux轉(zhuǎn)發(fā)協(xié)議、所選用的技術(shù)的實(shí)現(xiàn)細(xì)節(jié)等）、主備技術(shù)（包括但不限于ARP欺騙、linux heart-beat等）、狀態(tài)信息或緩存同步技術(shù)（包括但不限于Cookie技術(shù)、UDP協(xié)議、狀態(tài)信息廣播、所選用的緩存同步技術(shù)的實(shí)現(xiàn)細(xì)節(jié)等）、共享文件技術(shù)（包括但不限于NFS等）、存儲(chǔ)技術(shù)（包括但不限于存儲(chǔ)設(shè)備等）。
架構(gòu)演變第六步：分庫
享受了一段時(shí)間的系統(tǒng)訪問量高速增長的幸福后，發(fā)現(xiàn)系統(tǒng)又開始變慢了，這次又是什么狀況呢，經(jīng)過查找，發(fā)現(xiàn)數(shù)據(jù)庫寫入、更新的這些操作的部分?jǐn)?shù)據(jù)庫連接的 資源競爭非常激烈，導(dǎo)致了系統(tǒng)變慢，這下怎么辦呢，此時(shí)可選的方案有數(shù)據(jù)庫集群和分庫策略，集群方面像有些數(shù)據(jù)庫支持的并不是很好，因此分庫會(huì)成為比較普遍的策略，分庫也就意味著要對(duì)原有程序進(jìn)行修改，一通修改實(shí)現(xiàn)分庫后，不錯(cuò)，目標(biāo)達(dá)到了，系統(tǒng)恢復(fù)甚至速度比以前還快了。
看看這一步完成后系統(tǒng)的圖示：

這一步涉及到了這些知識(shí)體系：
這一步更多的是需要從業(yè)務(wù)上做合理的劃分，以實(shí)現(xiàn)分庫，具體技術(shù)細(xì)節(jié)上沒有其他的要求；
但同時(shí)隨著數(shù)據(jù)量的增大和分庫的進(jìn)行，在數(shù)據(jù)庫的設(shè)計(jì)、調(diào)優(yōu)以及維護(hù)上需要做的更好，因此對(duì)這些方面的技術(shù)還是提出了很高的要求的。

?

架構(gòu)演變第七步：分表、DAL和分布式緩存
隨著系統(tǒng)的不斷運(yùn)行，數(shù)據(jù)量開始大幅度增長，這個(gè)時(shí)候發(fā)現(xiàn)分庫后查詢?nèi)匀粫?huì)有些慢，于是按照分庫的思想開始做分表的工作，當(dāng)然，這不可避免的會(huì)需要對(duì)程序 進(jìn)行一些修改，也許在這個(gè)時(shí)候就會(huì)發(fā)現(xiàn)應(yīng)用自己要關(guān)心分庫分表的規(guī)則等，還是有些復(fù)雜的，于是萌生能否增加一個(gè)通用的框架來實(shí)現(xiàn)分庫分表的數(shù)據(jù)訪問，這個(gè)在ebay的架構(gòu)中對(duì)應(yīng)的就是DAL，這個(gè)演變的過程相對(duì)而言需要花費(fèi)較長的時(shí)間，當(dāng)然，也有可能這個(gè)通用的框架會(huì)等到分表做完后才開始做，同時(shí)，在這個(gè)階段可 能會(huì)發(fā)現(xiàn)之前的緩存同步方案出現(xiàn)問題，因?yàn)閿?shù)據(jù)量太大，導(dǎo)致現(xiàn)在不太可能將緩存存在本地，然后同步的方式，需要采用分布式緩存方案了，于是，又是一通考察和折磨，終于是將大量的數(shù)據(jù)緩存轉(zhuǎn)移到分布式緩存上了。
看看這一步完成后系統(tǒng)的圖示：

這一步涉及到了這些知識(shí)體系：
分表更多的同樣是業(yè)務(wù)上的劃分，技術(shù)上涉及到的會(huì)有動(dòng)態(tài)hash算法、consistent hash算法等；
DAL涉及到比較多的復(fù)雜技術(shù)，例如數(shù)據(jù)庫連接的管理（超時(shí)、異常）、數(shù)據(jù)庫操作的控制（超時(shí)、異常）、分庫分表規(guī)則的封裝等；
架構(gòu)演變第八步：增加更多的webserver
在做完分庫分表這些工作后，數(shù)據(jù)庫上的壓力已經(jīng)降到比較低了，又開始過著每天看著訪問量暴增的幸福生活了，突然有一天，發(fā)現(xiàn)系統(tǒng)的訪問又開始有變慢的趨勢(shì) 了，這個(gè)時(shí)候首先查看數(shù)據(jù)庫，壓力一切正常，之后查看webserver，發(fā)現(xiàn)apache阻塞了很多的請(qǐng)求，而應(yīng)用服務(wù)器對(duì)每個(gè)請(qǐng)求也是比較快的，看來 是請(qǐng)求數(shù)太高導(dǎo)致需要排隊(duì)等待，響應(yīng)速度變慢，這還好辦，一般來說，這個(gè)時(shí)候也會(huì)有些錢了，于是添加一些webserver服務(wù)器，在這個(gè)添加 webserver服務(wù)器的過程，有可能會(huì)出現(xiàn)幾種挑戰(zhàn)：
1、Apache的軟負(fù)載或LVS軟負(fù)載等無法承擔(dān)巨大的web訪問量（請(qǐng)求連接數(shù)、網(wǎng)絡(luò)流量等）的調(diào)度了，這個(gè)時(shí)候如果經(jīng)費(fèi)允許的話，會(huì)采取的方案是購 買硬件負(fù)載，例如F5、Netsclar、Athelon之類的，如經(jīng)費(fèi)不允許的話，會(huì)采取的方案是將應(yīng)用從邏輯上做一定的分類，然后分散到不同的軟負(fù)載集群中；
2、原有的一些狀態(tài)信息同步、文件共享等方案可能會(huì)出現(xiàn)瓶頸，需要進(jìn)行改進(jìn)，也許這個(gè)時(shí)候會(huì)根據(jù)情況編寫符合網(wǎng)站業(yè)務(wù)需求的分布式文件系統(tǒng)等；
在做完這些工作后，開始進(jìn)入一個(gè)看似完美的無限伸縮的時(shí)代，當(dāng)網(wǎng)站流量增加時(shí)，應(yīng)對(duì)的解決方案就是不斷的添加webserver。
看看這一步完成后系統(tǒng)的圖示：

這一步涉及到了這些知識(shí)體系：
到了這一步，隨著機(jī)器數(shù)的不斷增長、數(shù)據(jù)量的不斷增長和對(duì)系統(tǒng)可用性的要求越來越高，這個(gè)時(shí)候要求對(duì)所采用的技術(shù)都要有更為深入的理解，并需要根據(jù)網(wǎng)站的需求來做更加定制性質(zhì)的產(chǎn)品。

?

本文來自CSDN博客，轉(zhuǎn)載請(qǐng)標(biāo)明出處：http://blog.csdn.net/cutesource/archive/2009/12/28/5085697.aspx

總結(jié)

以上是生活随笔為你收集整理的网站架构演变和知识体系的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。