你刚才淘宝上买衣服---具体分析技术工艺（淘宝页面显示处理的页面）
聲明：文章和保存之前看到在計(jì)算機(jī)網(wǎng)絡(luò)中的文件，有沒有辦法找到原文地址。在該聲明。為了上網(wǎng)project教師致敬。
你找到新的一年。所以，我想給你女朋友買一件毛衣，你打開www.taobao.com。這時(shí)你的瀏覽器首先查詢DNSserver。將www.taobao.com轉(zhuǎn)換成ip地址。不過首先你會(huì)發(fā)現(xiàn)，你在不同的地區(qū)或者不同的網(wǎng)絡(luò)（電信、聯(lián)通、移動(dòng)）的情況下，轉(zhuǎn)換后的IP地址非常可能是不一樣的，這首先涉及到負(fù)載均衡的第一步，通過DNS解析域名時(shí)將你的訪問分配到不同的入口，同一時(shí)候盡可能保證你所訪問的入口是全部入口中可能較快的一個(gè) (這和后文的CDN不一樣)。
你通過這個(gè)入口成功的訪問了www.taobao.com的實(shí)際的入口IP地址。這時(shí)你產(chǎn)生了一個(gè)PV，即Page View。頁(yè)面訪問。每日每一個(gè)站點(diǎn)的總PV量是形容一個(gè)站點(diǎn)規(guī)模的重要指標(biāo)。淘寶網(wǎng)全網(wǎng)在平日（非促銷期間）的PV大概是16-25億之間。
同一時(shí)候作為一個(gè)獨(dú)立的用戶，你這次訪問淘寶網(wǎng)的全部頁(yè)面。均算作一個(gè)UV（Unique Visitor用戶訪問）。近期臭名昭著的12306.cn的日PV量最高峰在10億左右。而UV量卻遠(yuǎn)小于淘寶網(wǎng)十余倍。這當(dāng)中的原因我相信大家都會(huì)知道。
由于同一時(shí)刻訪問www.taobao.com的人數(shù)過于巨大，所以即便是生成淘寶首頁(yè)頁(yè)面的server，也不可能僅有一臺(tái)。
僅用于生成www.taobao.com首頁(yè)的server就可能有成百上千臺(tái)，那么你的一次訪問時(shí)生成頁(yè)面給你看的任務(wù)便會(huì)被分配給當(dāng)中一臺(tái)server完畢。
這個(gè)過程要保證公正、公平、平均（暨這成百上千臺(tái)server每臺(tái)負(fù)擔(dān)的用戶數(shù)要差點(diǎn)兒相同），這一非常復(fù)雜的過程是由幾個(gè)系統(tǒng)配合完畢，當(dāng)中最關(guān)鍵的便是LVS(Linux Virtual Server)，世界上最流行的負(fù)載均衡系統(tǒng)之中的一個(gè)，正是由眼下在淘寶網(wǎng)供職的章文嵩博士開發(fā)的。
經(jīng)過一系列復(fù)雜的邏輯運(yùn)算和數(shù)據(jù)處理，用于這次給你看的淘寶網(wǎng)首頁(yè)的HTML內(nèi)容便生成成功了。
對(duì)web前端略微有點(diǎn)常識(shí)的童鞋都應(yīng)該知道，下一步瀏覽器會(huì)去載入頁(yè)面中用到的css、js、圖片、腳本和資源文件。
可是可能相對(duì)較少的同學(xué)才會(huì)知道。你的瀏覽器在同一個(gè)域名下并發(fā)載入的資源數(shù)量是有限制的，比如IE6-7是兩個(gè)。IE8是6個(gè)，Chrome各版本號(hào)不大一樣，通常是4-6個(gè)。我剛剛看了一下，我訪問淘寶網(wǎng)首頁(yè)須要載入126個(gè)資源，那么如此小的并發(fā)連接數(shù)自然會(huì)載入非常久。所曾經(jīng)端開發(fā)者往往會(huì)將上述這些資源文件分布在好多個(gè)域名下，變相的繞過瀏覽器的這個(gè)限制。同一時(shí)候也為下文的CDN工作做準(zhǔn)備。
據(jù)不可靠消息，在雙十一當(dāng)天高峰，淘寶的訪問流量最巔峰達(dá)到871GB/S。這個(gè)數(shù)字意味著須要178萬(wàn)個(gè)4Mb帶寬的家庭寬帶才干負(fù)擔(dān)的起，也全然有能力拖垮一個(gè)中小城市的全部互聯(lián)網(wǎng)帶寬。那么顯然，這些訪問流量不可能集中在一起。而且大家都知道，不同地區(qū)不同網(wǎng)絡(luò)（電信、聯(lián)通等）之間互訪會(huì)非常緩慢，可是你卻發(fā)現(xiàn)非常少發(fā)現(xiàn)淘寶網(wǎng)訪問緩慢。這便是CDN(Content Delivery Network)。即內(nèi)容分發(fā)網(wǎng)絡(luò)的作用。淘寶在全國(guó)各地建立了數(shù)十上百個(gè)CDN節(jié)點(diǎn)，利用一些手段保證你訪問的（這里主要指js、css、圖片等）地方是離你近期的CDN節(jié)點(diǎn)，這樣便保證了大流量分散在各地訪問的加速節(jié)點(diǎn)上。
這便出現(xiàn)了一個(gè)問題，那就是假若一個(gè)賣家公布了一個(gè)新的寶貝，上傳了幾張新的寶貝圖片。那么淘寶網(wǎng)怎樣保證全國(guó)各地的CDN節(jié)點(diǎn)中都會(huì)同步的存在這幾張圖片供用戶使用呢？這里邊就涉及到了大量的內(nèi)容分發(fā)與同步的相關(guān)技術(shù)。淘寶開發(fā)了分布式文件系統(tǒng)TFS(Taobao File System)來處理這類問題。
好了。這時(shí)你最終載入完了淘寶首頁(yè)，那么你習(xí)慣性的在首頁(yè)搜索框中輸入了’毛衣’二字并敲回車，這時(shí)你又產(chǎn)生了一個(gè)PV。然后，淘寶網(wǎng)的主搜索系統(tǒng)便開始為你服務(wù)了。
它首先對(duì)你輸入的內(nèi)容基于一個(gè)分詞庫(kù)進(jìn)行分詞操作。
眾所周知，英文是以詞為單位的。詞和詞之間是靠空格隔開，而中文是以字為單位，句子中全部的字連起來才干描寫敘述一個(gè)意思。比如。英文句子I am a student。用中文則為：“我是一個(gè)學(xué)生”。計(jì)算機(jī)可以非常easy通過空格知道student是一個(gè)單詞，可是不能非常容易明白“學(xué)”、“生”兩個(gè)字合起來才表示一個(gè)詞。
把中文的漢字序列切分成有意義的詞，就是中文分詞。有些人也稱為切詞。我是一個(gè)學(xué)生。分詞的結(jié)果是：我 是 一個(gè) 學(xué)生。
進(jìn)行分詞之后，還須要依據(jù)你輸入的搜索詞進(jìn)行你的購(gòu)物意圖分析。用戶進(jìn)行搜索時(shí)經(jīng)常有例如以下幾類意圖：（1）瀏覽型：沒有明白的購(gòu)物對(duì)象和意圖，邊看邊買，用戶比較任意和感性。Query比如：”2010年10大香水排行”，”2010年流行毛衣”， “zippo有多少種類？”；（2）查詢型：有一定的購(gòu)物意圖。體如今對(duì)屬性的要求上。Query比如：”適合老人用的手機(jī)”。”500元 手表”；（3）對(duì)照型：已經(jīng)縮小了購(gòu)物意圖，詳細(xì)到了某幾個(gè)產(chǎn)品。Query比如：”諾基亞E71 E63″，”akg k450 px200″。（4）確定型：已經(jīng)做了基本決定，重點(diǎn)考察某個(gè)對(duì)象。Query比如：”諾基亞N97″。”IBM T60″。通過對(duì)你的購(gòu)物意圖的分析，主搜索會(huì)呈現(xiàn)出全然不同的結(jié)果來。
之后的數(shù)個(gè)步驟后，主搜索系統(tǒng)便依據(jù)上述以及很多其它復(fù)雜的條件列出了搜索結(jié)果，這一切是由一千多臺(tái)搜索server完畢。然后你開始逐一點(diǎn)擊瀏覽搜索出的寶貝。你開始查看寶貝詳情頁(yè)面。經(jīng)常網(wǎng)購(gòu)的親們會(huì)發(fā)現(xiàn)。當(dāng)你買過了一個(gè)寶貝之后。即便是商家多次改動(dòng)了寶貝詳情頁(yè)，你仍然可以通過‘已買到的寶貝’查看當(dāng)時(shí)的快照。這是為了防止商家對(duì)在商品詳情中承諾過的東西賴賬不認(rèn)。那么顯然。對(duì)于每年數(shù)十上百億比交易的商品詳情快照進(jìn)行保存和高速調(diào)用不是一個(gè)簡(jiǎn)單的事情。這當(dāng)中又涉及到數(shù)套系統(tǒng)的共同協(xié)作，當(dāng)中較為重要的是Tair，淘寶自行研發(fā)的分布式KV存儲(chǔ)方案。
然后不管你是否真正進(jìn)行了交易，你的這些訪問行為便忠實(shí)的被系統(tǒng)記錄下來。用于興許的業(yè)務(wù)邏輯和數(shù)據(jù)分析。這些記錄中訪問日志記錄便是最重要的記錄之中的一個(gè)。 可是前邊我們得知，這些訪問是分布在各個(gè)地區(qū)非常多不同的server上的。而且由于用戶眾多，這些日志記錄都非常龐大，達(dá)到TB級(jí)別非常正常。那么為了高速及時(shí) 傳輸同步這些日志數(shù)據(jù)。淘寶研發(fā)了TimeTunnel。用于進(jìn)行實(shí)時(shí)的傳輸數(shù)據(jù)，交給后端系統(tǒng)進(jìn)行計(jì)算報(bào)表等操作。
你的瀏覽數(shù)據(jù)、交易數(shù)據(jù)以及其它非常多非常多的數(shù)據(jù)記錄均會(huì)被保留下來。使得淘寶存儲(chǔ)的歷史數(shù)據(jù)輕而易舉的便達(dá)到了十?dāng)?shù)甚至很多其它個(gè) PB(1PB=1024TB=1048576GB)。如此巨大的數(shù)據(jù)量經(jīng)過淘寶系統(tǒng)1:120的極限壓縮存儲(chǔ)在淘寶的數(shù)據(jù)倉(cāng)庫(kù)中。
而且通過一個(gè)叫做云梯的，由2000多臺(tái)server組成的超大規(guī)模數(shù)據(jù)系統(tǒng)不斷的進(jìn)行分析和挖掘。
從這些數(shù)據(jù)中淘寶可以知道小到你是誰(shuí)。你喜歡什么。你的孩子幾歲了，你是否在談戀愛，喜歡玩魔獸世界的人喜歡什么樣的飲料等，大到各行各業(yè)的零售情況、各類商品的興衰消亡等等海量的信息。
說了這么多，事實(shí)上也不過敘述了淘寶上正在執(zhí)行的成千上萬(wàn)個(gè)系統(tǒng)中的寥寥幾個(gè)。
即便是你只訪問一次淘寶的首頁(yè)，所涉及到的技術(shù)和系統(tǒng)規(guī)模都是你全然無法想象的。是淘寶2000多名頂級(jí)的project師們的心血結(jié)晶。當(dāng)中甚至包含長(zhǎng)江學(xué)者、國(guó)家科學(xué)技術(shù)最高獎(jiǎng)得主等眾多大牛。
相同，百度、騰訊等的業(yè)務(wù)系統(tǒng)也絕不比淘寶簡(jiǎn)單。你須要知道的是，你每天使用的互聯(lián)網(wǎng)產(chǎn)品。看似簡(jiǎn)單易用，背后卻凝聚著難以想象的智慧與勞動(dòng)。
轉(zhuǎn)載于:https://www.cnblogs.com/bhlsheji/p/5048733.html
總結(jié)
以上是生活随笔為你收集整理的你刚才淘宝上买衣服---具体分析技术工艺（淘宝页面显示处理的页面）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 结对项目——Subway
- 下一篇： 外围功能电路控制 LET′S TRY“嵌