網址：https://mp.weixin.qq.com/s?__biz=MzAxNjAzMTQyMA==&mid=2648476063&idx=1&sn=882fb8584b82107d5af191af5b805d0e&chksm=83d3224cb4a4ab5a72e04dbaa6c6621cc866ab913bb7abb1aa8e6f7860e128501ca1a3c26d4a&scene=21#wechat_redirect

https://mp.weixin.qq.com/s?__biz=MzA4MjA0MTc4NQ==&mid=2651573322&idx=1&sn=2092e183f829ff2129e36b1b5487797b&scene=21#wechat_redirect

https://mp.weixin.qq.com/s?__biz=MzIxODQxMjc0MA==&mid=2247489229&idx=2&sn=187137fa783ba67b707433ce2a595991&chksm=97ebb566a09c3c70347eed50888069e5774f4df2b8184928b7bb0160ed4fca2c84c4461fb587&scene=21#wechat_redirect

首先介紹一下專有名詞：

　　量子統計：是指一種網站流量統計工具。2009年，量子團隊在網站統計的基礎上，開發出專門應用于淘寶店鋪賣家的統計產品——量子店鋪統計（V2.8.3版本），以全新的UI及更加強大的數據分析功能再次成為業界一大亮點。此次升級是在淘寶網開放數據的大背景下進行的，目標是更好的將淘寶擁有的海量數據服務于賣家店鋪運營，所以V3.0版本在數據穩定性、分析準確性、運營指導性幾方面均實現了質的提升。在后續計劃中，量子店鋪統計將允許賣家對自己的數據統計模塊進行個性化調整，以實現滿足不同商業領域、不同運營狀態的店鋪的多元化需求。量子恒道統計（淘寶官方出品）

　　數據魔方：數據魔方是淘寶官方出品的一款數據產品。主要提供行業數據分析，店鋪數據分析。其中包含了品牌、店鋪、產品的排行榜，購買人群的特征分析（年齡、性別、購買時段、地域等等）

　　淘寶指數：是淘寶官方的免費的數據分享平臺，于2011年年底上線，通過它，用戶可以窺探淘寶購物數據，了解淘寶購物趨勢。而且產品不僅僅針對淘寶賣家，還包括淘寶買家及廣大的第三方用戶。同時承諾將永久免費服務，成為阿里巴巴旗下一強大精準的數據產品。

　　緩存穿透：緩存穿透是指查詢一個一定不存在的數據，由于緩存是不命中時需要從數據庫查詢。查不到數據則不寫入緩存，這將導致這個不存在的數據每次請求都要到數據庫去查詢，造成緩存穿透。

　　布隆過濾器：它實際上是一個很長的二進制向量和一系列隨機映射函數。布隆過濾器可以用于檢索一個元素是否在一個集合中。它的優點是空間效率和查詢時間都比一般的算法要好的多，缺點是有一定的誤識別率和刪除困難。

　　SOA：面向服務的架構，面向服務的架構（SOA）是一個組件模型，它將應用程序的不同功能單元（稱為服務）進行拆分，并通過這些服務之間定義良好的接口和契約聯系起來。接口是采用中立的方式進行定義的，它應該獨立于實現服務的硬件平臺、操作系統和編程語言。這使得構建在各種各樣的系統中的服務可以以一種統一和通用的方式進行交互。

　　

淘寶對數據的寫入并非實時寫入的，保證了數據庫在一定時間內是只讀的。

大量的數據肯定需要對系統進行切分，對數據進行劃分，按照架構區分，數據源、計算層、儲存層、查詢層、產品層。

在產品層得到的數據一部分為對實時計算要求不是很高，那么將他們傳輸到分布式的存儲數據庫，利用mapreduce進行后臺離線計算，對數據進行分析，另一部分是對實時性要求很高，那就推出了六十數據的實時計算平臺“銀河”，但是對于實時查詢，這兩個系統都不是很完美。

對于實時查詢，還是傳統的關系型數據庫，淘寶推出了基于MySQL的MyFOX，用于對數據的實時查詢。關系型數據庫可以解決數據的查詢速度問題，但是大量的數據儲存也是問題，雖然建立的分布式的儲存系統。那么對于數據可分為熱數據和冷數據。熱數據存放在熱節點，硬件設施更好，使用頻率高，對于冷數據，使用頻率并不是很高，所以硬件要求不是很高。

但是在實際的使用環境中，MyFOX并不能完美解決所有問題，那就是遇到的全屬性選擇器：過多的屬性分類和屬性枚舉導致查詢難以分解，然后提出了解決方案

　　解決方案：

　　　　一、窮舉。由于條件之間的組合有很多種，所以窮舉法不適合

　　　　二、因為屬性可以分解為鍵值對，屬性與屬性值的組合，那么可以利用hbase來解決，同時利用mapreduce分布計算，達到實時計算，提高效率。

?

?

然后，不同的數據庫之間的查詢肯定會遇到查詢問題。

解決方案：

　　利用緩存glider，隔離前后端以及異構“表”之間的數據整合的作用，緩存管理：是數據庫在一定時間內是只讀的

使用緩存面臨的問題是數據的一致性、

緩存穿透

緩存穿透是指查詢一個一定不存在的數據

方案：可以利用布隆過濾器，但是阿里采用緩存失效方案，異常數據的緩存時間較小。

緩存失效時的雪崩反應

概念：大量的key設置了相同的過期時間，導致在緩存在同一時刻全部失效，造成瞬時DB請求量大、壓力驟增，引起雪崩。

方案：加鎖或排隊保證緩存的單線程

數據魔方中采用的是緩存過期機制理論，可以在一定程度上避免雪崩效應

?

轉載于:https://www.cnblogs.com/0710whh/p/10666598.html

總結

以上是生活随笔為你收集整理的阅读淘宝架构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。