两个通宵熬出来的互联网大厂最新面试题收集整理1000道(三-Memcached)，欢迎点赞收藏!!!
??最近接觸到很多面試相關的內容，所以就專門整理了以下，內容涵蓋：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、Linux 等技術棧。
后續會出專門的面試視頻專題，歡迎關注。
Memcached
1、Memcached 是什么，有什么作用？
??Memcached 是一個開源的，高性能的內存綬存軟件，從名稱上看 Mem 就是內存的意思， 而 Cache 就是緩存的意思。Memcached 的作用： 通過在事先規劃好的內存空間中臨時綬存數據庫中的各類數據， 以達到減少業務對數據庫的直接高并發訪問， 從而達到提升數據庫的訪問性能， 加速網站集群動態應用服務的能力。
memcached 服務在企業集群架構中有哪些應用場景？
一、 作為數據庫的前端緩存應用
a、完整緩存（ 易）， 靜態緩存
??例如： 商品分類（ 京東）， 以及商品信息， 可事先放在內存里， 然后再對外提供數據訪問， 這種先放到內存， 我們稱之為預熱，（ 先把數據存緩存中）， 用戶訪問時可以只讀取 memcached 緩存， 不讀取數據庫了。
b、執點緩存（ 難）
??需要前端 web 程序配合， 只緩存熱點的數據， 即緩存經常被訪問的數據。先預熱數據庫里的基礎數據， 然后在動態更新， 選讀取緩存， 如果緩存里沒有對應的數據， 程序再去讀取數據庫， 然后程序把讀取的新數據放入緩存存儲。
特殊說明 ：
??如果碰到電商秒殺等高并發的業務，一定要事先預熱，或者其它思想實現， 例如：稱殺只是獲取資格，而不是瞬間秒殺到手商品。
那么什么是獲取資格？
就是在數據庫中，把 0 標成 1.就有資格啦。再慢慢的去領取商品訂單。因為秒殺過程太長會占用服務器資源。
如果數據更新，同時觸發緩存更新，防止給用戶過期數據。對于持久化緩存存儲系統，例如：redis，可以替代一部分數據庫的存儲， 一些簡單的數據業務，投票，統計，好友關注，商品分類等。nosql= not only sql
二、作業集群的 session 會話共享存儲。
Memcached 服務在不同企業業務應用場景中的工作流程
??當web 程序需要訪問后端數據庫獲取數據時會優先訪問Memcached 內存緩存，如果緩存中有數據就直接獲取返回前端服務及用戶，如果沒有數據（沒有命中），在由程序請求后端的數據庫服務器，獲取到對應的數據后，除了返回給前端服務及用戶數據外，還會把數據放到 Memcached 內存中進行緩存，等待下次請求被訪問，Memcache 內存始終是數據庫的擋箭牌，從而大大的減輕數據庫的訪問壓力，提高整個網站架構的響應速度，提升了用戶體驗。
??當程序更新，修改或刪除數據庫中已有的數據時，會同時發送請求通知Memcached 已經緩存的同一個 ID 內容的舊數據失效，從而保證 Memcache 中數據和數據庫中的數據一致。
??如果在高并發場合，除了通知 Memcached 過程的緩存失效外，還會通過相關機制，使得在用戶訪問新數據前，通過程序預先把更新過的數據推送到memcache 中緩存起來，這樣可以減少數據庫的訪問壓力，提升 Memcached 中緩存命中率。
??數據庫插件可以再寫入更新數據庫后，自動拋給 MC 緩存起來，自身不Cache.
2、Memcached 服務分布式集群如何實現？
??特殊說明：Memcached 集群和 web 服務集群是不一樣的，所有 Memcached 的數據總和才是數據庫的數據。每臺 Memcached 都是部分數據。（ 一臺 memcached 的數據， 就是一部分 mysql 數據庫的數據）
a、程序端實現
??程序加載所有 mc 的 ip 列表， 通過對 key 做 hash (一致性哈希算法)
例如：web1 (key)===>對應 A,B,C,D,E,F,G……若干臺服務器。（ 通過哈希算法實現）
b、負載均衡器
??通過對 key 做 hash (一致性哈希算法),一致哈希算法的目的是不但保證每個對象只請求一個對應的服務器， 而且當節點宕機， 緩存服務器的更新重新分配比例降到最低。
3、Memcached 服務特點及工作原理是什么？
a、完全基于內存緩存的b、節點之間相互獨立
c、C/S 模式架構， C 語言編寫， 總共 2000 行代碼。
d、異步Ｉ /O 模型， 使用 libevent 作為事件通知機制。e、被緩存的數據以 key/value 鍵值對形式存在的。
f、全部數據存放于內存中， 無持久性存儲的設計， 重啟服務器， 內存里的數據會丟失。g、當內存中緩存的數據容量達到啟動時設定的內存值時， 就自動使用 LRU 算法刪除過期的緩存數據。
h、可以對存儲的數據設置過期時間，這樣過期后的數據自動被清除，服務本身不 會監控過期， 而是在訪問的時候查看 key 的時間戳,判斷是否過期。
j、memcache 會對設定的內存進行分塊， 再把塊分組， 然后再提供服務。
4、簡述Memcached 內存管理機制原理？
??早期的 Memcached 內存管理方式是通過 malloc 的分配的內存， 使用完后通過free 來回收內存， 這種方式容易產生內存碎片， 并降低操作系統對內存的管理效率。加重操作系統內存管理器的負擔， 最壞的情況下， 會導致操作系統比
??memcached 進程本身還慢， 為了解決這個問題， Slab Allocation 內存分配機制就延生了。
??現在 Memcached 利用 Slab Allocation 機制來分配和管理內存。Slab Allocation 機制原理是按照預先規定的大小， 將分配給 memcached 的內存分割成特定長度的內存塊（ chunk)， 再把尺寸相同的內存塊， 分成組（ chunks slab class),這些內存塊不會釋放， 可以重復利用。而且， slab allocator 還有重復使用已分配的內存的目的。 也就是說， 分配到的內存不會釋放， 而是重復利用。
??Slab Allocation 的主要術語Page,分配給 Slab 的內存空間，默認是 1MB。分配給 Slab 之后根據 slab 的大小切分成chunk。
?? Chunk:用于緩存記錄的內存空間。SlabClass,特定大小的 chunk 的組。
5、memcached 是怎么工作的？
??Memcached 的神奇來自兩階段哈希（ two-stage hash）。Memcached 就像一個巨大的、存儲了很多<key,value>對的哈希表。通過 key，可以存儲或查詢任意的數據。
??客戶端可以把數據存儲在多臺 memcached 上。當查詢數據時， 客戶端首先參考節點列表計算出 key 的哈希值（ 階段一哈希）， 進而選中一個節點； 客戶端將請求發送給選中的節點， 然后 memcached 節點通過一個內部的哈希算法（ 階段二哈希）， 查找真正的數據（ item）。
6、memcached 最大的優勢是什么？
??Memcached 最大的好處就是它帶來了極佳的水平可擴展性，特別是在一個巨大的系統中。由于客戶端自己做了一次哈希， 那么我們很容易增加大量 memcached 到集群中。memcached 之間沒有相互通信，因此不會增加 memcached 的負載； 沒有多播協議， 不會網絡通信量爆炸（ implode）。memcached 的集群很好用。內存不夠了？ 增加幾臺 memcached 吧； CPU 不夠用了？ 再增加幾臺吧； 有多余的內存？ 在增加幾臺吧， 不要浪費了。
7、memcached 和MySQL 的query
cache 相比， 有什么優缺點？
??把 memcached 引入應用中， 還是需要不少工作量的。MySQL 有個使用方便的query cache， 可以自動地緩存 SQL 查詢的結果， 被緩存的 SQL 查詢可以被反復地快速執行。Memcached 與之相比，怎么樣呢？ MySQL 的 query cache 是集中式的， 連接到該query cache 的 MySQL 服務器都會受益。
??當您修改表時，MySQL 的query cache 會立刻被刷新（flush）。存儲一個 memcached item 只需要很少的時間，但是當寫操作很頻繁時，MySQL 的query cache 會經常讓所有緩存數據都失效。
??在多核 CPU 上，MySQL 的 query cache 會遇到擴展問題（scalability issues）。在多核CPU 上，query cache 會增加一個全局鎖（global lock）, 由于需要刷新更多的緩存數據，速度會變得更慢。
??在 MySQL 的query cache 中，我們是不能存儲任意的數據的（只能是SQL 查詢結果）。而利用 memcached，我們可以搭建出各種高效的緩存。比如，可以執行多個獨立的查詢，構建出一個用戶對象（user object），然后將用戶對象緩存到 memcached 中。而query cache 是SQL 語句級別的，不可能做到這一點。在小的網站中，query cache 會有所幫助，但隨著網站規模的增加， query cache 的弊將大于利。
??query cache 能夠利用的內存容量受到MySQL 服務器空閑內存空間的限制。給數據庫服務器增加更多的內存來緩存數據，固然是很好的。但是，有了memcached，只要您有空閑的內存，都可以用來增加memcached 集群的規模，然后您就可以緩存更多的數據。
8、memcached 和服務器的local cache（比如 PHP 的APC、mmap 文件等）相比，有什么優缺點？
??首先， localcache 有許多與上面(query cache)相同的問題。localcache 能夠利用的內存容量受到（ 單臺） 服務器空閑內存空間的限制。不過 localcache 有一點比 memcached 和 query cache 都要好， 那就是它不但可以存儲任意的數據， 而且沒有網絡存取的延遲。local cache 的數據查詢更快。考慮把highly common 的數據放在local cache 中吧。如果每個頁面都需要加載一些數量較少的數據，考慮把它們放在localcached 吧。local cache 缺少集體失效（groupinvalidation）的特性。在memcached 集群中，刪除或更新一個key 會讓所有的觀察者覺察到。但是在local cache 中, 我們只能通知所有的服務器刷新cache（很慢，不具擴展性），或者僅僅依賴緩存超時失效機制。local cache 面臨著嚴重的內存限制，這一點上面已經提到。
9、memcached 的cache 機制是怎樣的？
??Memcached 主要的 cache 機制是 LRU（ 最近最少用） 算法+超時失效。當您存數據到memcached 中， 可以指定該數據在緩存中可以呆多久 Which is forever, or some time in the future。如果 memcached 的內存不夠用了， 過期的 slabs 會優先被替換， 接著就輪到最老的未被使用的 slabs。
10、memcached 如何實現冗余機制？
??不實現！我們對這個問題感到很驚訝。Memcached 應該是應用的緩存層。它的設計本身就不帶有任何冗余機制。如果一個 memcached 節點失去了所有數據， 您應該可以從數據源（ 比如數據庫） 再次獲取到數據。您應該特別注意， 您的應用應該可以容忍節點的失效。不要寫一些糟糕的查詢代碼， 寄希望于 memcached來保證一切！ 如果您擔心節點失效會大大加重數據庫的負擔， 那么您可以采取一些辦法。比如您可以增加更多的節點（ 來減少丟失一個節點的影響）， 熱備節點
（ 在其他節點 down 了的時候接管 IP）， 等等。
11、memcached 如何處理容錯的？
??不處理！ 在 memcached 節點失效的情況下，集群沒有必要做任何容錯處理。如果發生了節點失效， 應對的措施完全取決于用戶。節點失效時， 下面列出幾種方案供您選擇：
12、如何將 memcached 中 item 批量導入導出？
??您不應該這樣做！ Memcached 是一個非阻塞的服務器。任何可能導致memcached 暫停或瞬時拒絕服務的操作都應該值得深思熟慮。向 memcached 中批量導入數據往往不是您真正想要的！ 想象看， 如果緩存數據在導出導入之間發生了變化， 您就需要處理臟數據了；
13、如果緩存數據在導出導入之間過期了，您又怎么處理這些數據呢？
??因此， 批量導出導入數據并不像您想象中的那么有用。不過在一個場景倒是很有
用。如果您有大量的從不變化的數據， 并且希望緩存很快熱（ warm） 起來， 批量導入緩存數據是很有幫助的。雖然這個場景并不典型， 但卻經常發生， 因此我們會考慮在將來實現批量導出導入的功能。
??如果一個 memcached 節點 down 了讓您很痛苦，那么您還會陷入其他很多麻煩。您的系統太脆弱了。您需要做一些優化工作。比如處理” 驚群” 問題（ 比如memcached 節點都失效了，反復的查詢讓您的數據庫不堪重負… 這個問題在 FAQ 的其他提到過）， 或者優化不好的查詢。記住， Memcached 并不是您逃避優化查詢的借口。
14、memcached 是如何做身份驗證的？
??沒有身份認證機制！memcached 是運行在應用下層的軟件（ 身份驗證應該是應用上層的職責）。memcached 的客戶端和服務器端之所以是輕量級的，部分原因就是完全沒有實現身份驗證機制。這樣，memcached 可以很快地創建新連接，服務器端也無需任何配置。
??如果您希望限制訪問，您可以使用防火墻，或者讓 memcached 監聽 unix domain socket。
15、memcached 的多線程是什么？如何使用它們？
??線 程 就 是 定 律 （ threads rule）！ 在 Steven Grimm 和 Facebook 的 努 力 下 ， memcached 1.2 及更高版本擁有了多線程模式。多線程模式允許 memcached 能夠充分利用多個 CPU，并在 CPU 之間共享所有的緩存數據。memcached 使用一種簡單的鎖機制來保證數據更新操作的互斥。相比在同一個物理機器上運行多個memcached 實例， 這種方式能夠更有效地處理 multi gets。
??如果您的系統負載并不重， 也許您不需要啟用多線程工作模式。如果您在運行一個擁有大規模硬件的、龐大的網站， 您將會看到多線程的好處。
??簡單地總結一下： 命令解析（ memcached 在這里花了大部分時間）可以運行在多線程模式下。memcached 內部對數據的操作是基于很多全局鎖的（ 因此這部分工作不是多線程的） 。未來對多線程模式的改進， 將移除大量的全局鎖， 提高memcached 在負載極高的場景下的性能。
16、memcached 能接受的key 的最大長度是多少？
??key 的最大長度是 250 個字符。需要注意的是， 250 是 memcached 服務器端內部的限制，如果您使用的客戶端支持”key 的前綴”或類似特性，那么 key（ 前綴+原始 key）的最大長度是可以超過 250 個字符的。我們推薦使用使用較短的 key， 因為可以節省內存和帶寬。
memcached 對 item 的過期時間有什么限制？
??過期時間最大可以達到 30 天。memcached 把傳入的過期時間（ 時間段）解釋成時間點后， 一旦到了這個時間點，memcached 就把 item 置為失效狀態。這是一個簡單但obscure 的機制。
17、memcached 最大能存儲多大的單個item？
??1MB。如果你的數據大于 1MB， 可以考慮在客戶端壓縮或拆分到多個 key 中。為什么單個 item 的大小被限制在 1M byte 之內？
啊… 這是一個大家經常問的問題！
簡單的回答： 因為內存分配器的算法就是這樣的。
詳細的回答： Memcached 的內存存儲引擎（ 引擎將來可插拔… ），使用 slabs 來管理內存。內存被分成大小不等的 slabs chunks（ 先分成大小相等的 slabs，然后每個 slab 被分成大小相等 chunks，不同 slab 的 chunk 大小是不相等的）。chunk 的大小依次從一個最小數開始， 按某個因子增長， 直到達到最大的可能值。
18、memcached 能夠更有效地使用內存嗎？
??Memcache 客戶端僅根據哈希算法來決定將某個 key 存儲在哪個節點上， 而不考慮節點的內存大小。因此， 您可以在不同的節點上使用大小不等的緩存。但是一般都是這樣做的： 擁有較多內存的節點上可以運行多個 memcached 實例， 每個實例使用的內存跟其他節點上的實例相同。
19、什么是二進制協議，我該關注嗎？
關于二進制最好的信息當然是二進制協議規范：
??二進制協議嘗試為端提供一個更有效的、可靠的協議， 減少客戶端/服務器端因處理協議而產生的 CPU 時間。根據 Facebook 的測試，解析 ASCII 協議是 memcached 中消耗 CPU 時間最多的環節。所以， 我們為什么不改進 ASCII 協議呢？
20、memcached 的內存分配器是如何工作的？為什么不適用malloc/free！？為何要使用slabs？
??實際上， 這是一個編譯時選項。默認會使用內部的 slab 分配器。您確實確實應該使用內建的 slab 分配器。最早的時候，memcached 只使用 malloc/free 來管理內存。然而， 這種方式不能與 OS 的內存管理以前很好地工作。反復地 malloc/free 造成了內存碎片， OS 最終花費大量的時間去查找連續的內存塊來滿足 malloc 的請求， 而不是運行memcached 進程。如果您不同意， 當然可以使用 malloc！ 只是不要在郵件列表中抱怨啊
??slab 分配器就是為了解決這個問題而生的。內存被分配并劃分成 chunks，一直被重復使用。因為內存被劃分成大小不等的 slabs，如果 item 的大小與被選擇存放它的 slab 不是很合適的話， 就會浪費一些內存。Steven Grimm 正在這方面已經做出了有效的改進。
21、memcached 是原子的嗎？
??所有的被發送到 memcached 的單個命令是完全原子的。如果您針對同一份數據同時發送了一個 set 命令和一個 get 命令， 它們不會影響對方。它們將被串行化、先后執行。即使在多線程模式， 所有的命令都是原子的， 除非程序有 bug:)
??命令序列不是原子的。如果您通過 get 命令獲取了一個 item， 修改了它， 然后想把它set 回 memcached， 我們不保證這個 item 沒有被其他進程（ process， 未必是操作系統中的進程） 操作過。在并發的情況下， 您也可能覆寫了一個被其他進程 set 的 item。memcached 1.2.5 以及更高版本， 提供了 gets 和 cas 命令， 它們可以解決上面的問
題。如果您使用 gets 命令查詢某個 key 的 item， memcached 會給您返回該 item 當前值的唯一標識。如果您覆寫了這個 item 并想把它寫回到 memcached 中，您可以通過cas 命令把那個唯一標識一起發送給 memcached。如果該 item 存放在 memcached 中的唯一標識與您提供的一致， 您的寫操作將會成功。如果另一個進程在這期間也修改了這個 item， 那么該 item 存放在 memcached 中的唯一標識將會改變， 您的寫操作就會失敗
22、如何實現集群中的 session 共享存儲？
??Session 是運行在一臺服務器上的，所有的訪問都會到達我們的唯一服務器上，這樣我們可以根據客戶端傳來的 sessionID，來獲取 session，或在對應 Session 不存在的情況下（ session 生命周期到了/用戶第一次登錄），創建一個新的 Session； 但是， 如果我們在集群環境下， 假設我們有兩臺服務器 A， B， 用戶的請求會由Nginx 服務器進行轉發（ 別的方案也是同理）， 用戶登錄時， Nginx 將請求轉發至服務器 A 上，A 創建了新的 session，并將 SessionID 返回給客戶端，用戶在瀏覽其他頁面時， 客戶端驗證登錄狀態， Nginx 將請求轉發至服務器 B， 由于 B 上并沒有對應客戶端發來 sessionId 的 session，所以會重新創建一個新的 session，并且再將這個新的 sessionID 返回給客戶端， 這樣， 我們可以想象一下， 用戶每一次操作都有 1/2 的概率進行再次的登錄， 這樣不僅對用戶體驗特別差， 還會讓服務器上的session 激增， 加大服務器的運行壓力。
為了解決集群環境下的 seesion 共享問題， 共有 4 種解決方案：
1.粘性 session
??粘性 session 是指 Ngnix 每次都將同一用戶的所有請求轉發至同一臺服務器上， 即將用戶與服務器綁定。
2.服務器 session 復制
??即每次 session 發生變化時， 創建或者修改， 就廣播給所有集群中的服務器， 使所有的服務器上的 session 相同。
3.session 共享
??緩存 session， 使用 redis， memcached。4.session 持久化,將 session 存儲至數據庫中， 像操作數據一樣才做 session。
23、memcached 與redis 的區別？
1、Redis 不僅僅支持簡單的 k/v 類型的數據，同時還提供 list，set，zset， hash 等數據結構的存儲。而 memcache 只支持簡單數據類型，需要客戶端自己處理復雜對象
2、Redis 支持數據的持久化， 可以將內存中的數據保持在磁盤中， 重啟的時候可以再次加載進行使用（ PS： 持久化在 rdb、aof）。
3、由于 Memcache 沒有持久化機制， 因此宕機所有緩存數據失效。Redis 配置為持久化， 宕機重啟后， 將自動加載宕機時刻的數據到緩存系統中。具有更好的災備機制。
4、Memcache 可以使用 Magent 在客戶端進行一致性 hash 做分布式。Redis 支持在服務器端做分布式（ PS:Twemproxy/Codis/Redis-cluster 多種分布式實現方式）
5、Memcached 的簡單限制就是鍵（ key） 和 Value 的限制。最大鍵長為 250 個字符。可以接受的儲存數據不能超過 1MB（ 可修改配置文件變大）， 因為這是典型 slab 的最大值， 不適合虛擬機使用。而 Redis 的 Key 長度支持到 512k。
6、Redis 使用的是單線程模型， 保證了數據按順序提交。Memcache 需要使用cas 保證數據一致性。CAS（ Check and Set） 是一個確保并發一致性的機制， 屬于“ 樂觀鎖” 范疇； 原理很簡單： 拿版本號， 操作， 對比版本號， 如果一致就操作， 不一致就放棄任何操作
cpu 利用。由于 Redis 只使用單核， 而 Memcached 可以使用多核， 所以平均每一個核上 Redis 在存儲小數據時比 Memcached 性能更 高。而在 100k 以上的數據中， Memcached 性能要高于 Redis 。
7、memcache 內存管理： 使用 Slab Allocation。原理相當簡單， 預先分配一系列大小固定的組，然后根據數據大小選擇最合適的塊存儲。避免了內存碎片。（ 缺點： 不能變長， 浪費了一定空間） memcached 默認情況下下一個 slab 的最大值為前一個的 1.25 倍。
8、redis 內存管理： Redis 通過定義一個數組來記錄所有的內存分配情況， Redis 采用的是包裝的 malloc/free， 相較于 Memcached 的內存 管理方法來說， 要簡單很多。由于 malloc 首先以鏈表的方式搜索已管理的內存中可用的空間分配， 導致內存碎片比較多
~好了，篇幅原因Memcached 的相關面試題我們就介紹到這里哦！歡迎關注點贊加收藏哦！
總結
以上是生活随笔為你收集整理的两个通宵熬出来的互联网大厂最新面试题收集整理1000道(三-Memcached)，欢迎点赞收藏!!!的全部內容，希望文章能夠幫你解決所遇到的問題。
