測試的時候 JuiceFS1.0 還沒有發(fā)布，測試的過程中確實發(fā)現(xiàn)了問題，在實時寫的過程中會出現(xiàn)了數(shù)據(jù)損壞的情況，跟社區(qū)溝通后可以通過修改緩存的大小來避免：

–attr-cache=0.1 屬性緩存時長，單位秒 (默認(rèn)值: 1)

–entry-cache=0.1 文件項緩存時長，單位秒 (默認(rèn)值: 1)

–dir-entry-cache=0.1 目錄項緩存時長，單位秒 (默認(rèn)值: 1)

這三個參數(shù)的緩存默認(rèn)是 1，把時長改成 0.1，它確實解決了索引損壞的問題，但是會帶來一些新的問題，因為元數(shù)據(jù)的緩存和數(shù)據(jù)緩存的時間變短，會導(dǎo)致在執(zhí)行系統(tǒng)命令的時候，比如 curl 一個系統(tǒng)命令，查看索引數(shù)量或者集群狀態(tài)，正常的情況下，調(diào)用可能在秒級，而這種變化可能導(dǎo)致需要數(shù) 10 秒才能夠完成。

第二個問題就是寫入的 QPS 有明顯下降。我們可以看到監(jiān)控圖中 Write QPS 非常不穩(wěn)定，這并不代表 ES 真實的 QPS，因為監(jiān)控圖中的 QPS 是通過兩次得到的 documents 數(shù)量來做差得到的，由于舊版 JuiceFS 存在一些內(nèi)核緩存問題，導(dǎo)致 ES 讀到了一些舊數(shù)據(jù)。我們把該問題反饋給了社區(qū)， JuiceFS 1.0 正式發(fā)布后問題得到解決。

我們就進行了新一輪的測試，新一輪的測試確定了 hot 節(jié)點 3 臺，8C16G 500G SSD， warm 節(jié)點 2 臺，4C16G 200G SSD，測試時長 1 周，每天寫入數(shù)據(jù)量 1TB (1 副本)，1 天后轉(zhuǎn)到 warm 節(jié)點 。沒有再出現(xiàn)索引數(shù)據(jù)損壞情況，通過這次壓測沒有再出現(xiàn)之前遇到的問題，這就給了我們信心，接下來我們把整個的 ES 逐漸的往這方面來做遷移。

JuiceFS 數(shù)據(jù)存儲和對象存儲的差異
JuiceFS 有自己的元數(shù)據(jù)，所以在對象存儲上和 JuiceFS 當(dāng)中看到的目錄結(jié)構(gòu)是不一樣的。

JuiceFS 分為三層結(jié)構(gòu)，chunk、slice、block，因此我們在對象存儲上面看到的是 JuiceFS 對文件做拆分之后的數(shù)據(jù)塊。但是所有的數(shù)據(jù)是通過 ES 來管理，所以這一點用戶不需要關(guān)注，只需要通過 ES 來執(zhí)行所有的文件系統(tǒng)操作即可。JuiceFS 會恰當(dāng)管理對象存儲中的數(shù)據(jù)塊。

經(jīng)過這一系列的測試后， 金山云將 JuiceFS 應(yīng)用在日志服務(wù)（ Klog）中，為企業(yè)用戶提供一站式日志類數(shù)據(jù)服務(wù)，實現(xiàn)了云上的數(shù)據(jù)可以不出云，直接就完成數(shù)據(jù)采集，存儲分析以及告警的一站式服務(wù)；云下的數(shù)據(jù)提供了 SDK 客戶端，通過采集工具來實現(xiàn)數(shù)據(jù)上云的整個整條鏈路，最后可以把數(shù)據(jù)投遞到 KS3 和 KMR，來實現(xiàn)數(shù)據(jù)的加工計算。

03 Elasticsearch 冷熱數(shù)據(jù)管理
ES 有幾個常用概念： Node Role 、Index Lifecycle Management 、 Data Stream。

Node Role，節(jié)點角色。每一個 ES 節(jié)點會分配不同的角色，比如 master、data、ingest。重點介紹一下 data 節(jié)點，老版本是分為三種，就是 hot、warm、cold 節(jié)點，在最新的版本里面增加了 freeze ，冷凍節(jié)點。

Index Lifecycle Management（ILM）我們分為了 4 個階段：

hot: 索引正在被頻繁更新和查詢。
warm: 索引不再被更新，但查詢量一般。
cold: 索引不再被更新，并且很少被查詢。這些信息仍然需要可搜索，但如果查詢速度較慢也沒關(guān)系。
delete: 索引不再需要，可以安全地刪除。

ES 官方提供了一個生命周期的管理工具，我們可以基于索引的大小，docs 數(shù)量的大小以及時間策略，把一個大的索引拆分成成多個小索引。一個大索引從管理運維查詢，它的開銷的代價是非常大的。生命周期管理功能方便我們更靈活地管理索引。

Data Stream 是在 7.9 版本提出推出了一個新功能，它是基于索引生命周期管理來實現(xiàn)了一個數(shù)據(jù)流寫入，可以很方便地處理時間序列數(shù)據(jù)。

在查詢多個索引時，通常是把這些索引合并在一起來查詢，我們可以使用 Data Stream，他就像一個別名一樣，可以自行路由到不同的索引里面。Data Stream 對時序數(shù)據(jù)的存儲管理和查詢來說更友好，這個是來對 ES 的冷熱管理上面是來更近了一步，方便整個的運維管理。

總結(jié)

以上是生活随笔為你收集整理的通过生命周期管理来做热数据到冷数据的迁移的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。