在最新的ES中出現(xiàn)了一個X特性，卷數(shù)據(jù)（Data Rollup，不知道如何翻譯，姑且這么稱呼吧）。這個卷數(shù)據(jù)是個什么概念呢？

如果做過監(jiān)控（monitoring）的都知道，監(jiān)控實(shí)際上是個大數(shù)據(jù)問題，這些”大“之一就是大量：一個復(fù)雜的系統(tǒng)可能每天面臨上TB的原始數(shù)據(jù)；雖然監(jiān)控系統(tǒng)所用的數(shù)據(jù)庫都會有一些高效的壓縮功能，但最終磁盤上存儲的量仍然會按每天數(shù)十?dāng)?shù)百G增加。因此監(jiān)控系統(tǒng)中數(shù)據(jù)的存留時間和策略（retention period & policy）始終是個核心問題。正是為了更好的解決這個問題，ES提出了卷數(shù)據(jù)這個概念（新瓶裝老酒了）：把超過指定時間段的數(shù)據(jù)按預(yù)定的方式進(jìn)行聚合，從而在一個更粗的粒度下能提供更長時間的數(shù)據(jù)存留以供查詢和處理。被卷處理后的數(shù)據(jù)可以根據(jù)實(shí)際情況被放到更低成本的存儲中以供不時之需或直接拋棄（當(dāng)然也就從ES的index中去掉了）。

ES的卷數(shù)據(jù)有如下一些重要特征

卷數(shù)據(jù)的生成使用的是ES查詢的標(biāo)準(zhǔn)語法，這個降低了卷數(shù)據(jù)的生成和維護(hù)難度（用戶不用單獨(dú)學(xué)習(xí)特殊的語法和語義來完成這個了）。

卷數(shù)據(jù)可以同時和當(dāng)前活躍（live）數(shù)據(jù)進(jìn)行查詢。ES會把聚合的數(shù)據(jù)存放到一個獨(dú)立的索引（index）中，在查詢時當(dāng)前活躍數(shù)據(jù)的索引和這個卷數(shù)據(jù)的索引都會被訪問并自動返回合并后的查詢結(jié)果。比如如果我們把一個月前的數(shù)據(jù)進(jìn)行卷數(shù)據(jù)處理，ES的查詢會同時參照卷數(shù)據(jù)和最近一個月的數(shù)據(jù)返回一個完整的查詢結(jié)果（即：如果我們查詢最近三個月的數(shù)據(jù)，最近的一個月數(shù)據(jù)會來自于活躍數(shù)據(jù)，而前兩個月的數(shù)據(jù)則來自于卷數(shù)據(jù)）。

卷數(shù)據(jù)的查詢時間間隔粒度是可變的：我們在生成卷數(shù)據(jù)時可能指定卷數(shù)據(jù)按天或小時生成，但我們查詢時時間間隔粒度可以是任何大于這個粒度的，ES會自動根據(jù)指定的粒度進(jìn)行相應(yīng)的轉(zhuǎn)化或聚合返回正確的查詢結(jié)果。

使用卷數(shù)據(jù)可以帶來明顯的空間上的節(jié)約，但它也導(dǎo)致數(shù)據(jù)上的粒度或精度收到明顯的損失。更重要的是生成卷數(shù)據(jù)的方式是預(yù)先指定的，如果在后期查詢時發(fā)現(xiàn)所需要的數(shù)據(jù)在內(nèi)容和格式上有缺失，因?yàn)樵紨?shù)據(jù)已經(jīng)被清除可能導(dǎo)致業(yè)務(wù)上的限制；此時如果將原始數(shù)據(jù)保存到了更便宜的存儲介質(zhì)上，可以將他們重新加載出來后用新的格式對數(shù)據(jù)進(jìn)行卷數(shù)據(jù)處理即可。

總結(jié)

以上是生活随笔為你收集整理的ES中的RollUp概念的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。