10.CollapsingMergeTree
10.1.CollapsingMergeTree
10.2.案例（State行和Cancel行匹配示例）
10.3.示例2：聚合查詢
10.4.示例3：Cancel狀態(tài)行取反的聚合查詢

10.CollapsingMergeTree

10.1.CollapsingMergeTree

1、在排序鍵（ORDER BY）的所有字段都相同的條件下，如果特定的字段具有1和-1的值，CollapsingMergeTree將異步刪除（折疊）成對的行。沒有配對的行將保留。
2、能顯著降低存儲空間并提升SELECT查詢的效率。
3、變相的實現(xiàn)了數(shù)據(jù)的更新和刪除邏輯。

指定表引擎：
CollapsingMergeTree(sign)
參數(shù)：sign，標識行類型的列名稱，1是狀態(tài)行，-1是取消行。列的數(shù)據(jù)類型是Int8。

使用特定的列Sign，如果Sign=1，則表示該行是對象的狀態(tài)，稱之為"狀態(tài)"行。如果Sign=-1，則表示取消具有屬性的對象的狀態(tài)，稱之為"取消"行。

例如，計算用戶在某個站點訪問的頁面數(shù)以及停留的時長。在某個時刻，將用戶的活動狀態(tài)寫入下面的行：

一段時間后，將用戶活動的變化寫入以下兩行：

第一行取消對象（用戶）的先前狀態(tài)，它應(yīng)該復(fù)制被取消狀態(tài)行的排序鍵字段，字段sign設(shè)置為-1標 識取消狀態(tài)。
第二行包含當前狀態(tài)
取消狀態(tài)的行包含：排序鍵字段的拷貝和相反的Sign值。 取消狀態(tài)的行增加了存儲的大小，但是卻可以 快速寫入數(shù)據(jù)。

合并算法
當ClickHouse合并數(shù)據(jù)片段時，具有相同排序鍵的每一組連續(xù)行被縮減為不超過兩行，一行的Sign=1， 另一行的Sign=-1。換句話說，條目將折疊。

如果”state”行與”cancel”行的數(shù)目匹配，且最后一行是”state”行，則保留第一個”cancel”和最后一個”state”行。

如果”state”行比”cancel”行的數(shù)目多，則保留最后一個”state”行。

如果”cancel”行比”state”行的數(shù)目多，則保留第一個”cancel”行。

其它情況，不保留行。

Note:當”state”行比”cancel”行數(shù)目至少多2個，或者”cancel”行比”state”行多至少2個時，合并將繼續(xù)，但是ClickHouse將此情況視為邏輯錯誤并將其在server的日志記錄下來。如果同一份數(shù)據(jù)被插入了多次，則會發(fā)生此錯誤。

聚合統(tǒng)計
合并算法不能保證所有具有相同排序鍵的行都位于相同的結(jié)果數(shù)據(jù)片段中，甚至位于同一個物理服務(wù)器上。 ClickHouse使用多線程處理SELECT查詢，并且無法預(yù)測結(jié)果中的行順序。如果需要從CollapsingMergeTree表中完全”折疊”數(shù)據(jù)，則需要結(jié)合Sign字段使用聚合。

例如：計算使用，使用sum(Sign)而不是count()。計算sum,使用sum(Sign * x)而不是sum(x),以此類推。
并且需要添加HAVING sum(Sign) > 0.

聚合的count、sum和avg可以通過這種方式計算，如果一個對象的至少一個狀態(tài)未折疊，則可以計算聚合 uniq。無法計算聚合的最小值和最大值，因為CollapsingMergeTree不會保存折疊狀態(tài)的歷史記錄。

如果要提取數(shù)據(jù)但不想使用聚合，則可以對FROM子句使用FINAL修飾符，這種方法效率明顯不高。

10.2.案例（State行和Cancel行匹配示例）：

示例：State行和Cancel行匹配示例
驗證：如果"state"行與"cancel"行的數(shù)目匹配，且最后一行是"state"行，則保留第一個"cancel"行和最后一個"state"行。

建表語句：

CREATE TABLE UAct (UserID UInt64,PageViews UInt8,Duration UInt8,Sign Int8 ) ENGINE = CollapsingMergeTree(Sign) ORDER BY UserID;

首先清空表：

truncate table UAct;

執(zhí)行如下的數(shù)據(jù)插入語法：

INSERT INTO UAct VALUES (4324182021466249494, 1, 11, -1),(4324182021466249494, 2, 12, -1); INSERT INTO UAct VALUES (4324182021466249494, 3, 13, 1); INSERT INTO UAct VALUES (4324182021466249494, 4, 14, 1);

查看數(shù)據(jù)：

xxxx2 :) select * from UAct;SELECT * FROM UAct┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐ │ 4324182021466249494 │ 4 │ 14 │ 1 │ └─────────────────────┴───────────┴──────────┴──────┘ ┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐ │ 4324182021466249494 │ 1 │ 11 │ -1 │ │ 4324182021466249494 │ 2 │ 12 │ -1 │ └─────────────────────┴───────────┴──────────┴──────┘ ┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐ │ 4324182021466249494 │ 3 │ 13 │ 1 │ └─────────────────────┴───────────┴──────────┴──────┘4 rows in set. Elapsed: 0.010 sec. xxxx2 :)

執(zhí)行計劃外的片段合并操作：

xxxx2 :) optimize table UAct;OPTIMIZE TABLE UActOk.0 rows in set. Elapsed: 0.004 sec. xxxx2 :) select * from UAct;SELECT * FROM UAct┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐ │ 4324182021466249494 │ 1 │ 11 │ -1 │ │ 4324182021466249494 │ 4 │ 14 │ 1 │ └─────────────────────┴───────────┴──────────┴──────┘2 rows in set. Elapsed: 0.008 sec. xxxx2 :)

從示例中可以觀察到，最終的數(shù)據(jù)片段保留了第一個"cancel"行和最后一個"state"行。

10.3.示例2：聚合查詢

示例數(shù)據(jù)：

┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐ │ 4324182021466249494 │ 5 │ 146 │ 1 │ │ 4324182021466249494 │ 5 │ 146 │ -1 │ │ 4324182021466249494 │ 6 │ 185 │ 1 │ └─────────────────────┴───────────┴──────────┴──────┘

建表：

DROP TABLE UAct; CREATE TABLE UAct (UserID UInt64,PageViews UInt8,Duration UInt8,Sign Int8 ) ENGINE = CollapsingMergeTree(Sign) ORDER BY UserID;

插入數(shù)據(jù)：
INSERT INTO UAct VALUES (4324182021466249494, 5, 146, 1);
INSERT INTO UAct VALUES (4324182021466249494, 5, 146, -1),(4324182021466249494, 6, 185, 1);

上面執(zhí)行了兩個INSERT語句，創(chuàng)建了兩個不同的數(shù)據(jù)片段。如果使用一個INSERT語句，ClickHouse將創(chuàng)建一個數(shù)據(jù)片段，并且將永遠不會執(zhí)行任何合并。
查詢數(shù)據(jù)：

xxxx2 :) select * from UAct;SELECT * FROM UAct┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐ │ 4324182021466249494 │ 5 │ 146 │ -1 │ │ 4324182021466249494 │ 6 │ 185 │ 1 │ └─────────────────────┴───────────┴──────────┴──────┘ ┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐ │ 4324182021466249494 │ 5 │ 146 │ 1 │ └─────────────────────┴───────────┴──────────┴──────┘3 rows in set. Elapsed: 0.012 sec. xxxx2 :)

通過兩個INSERT語句，創(chuàng)建了兩個數(shù)據(jù)片段。SELECT查詢是在兩個線程中執(zhí)行的，我們得到了隨機順序的行。由于尚未合并數(shù)據(jù)片段，折疊還未發(fā)生。
我們無法預(yù)測ClickHouse在何時執(zhí)行數(shù)據(jù)片段的合并。因此，我們需要使用聚合：

SELECTUserID,sum(PageViews * Sign) AS PageViews,sum(Duration * Sign) AS Duration FROM UAct GROUP BY UserID HAVING sum(Sign) > 0;

如果不使用聚合，可以對FROM子句使用FINAL修飾符進行強制合并：

select * from UAct FINAL;

效果如下：

xxxx2 :) select * from UAct FINAL;SELECT * FROM UAct FINAL┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐ │ 4324182021466249494 │ 6 │ 185 │ 1 │ └─────────────────────┴───────────┴──────────┴──────┘1 rows in set. Elapsed: 0.010 sec. xxxx2 :)

10.4.示例3：Cancel狀態(tài)行取反的聚合查詢

示例數(shù)據(jù)：

┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┐ │ 4324182021466249494 │ 5 │ 146 │ 1 │ │ 4324182021466249494 │ -5 │ -146 │ -1 │ │ 4324182021466249494 │ 6 │ 185 │ 1 │ └─────────────────────┴───────────┴──────────┴──────┘

這個方法的核心思想是僅考慮關(guān)鍵字段，在"cancel"行中，可以指定負數(shù)，這些負數(shù)的值等于行的前一個版本的關(guān)鍵字段值的取反，這樣在求和時就可以不使用Sign列。對于這種方法，必須更改PageViews和Duration字段的數(shù)據(jù)類型，從UIn8改成Int16。

CREATE TABLE UAct (UserID UInt64,PageViews Int16,Duration Int16,Sign Int8 ) ENGINE = CollapsingMergeTree(Sign) ORDER BY UserID;

插入數(shù)據(jù)，并測試：

insert into UAct values(4324182021466249494, 5, 146, 1); insert into UAct values(4324182021466249494, -5, -146, -1); insert into UAct values(4324182021466249494, 6, 185, 1);

總結(jié)

以上是生活随笔為你收集整理的11_CollapsingMergeTree,（State行和Cancel行匹配示例）,聚合查询，Cancel状态行取反的聚合查询的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。