作者簡介

張連壯，多年PostgreSQL數據庫內核研發經驗，高可用/數據復制方面經驗較為豐富，目前主要從事分布式數據庫Citus相關工作，CitusDB中國【站主】專注于Citus技術分享的全信息平臺，歡迎大家參與到Citus知識傳播和Citus使用推廣的活動中！！！

背景

count(* )在PostgreSQL上經常被抱怨執行非常慢。而在一段時間中我收到過很多count(1 )比count(* )快的說法，并將這種理解此應用于我的工作中。

為什么count(*)這么慢？

l?大多數人都會接受以下SQL很慢：

SELECT count(*)FROM /* 復雜查詢 */;

這是一個復雜的查詢，PostgreSQL必須知道它需要將多少行的數據用于計算。

l?但如果以下情況很慢，很多人都會感到震驚：

SELECT count(*) FROM /* 大表 */;

由于表中沒有存儲“行數”(像在MySQL中的MyISAM一樣)，PostgreSQL計算行的唯一方法是獲得全部數據。

因此，count(*)通常會執行表的順序掃描，這個代價非常昂貴。

問題出在?count(?*?)中的?*?么？

select * from 中的 * 將擴展表的所有列，因此，許多人認為使用count( * )效率低下，應該寫count(id)或count(1)代替。但是count( * )中的 * 與select * 中的 * 是完全不同的，count * 中的 * 僅僅代表row并不會展開它，寫入count(1)與count( * )是相同的效果。但是count(id)有些不同，它只計算id是NOT NULL的行數。因此避免count(?* )沒有任何用處，反而count(?* ) 的速度還會更快。

源碼解讀

l?查看count函數定義

test=# select proname, pronargs, prosrc from pg_proc where proname='count';proname | pronargs | prosrc ---------+----------+-----------------count | 0 | aggregate_dummycount | 1 | aggregate_dummy(2 rows)

l?什么??0個參數的count?

test=# select count() from lzzhang;ERROR:??count(*)?must?be?used?to?call?a?parameterless?aggregate?function

執行報錯，說好的0個參數呢？

查看語法，僅保留主要代碼。

* (*) - normal agg with no args * (aggr_arg,...) - normal agg with args * (ORDER BY aggr_arg,...) - ordered-set agg with no direct args

* (aggr_arg,... ORDER BY aggr_arg,...) - ordered-set agg with direct args * * The zero-argument case is spelled with '*' for consistency with COUNT(*).aggr_args:??'('?'*'?')' { $$ = list_make2(NIL, makeInteger(-1)); }

count(?*?)的?*?唯一的作用僅僅是作為count函數0個參數的標識使用！！！

l?count查詢

我們來看看幾種count的情況

test=# select * from lzzhang;id | id1 | id2 ----+-----+-----1 | | 1 | 1 | 1 | 1 | 12 | |

2 | | 3 | | 3 | | 3 | | (8 rows)test=# select count(*) from lzzhang;count -------8(1 row)test=# select count(1) from lzzhang;count -------8(1 row)

test=# select count('const_string') from lzzhang; count ------- 8(1 row)test=# select count(id) from lzzhang; count ------- 8(1 row)test=# select count(id1) from lzzhang; count ------- 2(1 row)

這里我們簡單分成三種類型的count

1. 列名(id/id1)-只計算非null的數據

2. 無參(* )–計算全部數據

3. 常量(1/const_string)–計算全部數據

count只計算非null的數據。

三種方式在ExecInterpExpr函數中的處理

列名： EEO_CASE(EEOP_OUTER_FETCHSOME) { slot_getsomeattrs(outerslot, op->d.fetch.last_var); EEO_NEXT(); } 只計算非null的數據常量： EEO_CASE(EEOP_CONST) { *op->resnull = op->d.constval.isnull;

*op->resvalue = op->d.constval.value; EEO_NEXT(); }????常量當然不會是null，所以1/const_string會計算全部數據。無參： EEO_CASE(EEOP_AGG_STRICT_TRANS_CHECK) { AggState *aggstate; AggStatePerGroup pergroup; aggstate = op->d.agg_strict_trans_check.aggstate; pergroup = &aggstate->all_pergroups [op->d.agg_strict_trans_check.setoff] [op->d.agg_strict_trans_check.transno];if (unlikely(pergroup->transValueIsNull))

EEO_JUMP(op->d.agg_strict_trans_check.jumpnull);EEO_NEXT(); }????????檢查之后就直接計算。

所以?* 并不會比1快， 反而?* 比1 會減少cpu的計算，速度更快！現在cpu的計算速度很快了，我的單核每秒可以計算6.5億次，所以 * 和 1的時間幾乎是一樣的。

l?計算cpu單核運算力的小程序

[lzzhang@lzzhang-pc ~]$ cat test.c #include #include #include #include unsigned long long counter=1;void signal_handler(int sig){

printf("counter %llu \n", counter); fflush(stdout);exit(0);}int main(int argc, char *argv[]){ signal(SIGALRM, signal_handler);alarm(1);while(counter++);return 0;}[lzzhang@lzzhang-pc ~]$ gcc test.c[lzzhang@lzzhang-pc ~]$ ./a.out counter 657214986

提升PostgreSQL Count 性能

僅使用索引掃描

掃描一個小索引比全表掃描會減少很多代價，但是，由于PostgreSQL是多版本并發控制，在PostgreSQL中并不是這么簡單的可以完成。每個行版本(“tuple”)包含可見的數據快照的信息。但是這些信息不會存儲在索引中。因此，計算索引中的條目通常是不夠的，因為PostgreSQL必須訪問表元組以確保索引條目可見。

為了緩解這個問題，PostgreSQL引入了visibility map，這是一種數據結構，用于存儲表塊中的所有元組是否對所有人可見。

如果大多數表塊都是可見的，則索引掃描不需要訪問表元組來確定可見性。這種索引掃描稱為“index?only?scan”，因此掃描索引以計算行數通常更快。

vacuum會更新visibility map，因此如果要使用索引來加速count * 的計算，請確保autovacuum在表上運行得足夠頻繁。

真的需要嗎count(*?)么？

有時最好的解決方案是尋找替代方案。

如果您不需要精確計數可以使用近似值。在這種情況下，您可以使用PostgreSQL用于查詢計劃的估計值：

SELECT?reltuples::bigintFROM pg_catalog.pg_classWHERE relname = 'mytable';

這個值由autovacuum和autoanalyze更新，所以它永遠不會超過10％的誤差。您可以減少autovacuum_analyze_scale_factor以便autoanalyze更頻繁地運行。

使用輔助表

我們創建mytable_count用于記錄表的行數，并在mytable修改數據時使用觸發器更新mytable_count的值。

START TRANSACTION;CREATE TABLE mytable_count(c bigint);

CREATE FUNCTION mytable_count() RETURNS triggerLANGUAGE plpgsql AS$$BEGINIF TG_OP = 'INSERT' THENUPDATE mytable_count SET c = c + 1; RETURN NEW; ELSIF TG_OP = 'DELETE' THEN UPDATE mytable_count SET c = c - 1; RETURN OLD; ELSE UPDATE mytable_count SET c = 0; RETURN NULL; END IF;END;$$;

CREATE TRIGGER mytable_count_mod AFTER INSERT OR DELETE ON mytableFOR EACH ROW EXECUTE PROCEDURE mytable_count();-- TRUNCATE triggers must be FOR EACH STATEMENTCREATE TRIGGER mytable_count_trunc AFTER TRUNCATE ON mytableFOR EACH STATEMENT EXECUTE PROCEDURE mytable_count();-- initialize the counter tableINSERT INTO mytable_countSELECT count(*) FROM mytable;COMMIT;

我們在單個事務中執行所有操作，以便不會“丟失”任何數據，因為CREATE TRIGGER是SHARE ROW EXCLUSIVE的鎖，這可以防止所有并發修改，當然，缺點是所有并發數據修改必須等到SELECT count(* )完成。

這為我們提供了一個非常快速替代count(* )的方案，但代價是減慢了對表的數據修改性能。即使這個計數表不停的更新，也沒有“表膨脹”的危險，因為這些都是HOT更新。

PostgreSQL中文社區歡迎廣大技術人員投稿

投稿郵箱：press@postgres.cn

總結

以上是生活随笔為你收集整理的sql count(1) count(*)区别_PostgreSQL的count(1)真的比count(*)快么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。