名为 cursor_jinserted 的游标不存在_性能优化技巧 - 程序游标
很多算法都會產生落地的中間結果,從而影響性能,尤其是數據量較大的時候。這種情況下通常可用程序游標來避免數據落地,下面舉例說明。
前半排序
計算目標:訂單表原來已按時間排序,需要將數據按日期、產品去除重復,再統計記錄條數。
由于去重后結果集較大,內存放不下,因此一般會用groupx去重,SPL腳本如下:
但函數groupx會導致數據落地,因此性能不高。
要使去重的中間結果不落地,可以先生成程序游標,distinctProduct.dfx腳本如下:
A2:循環訂單表。由于數據已按時間排序,因此每次取日期相同的一批數。
B2:按產品去重。注意,全量數據雖大,但按天取數相對較少,內存可以放下,所以這里用id去重。
B3:返回本批次的去重結果。注意,程序游標并非一次性返回所有數據,而是每次循環之后,先等待調用者的請求,如果調用者繼續要數據,程序游標才會進行下一次循環,期間數據不落地。
主程序可通過cursor函數調用程序游標,用法與普通游標類似:
可以看到,程序游標可減少數據落地,從而提升計算性能。
集合運算
數據庫進行集合運算時要先排序,如果數據量太大,則排序會耗費大量時間,遲遲不能輸出結果。在這種情況下,適合用程序游標生成不落地的有序中間結果集,從而實現快速輸出。
比如兩張結構相同表:callRecordA、callRecordB。兩張表在時間字段callTime上建立了索引,每秒數據量萬級,現在對2015-01-01這一天的數據做并集運算,需要快速輸出前500條(比如在報表上快速呈現)。
這次將程序游標和調用代碼寫在同一個腳本中,如下:
A1:用func定義程序游標,相應的調用語法為cursor@c。
B2:循環一天中的每一秒。
C3:從數據庫查詢一秒的數據,因為是按索引取數,所以速度很快,而且對數據庫影響很小。注意A1是表名變量,程序游標既可以從callRecordA取數,也可以從callRecordB取數。
C4:對一秒數據進行內存排序,以便形成有序結果集。由于數據在同一秒,所以只需對其他字段排序。
A7A8:以表名為參數,取出2個程序游標。
A9:對兩個游標進行有序歸并,@u表示取并集。類似地,可以用@i和@d分別進行并交集、差集運算。
總結
以上是生活随笔為你收集整理的名为 cursor_jinserted 的游标不存在_性能优化技巧 - 程序游标的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: win 2008 控制共享文件夹大小_W
- 下一篇: 如何在手机上打开xmind文件_如何将手