?

1.窗口函數

1.LAG(col,n,DEFAULT) 用于統計窗口內往上第n行值

第一個參數為列名，第二個參數為往上第n行（可選，默認為1），第三個參數為默認值（當往上第n行為NULL時候，取默認值，如不指定，則為NULL）

?

2.LEAD(col,n,DEFAULT) 用于統計窗口內往下第n行值

第一個參數為列名，第二個參數為往下第n行（可選，默認為1），第三個參數為默認值（當往下第n行為NULL時候，取默認值，如不指定，則為NULL）

?

3.FIRST_VALUE(col,false)?用于統計窗口內截止到當前行，第一個出現的值

第一個參數為列名，第二個參數是否跳過null值（可選，默認為false）

?

4.LAST_VALUE(col,false)?用于統計窗口內截止到當前行，最后一個出現的值

?

第一個參數為列名，第二個參數是否跳過null值（可選，默認為false）

?

5.over子句中的partition by和order by

over(partition by col1[,col2...] )

over(order by by col1[,col2...] )

over(partition by col1[,col2...]? order by by col1[,col2...] )

?

6.over子句中的window子句(clause)

OVER with a window specification. Windows can be defined separately in a WINDOW clause. Window specifications support the following formats:

(ROWS | RANGE) BETWEEN ... PRECEDING AND ... FOLLOWING (ROWS | RANGE) BETWEEN ... PRECEDING AND ... PRECEDING (ROWS | RANGE) BETWEEN ... FOLLOWING AND ... FOLLOWING

When ORDER BY is specified with missing WINDOW clause, the WINDOW specification defaults to?RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW.

When both ORDER BY and WINDOW clauses are missing,?the WINDOW specification defaults to?ROW BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING.

range是邏輯窗口，是指定當前行對應值的范圍取值

rows是物理窗口，即根據order by 子句排序后，取的前N行及后N行的數據計算（與當前行的值無關，只與排序后的行號相關)

(UNBOUNDED | [num]) PRECEDING：從分區第一行頭開始，則為 unbounded。 N為：相對當前行向前的偏移量 (UNBOUNDED | [num]) FOLLOWING：到該分區結束，則為 unbounded。N為：相對當前行向后的偏移量 CURRENT ROW：當前行，偏移量為0

?

2.分析函數

1.標準聚合函數

• COUNT
• SUM
• MIN
• MAX
• AVG

?

2.RANK?

排名不連續

?

3.DENSE_RANK

排名連續,但是有重復,保證同一個值對應同一個排名。

?

4.ROW_NUMBER

排名連續,無重復,不保證同一個值對應同一個排名。

?

5.CUME_DIST(累積分布)

?小于等于當前值的行數 與 分組內總行數的占比

?

6.PERCENT_RANK

排名百分比,RANK-1/總行數-1

?

7.NTILE

離散化分區

?

函數特點數據結果(升序,桶數=2)

RANK	排名不連續	2,2,5	1,1,3
DENSE_RANK	排名連續,但是有重復	2,2,5	1,1,2
ROW_NUMBER	排名連續,無重復	2,2,5	1,2,3
CUME_DIST	占比連續,無重復;小于等于當前值的行數 與 分組內總行數的占比	2,2,5	0.33,0.66,1.0
PERCENT_RANK	百分比有重復,RANK-1/總行數-1	2,2,5	.0,.0,1.0
NTILE(n)	等量(頻)離散化,n是分桶數	2,2,2,3	1,1,2,2

?

3.應用場景

累積,均值(歸一化),分組取topk,累和占比,離散化

?

轉載于:https://www.cnblogs.com/arachis/p/Hive_Window_Analysis.html

總結

以上是生活随笔為你收集整理的Hive 窗口分析函数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。