?

1.窗口函數(shù)

1.LAG(col,n,DEFAULT) 用于統(tǒng)計窗口內(nèi)往上第n行值

第一個參數(shù)為列名，第二個參數(shù)為往上第n行（可選，默認為1），第三個參數(shù)為默認值（當往上第n行為NULL時候，取默認值，如不指定，則為NULL）

?

2.LEAD(col,n,DEFAULT) 用于統(tǒng)計窗口內(nèi)往下第n行值

第一個參數(shù)為列名，第二個參數(shù)為往下第n行（可選，默認為1），第三個參數(shù)為默認值（當往下第n行為NULL時候，取默認值，如不指定，則為NULL）

?

3.FIRST_VALUE(col,false)?用于統(tǒng)計窗口內(nèi)截止到當前行，第一個出現(xiàn)的值

第一個參數(shù)為列名，第二個參數(shù)是否跳過null值（可選，默認為false）

?

4.LAST_VALUE(col,false)?用于統(tǒng)計窗口內(nèi)截止到當前行，最后一個出現(xiàn)的值

?

第一個參數(shù)為列名，第二個參數(shù)是否跳過null值（可選，默認為false）

?

5.over子句中的partition by和order by

over(partition by col1[,col2...] )

over(order by by col1[,col2...] )

over(partition by col1[,col2...]? order by by col1[,col2...] )

?

6.over子句中的window子句(clause)

OVER with a window specification. Windows can be defined separately in a WINDOW clause. Window specifications support the following formats:

(ROWS | RANGE) BETWEEN ... PRECEDING AND ... FOLLOWING (ROWS | RANGE) BETWEEN ... PRECEDING AND ... PRECEDING (ROWS | RANGE) BETWEEN ... FOLLOWING AND ... FOLLOWING

When ORDER BY is specified with missing WINDOW clause, the WINDOW specification defaults to?RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW.

When both ORDER BY and WINDOW clauses are missing,?the WINDOW specification defaults to?ROW BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING.

range是邏輯窗口，是指定當前行對應(yīng)值的范圍取值

rows是物理窗口，即根據(jù)order by 子句排序后，取的前N行及后N行的數(shù)據(jù)計算（與當前行的值無關(guān)，只與排序后的行號相關(guān))

(UNBOUNDED | [num]) PRECEDING：從分區(qū)第一行頭開始，則為 unbounded。 N為：相對當前行向前的偏移量 (UNBOUNDED | [num]) FOLLOWING：到該分區(qū)結(jié)束，則為 unbounded。N為：相對當前行向后的偏移量 CURRENT ROW：當前行，偏移量為0

?

2.分析函數(shù)

1.標準聚合函數(shù)

• COUNT
• SUM
• MIN
• MAX
• AVG

?

2.RANK?

排名不連續(xù)

?

3.DENSE_RANK

排名連續(xù),但是有重復(fù),保證同一個值對應(yīng)同一個排名。

?

4.ROW_NUMBER

排名連續(xù),無重復(fù),不保證同一個值對應(yīng)同一個排名。

?

5.CUME_DIST(累積分布)

?小于等于當前值的行數(shù) 與 分組內(nèi)總行數(shù)的占比

?

6.PERCENT_RANK

排名百分比,RANK-1/總行數(shù)-1

?

7.NTILE

離散化分區(qū)

?

函數(shù)特點數(shù)據(jù)結(jié)果(升序,桶數(shù)=2)

RANK	排名不連續(xù)	2,2,5	1,1,3
DENSE_RANK	排名連續(xù),但是有重復(fù)	2,2,5	1,1,2
ROW_NUMBER	排名連續(xù),無重復(fù)	2,2,5	1,2,3
CUME_DIST	占比連續(xù),無重復(fù);小于等于當前值的行數(shù) 與 分組內(nèi)總行數(shù)的占比	2,2,5	0.33,0.66,1.0
PERCENT_RANK	百分比有重復(fù),RANK-1/總行數(shù)-1	2,2,5	.0,.0,1.0
NTILE(n)	等量(頻)離散化,n是分桶數(shù)	2,2,2,3	1,1,2,2

?

3.應(yīng)用場景

累積,均值(歸一化),分組取topk,累和占比,離散化

?

轉(zhuǎn)載于:https://www.cnblogs.com/arachis/p/Hive_Window_Analysis.html

總結(jié)

以上是生活随笔為你收集整理的Hive 窗口分析函数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。