用Java開發(fā)自定義函數(shù)，步驟：

1.eclipse上新建一個(gè)工程project（db2019)；

?

2.導(dǎo)jar依賴包：

db2019右鍵 --build path --configure...

--add library --user library --new(新建一個(gè)library(hive2.3.2_jar))

--add external jars(添加jar包) --認(rèn)準(zhǔn)路徑，全選所有包(一般第一個(gè)不是)

--點(diǎn)OK --勾選hive2.3.2_jar --Finish --Apply --點(diǎn)OK

?

3.新建一個(gè)包package(com.ghgj.cn.udf)：

--右鍵db2019下的src --new --package --輸入name(com.ghgj.cn.udf) --Finish

?

4.定義一個(gè)類class(MyUdf)：

--右鍵com.ghgj.cn.udf --new --class --輸入name(MyUdf) --Finish

此時(shí)代碼自動(dòng)顯示為：

package com.ghgj.cn.udf;

public calss MyUdf{

}

?

5.繼承 UDF 這個(gè)類

--下載hive源碼包：apache-hive-2.3.2-src.tar.gz

--解壓源碼包得到：apache-hive-2.3.2-src.tar

--再解壓apache-hive-2.3.2-src.tar，得到文件：apache-hive-2.3.2-src

package com.ghgj.cn.udf;

public calss MyUdf extends UDF{

}

--選中UDF，在自動(dòng)冒出來(lái)的所有選擇中，選擇是hive的(org.apache.hadoop.hive.ql.exec)

?

關(guān)聯(lián)一下 UDF 和源碼包 apache-hive-2.3.2-src：

--點(diǎn)擊代碼中的UDF --attach source

--選擇external location --添加路徑（external folder...）

--找到源碼包 apache-hive-2.3.2-src --點(diǎn)確定 --點(diǎn)OK（然后等待兩者關(guān)聯(lián)）

生成一個(gè)UDF.class的類，這個(gè)類中告訴我們：

• 新建的MyUdf類必須先繼承這個(gè)類，即：public calss MyUdf extends UDF{}
• 新建的MyUdf類可以實(shí)現(xiàn)一個(gè)或多個(gè)自定義函數(shù)evaluate()
• 自定義函數(shù)evaluate()可以被hive調(diào)用

?

?

6.在eclipse中實(shí)現(xiàn)一個(gè)或多個(gè)自定義函數(shù)evaluate()

package com.ghgj.cn.udf; import org.apache.hadoop.hive.ql.exec.UDF; public calss MyUdf extends UDF{ //evaluate()括號(hào)中輸入需要處理的字段，可以是一個(gè)或多個(gè)，并需要指定參數(shù)類型 //return的結(jié)果是什么類型，則evaluate()前就輸入什么類型 private int evaluate(int age){ //年齡對(duì)3取余 int res = age%3; return res } private int evaluate(int a,int b){ //求和 return a+b } private String evaluate(String ip){ //將IP地址補(bǔ)全為三位數(shù)，便于比較 //65.727.2.9 補(bǔ)全為065.727.002.009 int res = age%3; String[] split = ip.split('\\.');#將IP根據(jù).分割開，.需要轉(zhuǎn)義 StringBuffer sb = new StringBuffer();#先創(chuàng)建一個(gè)空的StringBuffer類型的串 for(String s:split){ //邏輯：每一個(gè)數(shù)字前添加至少3個(gè)0，然后截取后三位 //65-->00065-->取后三位065 String tmp = '000' + s; #數(shù)字前添加0 //截取后3位，并在每個(gè)數(shù)字后面添加分隔符. sb.append(tmp.substring(tmp.length()-3)).append('.'); //去掉最后一個(gè)分隔符. resb = sb.toString().substring(0,sb.length()-1); } return resb } }

測(cè)試一下：

public static void main(String[] args) { MyUdf mu = new MyUdf(); System.out.printIn(mu.evaluate(5)); #測(cè)試第1個(gè)，5%3=2，輸出2 System.out.printIn(mu.evaluate(5,3)); #測(cè)試第2個(gè)，5+3=8，輸出8 System.out.printIn(mu.evaluate('65.727.2.9')); #測(cè)試第3個(gè)，輸出065.727.002.009 }

?

?

hive上添加自定義函數(shù)，步驟：

1.打jar包

--右鍵com.ghgj.cn.udf --export...

--點(diǎn)擊jar file --下一步

--展開db2019 --勾選com.ghgj.cn.udf

--修改jar file中的jar包的名稱（myudf.jar) --Finish

?

2.將jar包上傳到Linux

[hadoop@hadoop01 ~]$ Alt+P #打開sftp

sftp>

拖動(dòng)jar包文件到SecureGRT對(duì)話框中

[hadoop@hadoop01 ~]$ cd~

[hadoop@hadoop01 ~]$ ls #查看列表中是否有myudf.jar

?

?

3.將jar包放在hive的classpath下

在hive客戶端執(zhí)行下面命令：add jar [jar包的路徑]

hive> add jar /user/hadoop/myudf.jar;

結(jié)果：

added [/user/hadoop/myudf.jar] to class path

added resources:[/user/hadoop/myudf.jar]

表示命令執(zhí)行成功，但是jar包不一定真的添加成功

檢測(cè)jar包是否添加成功：

list jars;

若運(yùn)行結(jié)果中有/user/hadoop/myudf.jar，代表添加成功

?

4.給自定義函數(shù)evaluate()添加別名，并在hive中注冊(cè)這個(gè)函數(shù)

create temporary function my_fuc as 'com.ghgj.cn.udf.MyUdf';

temporary是臨時(shí)的意思，代表hive當(dāng)前客戶端一旦關(guān)閉，my_fuc便失效；

as 后面跟的是主類名路徑：

--eclipse中在代碼中右擊MyUdf --copy qualified name(則復(fù)制了MyUdf的全路徑名)

?

5.查看hive的函數(shù)庫(kù)中是否已添加自定義函數(shù)my_fuc

show functions;

內(nèi)置函數(shù)有271個(gè)，若顯示有272個(gè)，且能找到my_fuc，代表添加成功

?

注意：

• 以上方式添加的函數(shù)是臨時(shí)的函數(shù)，hive當(dāng)前客戶端一旦關(guān)閉，my_fuc便失效；
• 若需要再次使用，則需要重復(fù)步驟3、4、5
• 生產(chǎn)中一般也使用這種臨時(shí)的方式，若需要變成永久函數(shù)，需要改源碼，太麻煩不建議使用。

?

?

?

hive上使用自定義函數(shù)

my_fuc有多個(gè)evaluate()方法，通過(guò)函數(shù)名稱evaluate和參數(shù)（參數(shù)個(gè)數(shù)和類型）可以確定調(diào)用的是哪個(gè)方法

hive>select my_fuc(4); # 4%3=1,輸出1 hive>select my_fuc(4,3); # 4+3=7,輸出7 hive>select my_fuc('1.234.11.7'); # 輸出001.234.011.007

?

?

總結(jié)

以上是生活随笔為你收集整理的hive - 自定义函数（超详细步骤，手把手的交）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。