java写hive自定义函数_hive自定义函数的实现和执行
1. 先建個maven工程,創建Java類,將你要實現的內容寫進類的方法里,
例如public class StringExt extends UDF{
public String evaluate(String pnb){
return "Hello " + pnb;
}
}
這個類的實現很簡單,繼承了org.apache.hadoop.hive.ql.exec.UDF類,并覆寫了evaluate方法
要注意寫上
import org.apache.hadoop.hive.ql.exec.UDF;
同時在pom.xml里引入
org.apache.hive
hive-exec
1.1.0-cdh5.9.0
org.apache.hadoop
hadoop-common
2.6.0-cdh5.9.0
要注意您引入的版本和服務器上的版本必須一致才行
2. 然后實現函數寫完了就打包上傳到服務器上(我是參考開發上傳的路徑,放到哪個路徑下無所謂)
3. 這時就可以利用新的設置的函數了,我是直接將sql的執行寫到文件里了,所以我直接在xxx.sql里寫上我的函數
add jar file:///opt/program/xxx/xxx/xxx/xxxx.jar;
create temporary function find as 'Utils.FinalConfirmUDF';(將你創建的類寫在這里引入)
SELECT
find(xxxxx)
FROM xxxxx (這個find函數就是我自定義寫的)
然后執行hivesql文件
nohup?hive?-hiveconf?date='init'?-hivevar?where=''?-f?xxx.sql?>?xxx.log?&ds='${hiveconf:date}
你也可以直接在服務器上用命令行執行上述內容
總結
以上是生活随笔為你收集整理的java写hive自定义函数_hive自定义函数的实现和执行的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 弹出键盘布局上移_评测 | 别买了HHK
- 下一篇: db2嵌套查询效率_db2性能优化