如果我們想在hive中添加自己寫的函數，可用如下方法：
前提：已經開啟hdfs，yarn服務，并且關閉safe模式，打開mysql
ps：udf是mapper類型的，進來一個數據，出去一個數據
（1）用python寫好想要實現的函數
這里我的測試表是這樣一份表，我想讓此表的state字段都變成大寫，所以我編輯了如下python腳本：


編輯的腳本py_udf（udf前面已經解釋）如下：

import sys for line in sys.stdin:line = line.strip()team,state,rank = line.split()state = state.upper()print( ' '.join([team,state,str(rank)]))

（2）加入路徑（至關重要的一步）
這份文件在本地路徑下

（3）實現語句TRANSFORM

可見，california和colorado已經大寫，成功輸出，這里要使用TRANSFORM 前面的‘（）’的參數是你表中的字段，也就是desc查出來的字段，而后面的‘（）’的參數是你pyhon腳本里輸出的參數。
可以在yarn可視化界面查看該任務：

總結

以上是生活随笔為你收集整理的hive（3）——在hive中使用自己写的函数（python实现）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。