概述

本文是對(duì)[1]的復(fù)現(xiàn)

支持的版本是

組件	版本	備注
Flink	1.12.0	apache版本
apache-flink	1.12.0	pip安裝
python	3.6.10	anaconda虛擬環(huán)境

注意:

①除了Flink集群要配置好，pip下面還要另外安裝apache-flink(必須安裝，不要遺漏).

②小版本號(hào)必須嚴(yán)格一致,例如下面這樣:

Flink1.12.0與apache-flink1.11.2搭配使用是絕對(duì)不允許的.

?

完整代碼與配置文件

https://github.com/appleyuchi/Flink_SQL_Client_UDF

?

完整操作步驟

運(yùn)行時(shí)采用的命令是:

$FLINK_HOME/bin/sql-client.sh embedded -e $FLINK_HOME/conf/env.yaml -pyfs $FLINK_HOME/conf/test.py

官網(wǎng)[1]中的寫法如下:? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

# full example of python dependency management$ sql-client.sh embedded -e env.yaml -pyfs test.py,/home/my/func2.py -pyreq /home/my/requirements.txt#/home/my/pacakges_dir -pyarch py37.zip#venv -pyexec venv/py37/bin/python

?

使用下面命令查看已經(jīng)注冊(cè)func1:

show functions;

?

操作流程截圖

?

實(shí)驗(yàn)結(jié)果

?

?

附錄

可能遇到的報(bào)錯(cuò):

Flink SQL> select func1(`en_behavior`) as a from dim_behavior;
[ERROR] Could not execute SQL statement. Reason:
java.lang.IllegalStateException: Process died with exit code 0

這是因?yàn)槟愕腇link集群版本和apache-flink版本不一致．

?

Reference

[1]FLIP-114: Support Python UDF in SQL Client

總結(jié)

以上是生活随笔為你收集整理的Flink SQL Client注册Python UDF完整流程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。