注意事項

? 如果您是首次接觸并使用Linkis，您可以忽略該章節；如果您已經是 Linkis 的使用用戶，安裝或升級前建議先閱讀：Linkis1.0 與 Linkis0.X 的區別簡述。

? 請注意：除了 Linkis1.0 安裝包默認已經包含的：Python/Shell/Hive/Spark四個EngineConnPlugin以外，如果大家有需要，可以手動安裝如 JDBC 引擎等類型的其他引擎，具體請參考 EngineConnPlugin引擎插件安裝文檔。

Linkis Docker鏡像
Linkis 0.10.0 Docker

Linkis1.0 默認已適配的引擎列表如下：

引擎類型適配情況官方安裝包是否包含

Python	1.0已適配	包含
JDBC	1.0已適配	不包含
Shell	1.0已適配	包含
Hive	1.0已適配	包含
Spark	1.0已適配	包含
Pipeline	1.0已適配	不包含
Presto	1.0未適配	不包含
ElasticSearch	1.0未適配	不包含
Impala	1.0未適配	不包含
MLSQL	1.0未適配	不包含
TiSpark	1.0未適配	不包含

一、確定您的安裝環境

? 這里給出每個引擎的依賴信息列表：

引擎類型依賴環境特殊說明

Python	Python環境	日志和結果集如果配置hdfs://則依賴HDFS環境
JDBC	可以無依賴	日志和結果集路徑如果配置hdfs://則依賴HDFS環境
Shell	可以無依賴	日志和結果集路徑如果配置hdfs://則依賴HDFS環境
Hive	依賴Hadoop和Hive環境
Spark	依賴Hadoop/Hive/Spark

要求：安裝Linkis需要至少3G內存。

默認每個微服務JVM堆內存為512M，可以通過修改SERVER_HEAP_SIZE來統一調整每個微服務的堆內存，如果您的服務器資源較少，我們建議修改該參數為128M。如下：

vim ${LINKIS_HOME}/config/linkis-env.sh# java application default jvm memory.export SERVER_HEAP_SIZE="128M"

---

二、Linkis環境準備

a. 基礎軟件安裝

? 下面的軟件必裝：

• MySQL (5.5+)，如何安裝MySQL
• JDK (1.8.0_141以上)，如何安裝JDK

b. 創建用戶

? 例如: 部署用戶是hadoop賬號

在部署機器上創建部署用戶，用于安裝

sudo useradd hadoop

因為Linkis的服務是以 sudo -u ${linux-user} 方式來切換引擎，從而執行作業，所以部署用戶需要有 sudo 權限，而且是免密的。

vi /etc/sudoershadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL

在每臺安裝節點設置如下的全局環境變量，以便Linkis能正常使用Hadoop、Hive和Spark。

修改安裝用戶的.bash_rc，命令如下：

vim /home/hadoop/.bash_rc ##以部署用戶Hadoop為例

下方為環境變量示例：

#JDKexport JAVA_HOME=/nemo/jdk1.8.0_141##如果不使用Hive、Spark等引擎且不依賴Hadoop，則不需要修改以下環境變量#HADOOP export HADOOP_HOME=/appcom/Install/hadoopexport HADOOP_CONF_DIR=/appcom/config/hadoop-config#Hiveexport HIVE_HOME=/appcom/Install/hiveexport HIVE_CONF_DIR=/appcom/config/hive-config#Sparkexport SPARK_HOME=/appcom/Install/sparkexport SPARK_CONF_DIR=/appcom/config/spark-config/export PYSPARK_ALLOW_INSECURE_GATEWAY=1 # Pyspark必須加的參數

如果您的Pyspark和Python想擁有畫圖功能，則還需在所有安裝節點，安裝畫圖模塊。命令如下：

python -m pip install matplotlib

c. 安裝包準備

? 從Linkis已發布的release中（點擊這里進入下載頁面），下載最新安裝包。

? 先解壓安裝包到安裝目錄，并對解壓后的文件進行配置修改。

tar -xvf wedatasphere-linkis-x.x.x-combined-package-dist.tar.gz

d. 不依賴HDFS的基礎配置修改

vi config/linkis-env.sh#SSH_PORT=22 #指定SSH端口，如果單機版本安裝可以不配置deployUser=hadoop #指定部署用戶LINKIS_INSTALL_HOME=/appcom/Install/Linkis # 指定安裝目錄WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop # 指定用戶根目錄，一般用于存儲用戶的腳本文件和日志文件等，是用戶的工作空間。RESULT_SET_ROOT_PATH=file:///tmp/linkis # 結果集文件路徑，用于存儲Job的結果集文件ENGINECONN_ROOT_PATH=/appcom/tmp #存放ECP的安裝路徑，需要部署用戶有寫權限的本地目錄ENTRANCE_CONFIG_LOG_PATH=file:///tmp/linkis/ #ENTRANCE的日志路徑## LDAP配置，默認Linkis只支持部署用戶登錄，如果需要支持多用戶登錄可以使用LDAP，需要配置以下參數：#LDAP_URL=ldap://localhost:1389/ #LDAP_BASEDN=dc=webank,dc=com

e. 依賴HDFS/Hive/Spark的基礎配置修改

vi config/linkis-env.shSSH_PORT=22 #指定SSH端口，如果單機版本安裝可以不配置deployUser=hadoop #指定部署用戶WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop # 指定用戶根目錄，一般用于存儲用戶的腳本文件和日志文件等，是用戶的工作空間。RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis # 結果集文件路徑，用于存儲Job的結果集文件ENGINECONN_ROOT_PATH=/appcom/tmp #存放ECP的安裝路徑，需要部署用戶有寫權限的本地目錄ENTRANCE_CONFIG_LOG_PATH=hdfs:///tmp/linkis/ #ENTRANCE的日志路徑#因為1.0支持多Yarn集群，使用到Yarn隊列資源的一定需要配置YARN_RESTFUL_URLYARN_RESTFUL_URL=http://127.0.0.1:8088 #Yarn的ResourceManager的地址# 如果您想配合Scriptis一起使用，CDH版的Hive，還需要配置如下參數（社區版Hive可忽略該配置）HIVE_META_URL=jdbc://... # HiveMeta元數據庫的URLHIVE_META_USER= # HiveMeta元數據庫的用戶HIVE_META_PASSWORD= # HiveMeta元數據庫的密碼# 配置hadoop/hive/spark的配置目錄 HADOOP_CONF_DIR=/appcom/config/hadoop-config #hadoop的conf目錄HIVE_CONF_DIR=/appcom/config/hive-config #hive的conf目錄SPARK_CONF_DIR=/appcom/config/spark-config #spark的conf目錄## LDAP配置，默認Linkis只支持部署用戶登錄，如果需要支持多用戶登錄可以使用LDAP，需要配置以下參數：#LDAP_URL=ldap://localhost:1389/ #LDAP_BASEDN=dc=webank,dc=com##如果spark不是2.4.3的版本需要修改參數：#SPARK_VERSION=3.1.1##如果hive不是1.2.1的版本需要修改參數：#HIVE_VERSION=2.3.3

f. 修改數據庫配置

vi config/db.sh # 設置數據庫的連接信息# 包括IP地址、數據庫名稱、用戶名、端口# 主要用于存儲用戶的自定義變量、配置參數、UDF和小函數，以及提供JobHistory的底層存儲MYSQL_HOST=MYSQL_PORT=MYSQL_DB=MYSQL_USER=MYSQL_PASSWORD=

三、安裝和啟動

1. 執行安裝腳本：

sh bin/install.sh

2. 安裝步驟

• install.sh腳本會詢問您是否需要初始化數據庫并導入元數據。

  因為擔心用戶重復執行install.sh腳本，把數據庫中的用戶數據清空，所以在install.sh執行時，會詢問用戶是否需要初始化數據庫并導入元數據。

  第一次安裝必須選是。

  請注意：如果您是升級已有環境的 Linkis0.X 到 Linkis1.0，請不要直接選是，請先參考 Linkis1.0升級指南。

  請注意：如果您是升級已有環境的 Linkis0.X 到 Linkis1.0，請不要直接選是，請先參考 Linkis1.0升級指南。

  請注意：如果您是升級已有環境的 Linkis0.X 到 Linkis1.0，請不要直接選是，請先參考 Linkis1.0升級指南。

3. 是否安裝成功：

? 通過查看控制臺打印的日志信息查看是否安裝成功。

? 如果有錯誤信息，可以查看具體報錯原因。

? 您也可以通過查看我們的常見問題，獲取問題的解答。

4. 快速啟動Linkis

(1)、啟動服務：

在安裝目錄執行以下命令，啟動所有服務：

sh sbin/linkis-start-all.sh

(2)、查看是否啟動成功

可以在Eureka界面查看服務啟動成功情況，查看方法：

使用http://$EUREK{A}_{I}NSTAL{L}_{I}P:${EUREKA_PORT}, 在瀏覽器中打開，查看服務是否注冊成功。

如果您沒有在config.sh指定EUREKA_INSTALL_IP和EUREKA_INSTALL_IP，則HTTP地址為：http://127.0.0.1:20303

如下圖，如您的Eureka主頁出現以下微服務，則表示服務都啟動成功，可以正常對外提供服務了：

默認會啟動8個Linkis微服務，其中圖下linkis-cg-engineconn服務為運行任務才會啟動

(3)、查看服務是否正常

服務啟動成功后您可以通過，安裝前端管理臺，來檢驗服務的正常性，點擊跳轉管理臺安裝文檔

您也可以通過Linkis用戶手冊來測試Linis是否能正常運行任務，點擊跳轉用戶手冊

參考鏈接：https://github.com/WeBankFinTech/Linkis-Doc/blob/master/zh_CN/Deployment_Documents/%E5%BF%AB%E9%80%9F%E9%83%A8%E7%BD%B2Linkis1.0.md

總結

以上是生活随笔為你收集整理的快速部署Linkis1.0文档的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。