如何修改Linkis的依賴的Hadoop、Hive、Spark版本

請注意：Hadoop 作為大數據基礎服務，Linkis 必須依賴 Hadoop 進行編譯； 而 Spark、Hive等計算存儲引擎則不然，如果您不想使用某個引擎，可以無需設置該引擎的版本，無需編譯該引擎插件。

具體而言，修改 Hadoop 的版本與 Spark、Hive 等計算引擎的方式不同，下面詳細介紹：

如何修改 Linkis 依賴的 Hadoop 版本？

進入 Linkis 源碼包根目錄，手動修改 pom.xml 文件的 Hadoop 版本信息，具體如下：

cd wedatasphere-linkis-x.x.xvim pom.xml<properties><hadoop.version>2.7.2</hadoop.version> <!--> 在這里修改Hadoop版本號 <--><scala.version>2.11.8</scala.version><jdk.compile.version>1.8</jdk.compile.version></properties>

請注意：如果你的hadoop版本是hadoop3，需要修改linkis-hadoop-common的pom文件 因為在hadoop2.8以下的時候，hdfs相關的class是在hadoop-hdfs模塊中的，但是在hadoop 3.X中將對應的class移動到了模塊hadoop-hdfs-client當中，您需要修改下這個文件：

pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml 修改依賴hadoop-hdfs為hadoop-hdfs-client：<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId> <!-- 只需要將該行替換即可，替換為 <artifactId>hadoop-hdfs-client</artifactId>--><version>${hadoop.version}</version>...將hadoop-hdfs修改為：<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs-client</artifactId><version>${hadoop.version}</version>...

如何修改 Linkis 依賴的 Spark、Hive 版本？

這里以修改 Spark 的版本為例進行介紹。進入 Spark 引擎所在的目錄，手動修改 pom.xml 文件的 Spark 版本信息，具體如下：

cd wedatasphere-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/sparkvim pom.xml<properties><spark.version>2.4.3</spark.version> <!--> 在這里修改Spark版本號 <--></properties>

修改其他引擎的版本與修改 Spark 版本類似，先進入相關引擎所在的目錄，手動修改 pom.xml 文件的引擎版本信息即可。

然后請參考 編譯某個引擎

總結

以上是生活随笔為你收集整理的如何修改 Linkis 依赖的 Spark、Hive 版本？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。