大数据组件需要额外添加的依赖包汇总(持续更新中)
?
現在FLINK已經被阿里收購了，所以會有blink的jar包
| 大數據組件 | 依賴包來源 | 具體的依賴包 |
| Hadoop3.1.2 | 用戶添加 | javax.ws.rs-api-2.0-m11.jar jersey-server-1.19.4.jar (這兩個是yarn timelineserver需要) |
| thrift-0.13.0 | 用戶添加 | 無 |
| apache-zookeeper-3.6.0-bin/lib/ | 用戶添加 | 無 |
| ClickHouse | 用戶添加 | 無 |
| spark-3.0.0-preview2-bin-hadoop3.2/jars/ | 用戶添加 | commons-lang3-3.11.jar (與hive2.3.4配合使用時需要,與hive3.0.0配合使用時不需要) |
| nifi-1.11.4 | 用戶添加 | 無 |
| flink-1.12/lib | 自帶 | flink-dist_2.12-1.12-SNAPSHOT.jar ? ? ? ? log4j-1.2-api-2.12.1.jar log4j-api-2.12.1.jar log4j-core-2.12.1.jar log4j-slf4j-impl-2.12.1.jar |
| 用戶添加 | hadoop-yarn-api-3.1.2.jar hadoop-yarn-api-3.1.2-sources.jar flink-shaded-hadoop-3-uber-3.1.1.7.0.3.0-79-7.0.jar commons-cli-1.4.jar javax.ws.rs-api-2.0.jar(flink shell?on yarn需要) flink-queryable-state-runtime_2.12-1.12-SNAPSHOT.jar(query state需要,從flink-1.12/opt下面拷貝過去即可) | |
| hive-common-3.1.2.jar flink-sql-connector-hive-3.1.2_2.12-1.12.0.jar flink-sql-connector-hive-2.3.6_2.12-1.12.0.jar 以上4個都是Flink SQL Client讀取hive需要 ? flink-sql-connector-hbase-2.2_2.12-1.12.0.jar(Flink SQL Client讀取hbase需要) ? ? flink-hadoop-compatibility(沒有驗證) mysql-connector-java(flink寫入mysql需要) ? kafka-clients-2.5.0.jar flink-connector-kafka_2.12-1.12.0.jar(FLINK SQL Client連接kafka需要) ? commons-compiler-3.0.11.jar(Flink SQL Client讀取kafka消費端數據需要) janino-3.0.11.jar(Flink SQL Client讀取kafka消費端數據需要) ? flink-sql-connector-mysql-cdc-1.1.1.jar(Flink CDC流程需要) | ||
| kafka_2.12-2.5.0/libs | 用戶添加 | zookeeper-3.6.0.jar kafka-connect-jdbc-5.5.1.jar(kafka connect功能需要) mysql-connector-java-8.0.21.jar(被上面一個jar調用) |
| apache-hive-3.0.0-bin/lib | 用戶添加 | mysql-connector-java-8.0.20.jar guava-27.0-jre.jar |
| hbase-2.2.6/lib | 用戶添加 | protobuf-java-2.5.0.jar 記得參考[1]，需要遷移大量hadoop的工程過來(最佳匹配版本是hadoop2.8.5) |
| apache-tez-0.9.2-bin/lib/ | 用戶添加 | hadoop-hdfs-client-3.1.2.jar hadoop-yarn-server-timeline-pluginstorage-3.1.2.jar slf4j-api-1.7.25.jar |
| sqoop-1.4.7.bin__hadoop-2.6.0/lib | 用戶添加 | mysql-connector-java-8.0.20.jar hbase-client-1.2.0.jar hbase-protocol-1.2.0.jar hbase-common-1.2.0.jar protobuf-java-2.5.0.jar metrics-core-2.2.0.jar htrace-core-3.1.0-incubating.jar |
| apache-tomcat-10.0.0-M5/lib | 用戶添加 | 無 |
?
舉例 ：
flink sql client讀kafka出現下面報錯
| 碰到的報錯 | $FLINK_HOME/lib新增的依賴包 |
| Java.lang.ClassCastException:org.codehaus.janino.CompilerFactory?cannot be cast to org.codehaus.commons.compiler.ICompilerFactory | janino-3.1.2.jar commons-compiler-3.1.2.jar |
| java.lang.SecurityException: class "org.codehaus.commons.compiler.ICompiler"'s signer information does not match signer information of other classes in the same package ? | janino-3.1.2.jar commons-compiler-3.0.7.jar |
| java.lang.ClassNotFoundException: org.codehaus.commons.compiler.ICompiler | ? |
?
感覺這么嘗試下去不是辦法，后來去gitee上下載到了flink的源碼包
git checkout -b 1.12
grep -r codehaus
得到版本為:
flink-table/flink-table-planner/src/main/resources/META-INF/NOTICE:- org.codehaus.janino:janino:3.0.11
flink-table/flink-table-planner/src/main/resources/META-INF/NOTICE:- org.codehaus.janino:commons-compiler:3.0.11
最終得出結論需要去https://mvnrepository.com下載下面兩個。
commons-compiler-3.0.11.jar
janino-3.0.11.jar
?
Reference:
[1]The procedure WAL relies on the ability to hsync for proper operation during component failures
?
創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的大数据组件需要额外添加的依赖包汇总(持续更新中)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 哈弗汽车回应“销售播放竞品视频”：不是系
- 下一篇： 快手极速版邀请码838076184快手极