http://central.maven.org/maven2/com/google/guava/guava/18.0/guava-18.0.jar ?版本太老

HADOOP_CONF_DIR

1. 一定要在linux ?設置hadoop hive 環境變量，否則找不到配置文件，執行時候還報錯沒有執行權限，這個錯誤很容易誤導人。

2. 拷貝 hadoop2.5.2 jar 到 工程lib下面（hadoop-core 在2x版本已經不存在了）。

guava-18.0.jar

hadoop-auth-2.5.2.jar

hadoop-client-2.5.2.jar?

hadoop-common-2.5.2.jar

hadoop-hdfs-2.5.2.jar?

hadoop-mapreduce-client-hs-2.5.2.jar

hadoop-mapreduce-client-app-2.5.2.jar ?

hadoop-mapreduce-client-common-2.5.2.jar

?hadoop-mapreduce-client-core-2.5.2.jar

hadoop-mapreduce-client-hs-2.5.2.jar

hadoop-mapreduce-client-hs-plugins-2.5.2.jar

hadoop-mapreduce-client-jobclient-2.5.2.jar?

hadoop-mapreduce-client-jobclient-2.5.2-tests.jar

?hadoop-mapreduce-client-shuffle-2.5.2.jar

hadoop-mapreduce-examples-2.5.2.jar

protobuf-java-2.5.0.jar

3.修改核心類，xxxxbase 那個類

Protocol 內部類繼承自定義BaseeneratedMessage（2.5,2.3 ?protobuf差異太大）

class BaseeneratedMessage extends com.google.protobuf.GeneratedMessage

4. 卻少protobuf cahce包。

5. 替換2.3版本的protobuf-java 到2.5版本

6.要特別注意配置上傳路徑等等，很容易遇到權限問題，（宙斯是將上次的資源放到hdfs的）

7. 要注意配置 hive 遠程模式，啟動metasote服務（hive-site.xml 配置）

<property> ?

? <name>hive.metastore.uris</name> ?

? <value>thrift://taonongyuan.com:9083</value> ?

</property> ?

</configuration>

8.防止遇到 file:///異常要在core-site.xml配置(貌似不需要，如果有問題可以配置看看)

<property>

<name>fs.hdfs.impl</name>

<value>org.apache.hadoop.fs.LocalFileSystem.class.getName</value>

<description>The FileSystem for hdfs: uris.</description>

</property>

</configuration>

9. web.xml 配置也容易忘記：

??<context-param>

? ? ? ? ? ? ? ? <param-name>hdfsLibPath</param-name>

? ? ? ? ? ? ? ? <param-value>/user/hive/zesu_upload</param-value>

? ? ? ? </context-param>

?

http://central.maven.org/maven2/com/google/protobuf/protobuf-java/2.6.0/protobuf-java-2.5.0.jar


fs.file.impl=org.apache.hadoop.fs.LocalFileSystem.class.getName


Server IPC version 9 cannot communicate with client version 4


2.x系列已經沒有hadoop-core的jar包了，變成一個個散的了，像下面這樣


http://taonongyuan.com:8080/partition_download.do?path=hdfs://h001:9000/user/hive/warehouse/test_d&table=test_d HTTP/1.1


http://taonongyuan.com:8080/zeus_platform/table.rpc


必須設置 hive hadoop 環境變量




? ? private UnknownFieldSet unknownFields =
? ? ? ? UnknownFieldSet.getDefaultInstance();

總結

以上是生活随笔為你收集整理的宙斯 安装部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。