RHadoop搭建(HBase)
生活随笔
收集整理的這篇文章主要介紹了
RHadoop搭建(HBase)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
* 實驗環境:
**************************************************************************************
hadoop集群(virtualBox虛擬機,CentOS6.4)
hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle)
相關的安裝文檔: hadoop2.2.0測試環境搭建???? Hbase0.96.0 +hadoop2.2.0安裝???? RHadoop搭建(HDFS+MapReduce)
**************************************************************************************
本次測試在dataserver進行
1:安裝thrift0.9.1
[root@dataserver app]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
[root@dataserver app]# tar zxf /mnt/mydisk/soft/program/thrift-0.9.1.tar.gz
[root@dataserver app]# cd thrift-0.9.1
[root@dataserver thrift-0.9.1]# ./configure
**************************************************************************************
?注意安裝thrift安裝上要使用Python庫,如果要使用其他語言就安裝上相應的語言庫
**************************************************************************************
[root@dataserver thrift-0.9.1]# make
**************************************************************************************
?注意如果要編譯C++庫的話,會出現上面的錯誤,原因是編譯文件路徑有問題,可以將已經編譯的test/cpp/*.o復制到test/cpp/.libs后,繼續編譯就可以了。當然不怕麻煩的話,可以修改一下編譯文件。
[root@dataserver thrift-0.9.1] cd test/cpp
[root@dataserver cpp]# cp *.o .libs/
**************************************************************************************
[root@dataserver thrift-0.9.1]# make install
[root@dataserver thrift-0.9.1]# thrift --version
2:安裝rhase
[root@dataserver /]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
[root@dataserver /]# pkg-config --cflags thrift
**************************************************************************************
正確的返回結果是:
-I/usr/local/include/thrift
如果是:
-I/usr/local/include
則:
[root@dataserver /]# vi /usr/local/lib/pkgconfig/thrift.pc
Cflags: -I${includedir}/thrift
**************************************************************************************
[root@dataserver lib]# cp /usr/local/lib/libthrift-0.9.1.so /usr/lib/
[root@dataserver lib]# /sbin/ldconfig /usr/lib/libthrift-0.9.1.so
**************************************************************************************
注意要將動態鏈接庫libthrift-0.9.1.so為系統所共享,不然會出現類似unable to load shared object '/usr/lib64/R/library/rhbase/libs/rhbase.so':libthrift-0.9.1.so: cannot open shared object file的錯誤
**************************************************************************************
[root@dataserver usr]# R CMD INSTALL /mnt/mydisk/soft/R/rhbase_1.2.0.tar.gz
3:啟動hadoop集群、zookeeper集群、HBase集群
4:rhbase測試
?
花了一個晚上終于搞定,接下去可以在rstudio里方便的應用rhbase了。
**************************************************************************************
hadoop集群(virtualBox虛擬機,CentOS6.4)
hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle)
相關的安裝文檔: hadoop2.2.0測試環境搭建???? Hbase0.96.0 +hadoop2.2.0安裝???? RHadoop搭建(HDFS+MapReduce)
**************************************************************************************
本次測試在dataserver進行
1:安裝thrift0.9.1
[root@dataserver app]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
[root@dataserver app]# tar zxf /mnt/mydisk/soft/program/thrift-0.9.1.tar.gz
[root@dataserver app]# cd thrift-0.9.1
[root@dataserver thrift-0.9.1]# ./configure
**************************************************************************************
?注意安裝thrift安裝上要使用Python庫,如果要使用其他語言就安裝上相應的語言庫
**************************************************************************************
[root@dataserver thrift-0.9.1]# make
**************************************************************************************
?注意如果要編譯C++庫的話,會出現上面的錯誤,原因是編譯文件路徑有問題,可以將已經編譯的test/cpp/*.o復制到test/cpp/.libs后,繼續編譯就可以了。當然不怕麻煩的話,可以修改一下編譯文件。
[root@dataserver thrift-0.9.1] cd test/cpp
[root@dataserver cpp]# cp *.o .libs/
**************************************************************************************
[root@dataserver thrift-0.9.1]# make install
[root@dataserver thrift-0.9.1]# thrift --version
2:安裝rhase
[root@dataserver /]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
[root@dataserver /]# pkg-config --cflags thrift
**************************************************************************************
正確的返回結果是:
-I/usr/local/include/thrift
如果是:
-I/usr/local/include
則:
[root@dataserver /]# vi /usr/local/lib/pkgconfig/thrift.pc
Cflags: -I${includedir}/thrift
**************************************************************************************
[root@dataserver lib]# cp /usr/local/lib/libthrift-0.9.1.so /usr/lib/
[root@dataserver lib]# /sbin/ldconfig /usr/lib/libthrift-0.9.1.so
**************************************************************************************
注意要將動態鏈接庫libthrift-0.9.1.so為系統所共享,不然會出現類似unable to load shared object '/usr/lib64/R/library/rhbase/libs/rhbase.so':libthrift-0.9.1.so: cannot open shared object file的錯誤
**************************************************************************************
[root@dataserver usr]# R CMD INSTALL /mnt/mydisk/soft/R/rhbase_1.2.0.tar.gz
3:啟動hadoop集群、zookeeper集群、HBase集群
4:rhbase測試
?
花了一個晚上終于搞定,接下去可以在rstudio里方便的應用rhbase了。
轉載于:https://my.oschina.net/victorlovecode/blog/344243
總結
以上是生活随笔為你收集整理的RHadoop搭建(HBase)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Linux 监控命令 iostat
- 下一篇: Python 第三方模块之 MySQL数