Hadoop主要用來存儲海量數(shù)據(jù)，R語言完成MapReduce 算法，用來替代Java的MapReduce實現(xiàn)。有了RHadoop可以讓廣大的R語言愛好者，有更強(qiáng)大的工具處理大數(shù)據(jù)1G, 10G, 100G, TB, PB。 由于大數(shù)據(jù)所帶來的單機(jī)性能問題，可能會一去不復(fù)返了。 最近的一本新書Big Data Analytics with R and Hadoop是關(guān)于R和Hadoop實踐的第一本圖書。 RHadoop的發(fā)布頁：https://github.com/RevolutionAnalytics/RHadoop/wiki

RHadoop實踐系列文章：http://blog.fens.me/series-rhadoop/

Haddop環(huán)境準(zhǔn)備
但JDK一定要用Oracle SUN官方的版本，請從官網(wǎng)下載，操作系統(tǒng)的自帶的OpenJDK會有各種不兼容。JDK請選擇1.6.x的版本，JDK1.7版本也會有各種的不兼容情況。
http://www.oracle.com/technetwork/java/javase/downloads/index.html

完全分步式的Hadoop集群，這個選擇5臺一樣配置的虛擬機(jī)，通過內(nèi)網(wǎng)的一個DNS服務(wù)器，指定5臺虛擬機(jī)所對應(yīng)的域名。
每臺虛擬機(jī)，1G內(nèi)存，系統(tǒng)硬盤2G，外接硬盤16G。hadoop會存儲在外接硬盤上面。

外接硬盤，需要先進(jìn)行格式化，然后創(chuàng)建目錄，再mount到操作系統(tǒng)，通過修改/etc/fstab配置，系統(tǒng)每次重起都是自動加載外接硬盤。
(如果用戶操作系統(tǒng)的硬盤夠大，不用外接硬盤，這步可以省略)

接下來，為hadoop集群創(chuàng)建訪問賬號hadoop，創(chuàng)建訪問組hadoop，創(chuàng)建用戶目錄/home/hadoop，把賬號，組和用戶目錄綁定。

再為hadoop的hdfs創(chuàng)建存儲位置/hadoop/conan/data0，給hadoop用戶權(quán)限。

設(shè)置SSH自動登陸，從nn.qa.com虛擬機(jī)開始，通過ssh-keygen命令，生成id_rsa.pub，再合并到 authorized_keys的文件。再通過scp把a(bǔ)uthorized_keys復(fù)制到其他的虛擬機(jī)。循環(huán)生成authorized_keys并合并文件。使得5臺虛擬機(jī)，都有了相互的SSH自動登陸的配置。
1：下載RHadoop相關(guān)軟件包，放置在/mnt/mydisk/R/目錄下
http://www.r-project.org/
R語言包
https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads
rhdfs R使用HDFS相關(guān)軟件包
rmr R使用MapReduce相關(guān)軟件包
rhbase R使用Hbase相關(guān)軟件包

總結(jié)

以上是生活随笔為你收集整理的RHadoop（一）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。