Hadoop大数据分布式文件系统hdfs的Java操作
生活随笔
收集整理的這篇文章主要介紹了
Hadoop大数据分布式文件系统hdfs的Java操作
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
- 搭建開發(fā)環(huán)境（eclipse，hdfs的jar包----hadoop的安裝目錄的share下）
建議在linux下進(jìn)行客戶端應(yīng)用的開發(fā)，不會存在兼容性問題。
如果非要在window上做客戶端應(yīng)用開發(fā)，需要設(shè)置以下環(huán)境：
A、在windows的某個目錄下解壓一個hadoop的安裝包
B、將安裝包下的lib和bin目錄用對應(yīng)windows版本平臺編譯的本地庫替換
C、在window系統(tǒng)中配置HADOOP_HOME指向你解壓的安裝包
D、在windows系統(tǒng)的path變量中加入hadoop的bin目錄
- 在java中操作hdfs，首先要獲得一個客戶端實(shí)例
而我們的操作目標(biāo)是HDFS，所以獲取到的fs對象應(yīng)該是DistributedFileSystem的實(shí)例；
get方法是從何處判斷具體實(shí)例化那種客戶端類呢？
----從conf中的一個參數(shù) fs.defaultFS的配置值判斷；
如果我們的代碼中沒有指定并且工程classpath下也沒有給定相應(yīng)的配置，conf中的默認(rèn)值就來自于hadoop的jar包中的core-default.xml，默認(rèn)值為： file:///
- fs所具備的方法：
可以隨機(jī)定位讀取位置：DFSInputStream.seek()
總結(jié)
以上是生活随笔為你收集整理的Hadoop大数据分布式文件系统hdfs的Java操作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： hadoop分布式文件系统hdfs的概念
- 下一篇： Hadoop大数据分布式文件系统hdfs