日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Mac上安装hadoop

發布時間:2025/6/15 编程问答 20 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Mac上安装hadoop 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1.安裝JAVA——之后會運行jar包,肯定需要java的運行環境

查看java版本: [html]?view plaincopy
  • java?-version??


  • ————————————————————————————————————————————————————————————————————————————
    2.下載hadoop 地址:http://hadoop.apache.org/releases.html

    然后看到

    我沒有選版本太高的,因為不會用

    存放的路徑可以看到:/Users/hadoop

    配置mac os 自身環境
    這個主要是配置ssh環境。先在terminal里面輸入
    [html]?view plaincopy
  • <span?style="white-space:pre">????</span>ssh?localhost??
  • 會有錯誤提示信息,表示當前用戶沒有權限。這個多半是系統為安全考慮,默認設置的。更改設置如下:進入system preference --> sharing --> 勾選remote login,并設置allow access for all users。再次輸入“ssh localhost",再輸入密碼并確認之后,可以看到ssh成功。
    不過這里面還有一個麻煩,就是每次都會要求輸入用戶密碼。《Hadoop實戰》提供了一種免登陸的方法。首先,輸入
    [html]?view plaincopy
  • <span?style="white-space:pre">????</span>ssh-keygen?-t?dsa?-P?''?-f?~/.ssh/id_dsa??
  • ssh-keygen表示生成秘鑰;-t表示秘鑰類型;-P用于提供密語;-f指定生成的秘鑰文件。這個命令在”~/.ssh/“文件夾下創建兩個文件id_dsa和id_dsa.pub,是ssh的一對兒私鑰和公鑰。接下來,將公鑰追加到授權的key中去,輸入:
    [html]?view plaincopy
  • <span?style="white-space:pre">????</span>cat?~/.ssh/id_dsa.pub?>>?~/.ssh/authorized_keys??
  • ————————————————————————————————————————————————————————————————————————————
    3設置環境變量
    在實際啟動Hadoop之前,有三個文件需要進行配置。

    但在這之前,我們需要設置一下幾個類似Windows的環境變量,方便以后在命令行敲命令。

    export HADOOP_HOME=/Users/hadoop/hadoop-1.2.1 ? ? ?(根據你自己的目錄進行設定)

    export PATH=$PATH:$HADOOP_HOME/bin
    注明:export設置只對當前的bash登錄session有效。這是存在內存里面的。如果你嫌麻煩,就直接寫入etc中的profile文件里面就好。 ————————————————————————————————————————————————————————————————————————————
    4.配置hadoop-env.sh
    在Hadoop->conf目錄下,找到hadoop-env.sh,打開編輯進行如下設置:

    export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home(去掉注釋)

    export HADOOP_HEAPSIZE=2000(去掉注釋)

    export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"(去掉注釋)

    注意第三個配置在OS X上最好進行配置,否則會報“Unable to load realm info from SCDynamicStore”。
    ————————————————————————————————————————————————————————————————————————————
    5.配置core-site.xml——指定了NameNode的主機名與端口 [html]?view plaincopy
  • <?xml?version="1.0"?>??
  • <?xml-stylesheet?type="text/xsl"?href="configuration.xsl"?>??
  • ??
  • <!--?Put?site-specific?property?overrides?in?this?file.?-->??
  • ??
  • <configuration>??
  • ????<property>??
  • ????????<name>hadoop.tmp.dir</name>??
  • ????????<value>hdfs://localhost:9000</value>??
  • ????????<description>A?base?for?other?temporary?directories.</description>??
  • ????</property>??
  • ????<property>??
  • ????????<name>fs.default.name</name>??
  • ????????<value>hdfs://localhost:8020</value>??
  • ????</property>??
  • </configuration>???
  • ————————————————————————————————————————————————————————————————————————————
    6.配置hdfs-site.xml——指定了HDFS的默認參數副本數,因為僅運行在一個節點上,所以這里的副本數為1 [html]?view plaincopy
  • <?xml?version="1.0"?>??
  • <?xml-stylesheet?type="text/xsl"?href="configuration.xsl"?>??
  • ??
  • <!--?Put?site-specific?property?overrides?in?this?file.?-->??
  • ??
  • <configuration>??
  • ????<property>??
  • ????????<name>dfs.replication</name>??
  • ????????<value>1</value>??
  • ????</property>??
  • </configuration>???
  • ————————————————————————————————————————————————————————————————————————————
    7.配置mapred-site.xml——指定了JobTracker的主機名與端口 [html]?view plaincopy
  • <?xml?version="1.0"?>??
  • <?xml-stylesheet?type="text/xsl"?href="configuration.xsl"?>??
  • ??
  • <!--?Put?site-specific?property?overrides?in?this?file.?-->??
  • ??
  • <configuration>??
  • ????<property>??
  • ????????<name>mapred.job.tracker</name>??
  • ????????<value>hdfs://localhost:9001/value>??
  • ????</property>??
  • ????<property>??
  • ????????<name>mapred.tasktracker.map.tasks.maximum</name>??
  • ????????<value>2</value>??
  • ????</property>??
  • ????<property>??
  • ????????<name>mapred.tasktracker.reduce.tasks.maximum</name>??
  • ????????<value>2</value>??
  • ????</property>??
  • </configuration>??
  • ————————————————————————————————————————————————————————————————————————————
    8.安裝HDFS 經過以上的配置,就可以進行HDFS的安裝了。 [html]?view plaincopy
  • $HADOOP_HOME/bin/hadoop?namenode?-format??

  • 如果出現以下結果:


    就說明你的HDFS已經安裝成功了。

    ————————————————————————————————————————————————————————————————————————————
    9.啟動Hadoop
    很簡單,一條命令搞定。
    [html]?view plaincopy
  • $HADOOP_HOME/bin/start-all.sh??




  • 到這里,hadoop單機偽分布式的環境就算搭建好了。 下一篇,用最簡單的程序來看下效果。

    總結

    以上是生活随笔為你收集整理的Mac上安装hadoop的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。