日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

大数据HDFS相关的一些运维题

發布時間:2024/10/8 编程问答 33 如意码农
生活随笔 收集整理的這篇文章主要介紹了 大数据HDFS相关的一些运维题 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1.在 HDFS 文件系統的根目錄下創建遞歸目錄“1daoyun/file”,將附件中的BigDataSkills.txt 文件,上傳到 1daoyun/file 目錄中,使用相關命令查看文件系統中 1daoyun/file 目錄的文件列表信息。

hadoop fs -mkdir -p /1daoyun/file

hadoop fs -put BigDataSkills.txt  /1daoyun/file

hadoop fs -ls /1daoyun/file

2.在 HDFS 文件系統的根目錄下創建遞歸目錄“1daoyun/file”,將附件中的BigDataSkills.txt 文件,上傳到 1daoyun/file 目錄中,并使用 HDFS 文件系統檢查工具檢查文件是否受損。

hadoop fsck /1daoyun/file/BigDataSkills.txt

3.在 HDFS 文件系統的根目錄下創建遞歸目錄“1daoyun/file”,將附件中的BigDataSkills.txt 文件,上傳到 1daoyun/file 目錄中,上傳   過程指定BigDataSkills.txt 文件在 HDFS 文件系統中的復制因子為 2,并使用 fsck 工具檢查存儲塊的副本數。

hadoop fs -D dfs.replication=2 -put BigDataSkills.txt /1daoyun/

4.HDFS 文件系統的根目錄下存在一個/apps 的文件目錄,要求開啟該目錄的可創建快照功能,并為該目錄文件創建快照,快照名稱為 apps_1daoyun,使用相關命令查看該快照文件的列表信息。

hadoop dfsadmin -allowSnapshot /apps

hadoop fs -createSnapshot /apps apps_1daoyun

hadoop fs -ls /apps/.snapshot

5.當 Hadoop 集群啟動的時候,會首先進入到安全模式的狀態,該模式默認30 秒后退出。當系統處于安全模式時,只能對 HDFS 文件系統進行讀取,無法進行寫入修改刪除等的操作。現假設需要對 Hadoop 集群進行維護,需要使集群進入安全模式的狀態,并檢查其狀態。

hadoop dfsadmin -safemode enter

hadoop dfsadmin -safemode get

6.為了防止操作人員誤刪文件,HDFS 文件系統提供了回收站的功能,但過多的垃圾文件會占用大量的存儲空間。要求在先電大數據平臺的 WEB 界面將 HDFS 文件系統回收站中的文件徹底刪除的時間間隔為 7 天。

7.為了防止操作人員誤刪文件,HDFS 文件系統提供了回收站的功能,但過多的垃圾文件會占用大量的存儲空間。要求在 Linux Shell 中使用“vi”命令修改相應的配置文件以及參數信息,關閉

功能。完成后,重啟相應的服務。

vi /etc/hadoop/2.6.1.0-129/0/core-site.xml

<property>

<name>fs.trash.interval</name>

<value>10080</value>

</property>

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop namenode

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop datanode

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start datanode

8.Hadoop 集群中的主機在某些情況下會出現宕機或者系統損壞的問題,一旦遇到這些問題,HDFS 文件系統中的數據文件難免會產生損壞或者丟失,為了保證 HDFS 文件系統的可靠性,現需要在先電大數據平臺的 WEB 界面將集群的冗余復制因子修改為 5。

9.Hadoop 集群中的主機在某些情況下會出現宕機或者系統損壞的問題,一旦遇到這些問題,HDFS 文件系統中的數據文件難免會產生損壞或者丟失,為了保證 HDFS 文件系統的可靠性,需要將集群的冗余復制因子修改為 5,在 Linux Shell 中使用“vi”命令修改相應的配置文件以及參數信息,完成后,重啟相應的服務。

vi /etc/hadoop/2.6.1.0-129/0/hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>5</value>

</property>

10.使用命令查看 hdfs 文件系統中/tmp 目錄下的目錄個數,文件個數和文件總大小。

hadoop fs -count -h  /tmp

總結

以上是生活随笔為你收集整理的大数据HDFS相关的一些运维题的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。