大數據HDFS的相關運維題

1.在 HDFS 文件系統的根目錄下建立遞歸目錄「1daoyun/file」，將附件中的BigDataSkills.txt 文件，上傳到 1daoyun/file 目錄中，使用相關命令查看文件系統中 1daoyun/file 目錄的文件列表信息。

hadoop fs -mkdir -p /1daoyun/file

hadoop fs -put BigDataSkills.txt  /1daoyun/file 

hadoop fs -ls /1daoyun/file  

2.在 HDFS 文件系統的根目錄下建立遞歸目錄「1daoyun/file」，將附件中的BigDataSkills.txt 文件，上傳到 1daoyun/file 目錄中，並使用 HDFS 文件系統檢查工具檢查文件是否受損。

hadoop fsck /1daoyun/file/BigDataSkills.txt

3.在 HDFS 文件系統的根目錄下建立遞歸目錄「1daoyun/file」，將附件中的BigDataSkills.txt 文件，上傳到 1daoyun/file 目錄中，上傳   過程指定BigDataSkills.txt 文件在 HDFS 文件系統中的複製因子爲 2，並使用 fsck 工具檢查存儲塊的副本數。

hadoop fs -D dfs.replication=2 -put BigDataSkills.txt /1daoyun/

4.HDFS 文件系統的根目錄下存在一個/apps 的文件目錄，要求開啓該目錄的可建立快照功能，併爲該目錄文件建立快照，快照名稱爲 apps_1daoyun，使用相關命令查看該快照文件的列表信息。

hadoop dfsadmin -allowSnapshot /apps

hadoop fs -createSnapshot /apps apps_1daoyun

hadoop fs -ls /apps/.snapshot

 

 

5.當 Hadoop 集羣啓動的時候，會首先進入到安全模式的狀態，該模式默認30 秒後退出。當系統處於安全模式時，只能對 HDFS 文件系統進行讀取，沒法進行寫入修改刪除等的操做。現假設須要對 Hadoop 集羣進行維護，須要使集羣進入安全模式的狀態，並檢查其狀態。

hadoop dfsadmin -safemode enter

hadoop dfsadmin -safemode get

6.爲了防止操做人員誤刪文件，HDFS 文件系統提供了回收站的功能，但過多的垃圾文件會佔用大量的存儲空間。要求在先電大數據平臺的 WEB 界面將 HDFS 文件系統回收站中的文件完全刪除的時間間隔爲 7 天。

7.爲了防止操做人員誤刪文件，HDFS 文件系統提供了回收站的功能，但過多的垃圾文件會佔用大量的存儲空間。要求在 Linux Shell 中使用「vi」命令修改相應的配置文件以及參數信息，關閉

功能。完成後，重啓相應的服務。

vi /etc/hadoop/2.6.1.0-129/0/core-site.xml

<property>

      <name>fs.trash.interval</name>

      <value>10080</value>

    </property>

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop namenode

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop datanode

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start datanode

8.Hadoop 集羣中的主機在某些狀況下會出現宕機或者系統損壞的問題，一旦遇到這些問題，HDFS 文件系統中的數據文件不免會產生損壞或者丟失，爲了保證 HDFS 文件系統的可靠性，現須要在先電大數據平臺的 WEB 界面將集羣的冗餘複製因子修改成 5。

9.Hadoop 集羣中的主機在某些狀況下會出現宕機或者系統損壞的問題，一旦遇到這些問題，HDFS 文件系統中的數據文件不免會產生損壞或者丟失，爲了保證 HDFS 文件系統的可靠性，須要將集羣的冗餘複製因子修改成 5，在 Linux Shell 中使用「vi」命令修改相應的配置文件以及參數信息，完成後，重啓相應的服務。

vi /etc/hadoop/2.6.1.0-129/0/hdfs-site.xml

<property>

      <name>dfs.replication</name>

      <value>5</value>

    </property>

10.使用命令查看 hdfs 文件系統中/tmp 目錄下的目錄個數，文件個數和文件總大小。

hadoop fs -count -h  /tmp