day06筆記

**********************************************
課程回顧：
（1）免密碼登陸--ssh 全部的拷貝 包括本身。
（2）Hadoop 全分佈式安裝。---重複格式化 scp拷貝（沒有刪掉原來的文件。）
（3）HDFS的體系架構--namenode datanode secondarydatanode。
（4）看日誌：
/opt/moudle/hadoop-2.7.3/logs vi shift+G
**********************************************
一、HDFS-Web Console
(1) Overview--展現HDFS的基本信息
Safemode is off.---高級特性。
（2）DataNodes-數據節點信息
增長和刪除數據節點（Decomissioning-->Dead）
（3）Datanode Volume Failures--數據節點 硬件錯誤
（4）Snapshot---高級特性
快照實現數據的備份，防止數據的誤操做和丟失。默認是關閉的。
（5）Startup Progress--啓動過程
（6）Uitlities:
Browse 文件 ---hdfs -dfs -ls /
logs---查看日誌。
二、HDFS 普通操做命令--hdfs dfs(hadoop fs) ***
（1）建立目錄--mkdir
hdfs dfs -mkdir /
(2)查看--ls
查看目錄和子目錄 hdfs dfs -ls -R /
hdfs dfs -lsr /
（3）上傳數據
-put ：
-copyFromLocal： 本地路徑 hdfs路徑
hdfs dfs -copyFromLocal ~/temp/a.txt /test0113/
-moveFromLocal: 會刪除本地文件 剪切
（4）下載數據
-get:
-copyToLocal:從HDFS下載到本地
（5）刪除數據
-rm
-rmr: 刪除HDFS的目錄和子目錄
刪除日誌： Deleted /test0113
回收站---高級特性 默認是關閉。
（6）合併數據--（爲hive表數據操做作準備。）
-getmerge :把某個HDFS的目錄下的文件進行先合併後下載
*：通配符 ？
hdfs dfs -getmerge /students /root/students.txt
（7）計數和文件大小
-count 顯示 文件夾、文件個數 文件總的大小
-du 顯示每一個文件夾和文件的大小
[root@bigdata124 ~]# hdfs dfs -count /students
1 4 63 /students
[root@bigdata124 ~]# hdfs dfs -du /students
25 /students/students01.txt
13 /students/students02.txt
13 /students/students03.txt
12 /students/students04.txt
（8）負載均衡 balancer
實現datanode 數據存儲均衡。
## hdfs balancer ##
三、HDFS 管理員命令
（1）hdfs dfsadmin -report 打印報告
（2） -safemode <enter | leave | get | wait>
enter:手動進入安全模式
leave:手動離開安全模式
get:得到當前安全模式的狀態
（3）快照命令
[-allowSnapshot <snapshotDir>]
[-disallowSnapshot <snapshotDir>]
（4）Quota 配額
a、名稱配額--數量
[-setQuota <quota> <dirname>...<dirname>]
[-clrQuota <dirname>...<dirname>]
b、空間配額--空間大小
[-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]
[-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]
四、IDEA Maven工程簡介
（1）IDEA 下載地址：https://www.jetbrains.com/idea/download/
破解方法自行查找。Ultimate
（2）File-new Project->Maven
GroupID: 公司名字
artifactId：工程名字。
java程序在：src-》main->java 右鍵 新建 java class文件
target: 是運行程序生成的class文件
（3）管理包
/opt/moudle/hadoop-2.7.3/share/hadoop/common/*.jar
/opt/moudle/hadoop-2.7.3/share/hadoop/common/lib/*.jar
/opt/moudle/hadoop-2.7.3/share/hadoop/hdfs/*.jar
/opt/moudle/hadoop-2.7.3/share/hadoop/hdfs/lib/*.jar

經過maven只須要配置POM文件。
a、 下載一個maven版本
http://maven.apache.org/index.html，
b、經過 File-settings-Maven
修改： D:\TZ\apache-maven-3.6.0-bin\apache-maven-3.6.0\conf\settings.xml
55行：<localRepository>D:\TZ\m2\Repository</localRepository>
MaveHome：D:\TZ\apache-maven-3.6.0-bin\apache-maven-3.6.0
User settings:D:\TZ\apache-maven-3.6.0-bin\apache-maven-3.6.0\conf\settings.xml
c、POM中寫入包的依賴
參考：https://mvnrepository.com/search?q=hadoop
<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.3</version>
</dependency>
</dependencies>
五、java API 實現HDFS的文件夾建立。

*******************************************************************************
做業：（1）下載破解 IDEA
（2）建立Maven工程，跑通老師的代碼。
******************************************************************************
### Permission denied: user=Young, access=WRITE, inode="/test0113" ###
六、java API 實現HDFS的文件上傳

七、java API 實現HDFS的文件下載