強-大數據第六講

HDFS的基本操做

第一節：HDFS的相關命令
-mkdir 在HDFS建立目錄 hdfs dfs -mkdir /data
-ls 查看當前目錄 hdfs dfs -ls /
-ls -R 查看目錄與子目錄
-put 上傳一個文件 hdfs dfs -put data.txt /data/input
-moveFromLocal 上傳一個文件，會刪除本地文件：ctrl + X
-copyFromLocal 上傳一個文件，與put同樣
-copyToLocal 下載文件 hdfs dfs -copyToLocal /data/input/data.txt
-get 下載文件 hdfs dfs -get /data/input/data.txt
-rm 刪除文件 hdfs dfs -rm /data/input/data.txt
-getmerge 將目錄全部的文件先合併，再下載
-cp 拷貝： hdfs dfs -cp /data/input/data.txt /data/input/data01.txt
-mv 移動： hdfs dfs -mv /data/input/data.txt /data/input/data02.txt
-count 統計目錄下的文件個數
-text、-cat 查看文件的內容 hdfs dfs -cat /data/input/data.txt
-balancer 平衡操做

 

第二節：HDFS的Java API
（*）在HDFS上建立一個目錄:
依賴的jar包：
/root/training/hadoop-2.4.1/share/hadoop/common/lib
/root/training/hadoop-2.4.1/share/hadoop/common/

/root/training/hadoop-2.4.1/share/hadoop/hdfs/lib
/root/training/hadoop-2.4.1/share/hadoop/hdfs/

 

 

源代碼示例：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestMain {

public static void main(String[] args) throws Exception {
// 使用HDFS的API建立目錄
//設置NameNode地址
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.88.11:9000");

//獲得HDFS的文件系統
FileSystem fs = FileSystem.get(conf);
fs.mkdirs(new Path("/folder1"));
}

}