hadoop java操做hdfs

hfds 是一種文件系統，用於存儲hadoop將要處理的數據。適用於大規模分佈式數據處理，是一個可擴展行的文件分佈式系統；

優勢

一、若是出現節點宕機，hdfs,能夠持續監視，錯誤檢查，容錯處理，文檔恢復

二、存儲文件巨大，hdfs把文件按塊處理，規定每塊的大小（默認64M）

hdfs經常使用 命令

命令格式爲： hadoop fs -cmd <args>

一、添加目錄

    hadoop fs -mkdir args

二、添加文件

    hadoop fs -put localfile hdfsfileurl

    備註：put命令，在hdfs文件系統中放入文件，本地文件消失

三、取出文件

    hadoop fs -get locaUrl hdfsurl

    備註：get,把hdfs中的文件取回本地。可是hdfs中的文件還存在，至關於copy

四、查看文件

    hadoop fs -cat url

    備註：  hadoop fs -cat url|more能夠分頁查看

五、刪除文件

    hadoop fs -rm url

六、日誌方式查看

    hadoop fs -tail url

java 程序控制hdfs

在Hadoop中用做文件操做的主類位於org.apache.hadoop.fs軟件包中。包括常見的open、read、write、close。Hadoop文件的API起點是FileSystem類，這是一個與文件系統交互的抽象類，咱們經過調用factory的方法FileSystem.get(Configuration conf)來取得所需的FileSystem實例，以下咱們能夠得到與HDFS接口的FileSystem對象：

Configuration conf = new Configuration();

FileSystem hdfs = FileSystem.get(conf);//得到HDFS的FileSystem對象

若是咱們要實現HDFS與本地文件系統的交互，咱們還須要獲取本地文件系統的FileSystem對象

FileSystem local = FileSystem.getLocal(conf);//得到本地文件系統的FileSystem對象

/**
 * 
 */
package org.jrs.wlh;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * @PutMeger.java
 * created at 2013-8-7 上午12:04:08 by jrs521wlh
 * java操做hdfs 往 hdfs中上傳數據
 * @author jrs521wlh jiangrushe2010@126.com
 * @version $Revision$</br>
 * update: $Date$
 */
public class PutMeger {
	
	public static void main(String[] args) throws IOException {
		
		String[] str = new String[]{"E:\\hadoop\\UploadFileClient.java","hdfs://master:9000/user/hadoop/inccnt.java"};
		Configuration conf = new Configuration();
		FileSystem fileS= FileSystem.get(conf);
		FileSystem localFile = FileSystem.getLocal(conf);  //獲得一個本地的FileSystem對象
		
		Path input = new Path(str[0]); //設定文件輸入保存路徑
		Path out = new Path(str[1]);  //文件到hdfs輸出路徑
		
		try{
			FileStatus[] inputFile = localFile.listStatus(input);  //listStatus獲得輸入文件路徑的文件列表
			FSDataOutputStream outStream = fileS.create(out);      //建立輸出流    
			for (int i = 0; i < inputFile.length; i++) {
				System.out.println(inputFile[i].getPath().getName());
				FSDataInputStream in = localFile.open(inputFile[i].getPath());
				
				byte buffer[] = new byte[1024];
				int bytesRead = 0;
				while((bytesRead = in.read(buffer))>0){  //按照字節讀取數據
					System.out.println(buffer);
					outStream.write(buffer,0,bytesRead);
				}
				
				in.close();
			}
			
		}catch(Exception e){
			e.printStackTrace();
		}
	}

}