1. 按照行數讀取hadoop文件方法node
hadoop fs -text /dahua/original_data/shiwu.csv | head -n 3app
2. tail默認查看最後一千字節。例如要查閱README.txt最後一千個字節，能夠執行以下命令。oop
hadoop fs -tail README.txt 日誌
3. 顯示文件結尾的5行索引
hadoop fs -cat /luojp/README.md | tail -n 5 ip
HDFS有一個默認工做目錄/usr/$USER，其中$USER是你的登陸用戶名，做者的用戶名是root。該目錄不能自動建立，須要執行mkdir命令建立。hadoop
hadoop fs -mkdir /usr/rootget
使用Hadoop的命令put將本地文件README.txt送到HDFS。文件上傳
hadoop fs -put README.txt .it
注意上面這個命令最後一個參數是句點（.），這意味着把本地文件放入到默認的工做目錄，該命令等價於：
hadoop fs -put README.txt /user/root
使用Hadoop的ls命令，即
hadoop fs -ls
獲取文件包含兩層意思，一是HDFS從本地文件中獲取文件，即前面介紹的添加文件；二是本地文件從HDFS中獲取文件，能夠使用Hadoop的get命令。例如若本地文件沒有README.txt文件，須要從HDFS中取回，能夠執行以下命令。
hadoop fs -get README.txt .
或者
hadoop fs -get README.txt /usr/root/README.txt
4 刪除文件
Hadoop刪除文件命令爲rm。例如要刪除從本地文件上傳的README.txt，能夠執行以下命令。
hadoop fs -rm README.txt
5 檢索文件
檢索文件即查閱HDFS中的文件內容，能夠使用hadoop中的cat命令。例如要查閱README.txt的內容，能夠執行以下命令。
hadoop fs -cat README.txt
查閱幫助
hadoop fs -help [command]
如： hadoop fs -help ls
6 隨機返回指定行數的樣本數據
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5
7 返回前幾行的樣本數據
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100
8 返回最後幾行的樣本數據
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | tail -5
9 查看文本行數
hadoop fs -cat hdfs://172.16.0.226:8020/test/sys_dict/sysdict_case_type.csv |wc -l
10 查看文件大小(單位byte)
hadoop fs -du hdfs://172.16.0.226:8020/test/sys_dict/*
hadoop fs -count hdfs://172.16.0.226:8020/test/sys_dict/*
11 某個文件的blocks信息
hadoop fsck /user/xx -files -blocks -locations
12 改變一個文件或者目錄的副本因子
hadoop fs -setrep -R 3 /user/xx
13 查看app的log
yarn logs -applicationId application_1452250357031_0175
14 set datanode 日誌級別
hadoop daemonlog -setlevel namenodeip:50070 datanode DEBUG
或者 在hadoop-env.sh中添加
export HADOOP_ROOT_LOGGER=DEBUG,RFA
15 查看sequence文件
hadoop dfs -text sequenceFile
16 查看壓縮文件
lzo文件(先按照lzop命令) hadoop fs -cat /user/2017-03-06/part-r-00255.lzo | lzop -dc | head -1
gz壓縮 hadoop fs -cat /tmp/temp.txt.gz | gzip -d 或者 hadoop fs -cat /tmp/temp.txt.gz | zcat
17 lzo創建索引(方便切分多個split，會在當前hdfs目錄下建立一個.index文件)hadoop jar lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/news_74_8000_201705091820.lzo