經過python代碼進行操做HDFS

1 經過在hadoop節點上自帶命令操做HDFS

好比咱們用下面命令

查看/test目錄
hdfs dfs -ls /test
查看目錄或者文件的塊信息
hdfs fsck / -files -blocks -locations -racks
hdfs fsck /test/start.txt -files -blocks -locations -racks
修改目錄權限
hdfs dfs -chmod -R 777 /test

2 經過代碼遠程操做HDFS，目前用python進出實驗

使用python3.6對hdfs庫進行操做

安裝依賴：

pip3 install --upgrade pip #更新pip,防止版本太低

pip3 install pyHdfs #安裝pyHdfs

編碼：

 

from pyhdfs import HdfsClientif __name__ == '__main__':    client = HdfsClient(hosts='hadoop2.com:50070')  # 50070是端口號    print(client.list_status('/'))  # 打印    print(client.list_status('/test'))  # 打印    print(client.copy_to_local('/test/start.txt','start2.txt')) # 從hadoop集羣中下載文件    print(client.mkdirs('/test/python', permission=777)) #在hadoop集羣中建立目錄    print(client.copy_from_local('start2.txt', '/test/python/start2.txt')) #把本地文件上傳hadoop集羣    print(client.delete('/test/python/start2.txt')) #刪除hadoop集羣文件    print(client.delete('/test/python')) #刪除hadoop集羣目錄