使用python來訪問Hadoop HDFS存儲實現文件的操做

原文：http://rfyiamcool.blog.51cto.com/1030776/1258292

 

在調試環境下，我們用hadoop提供的shell接口測試增長刪除查看，可是不利於複雜的邏輯編程

查看文件內容

www.xiaorui.cc

 

用python訪問hdfs是個很頭疼的事情。。。。

 

這個是pyhdfs的庫

1 import pyhdfs
2 fs = pyhdfs.connect("192.168.1.1", 9000)
3 pyhdfs.get(fs, "/rui/111", "/var/111")
4 f = pyhdfs.open(fs, "/test/xxx", "w")
5 pyhdfs.write(fs, f, "fuck\0gfw\n")
6 pyhdfs.close(fs, f)
7 pyhdfs.disconnect(fs)

View Code

pyhdfs的安裝過程很吐血

1 svn checkout http://libpyhdfs.googlecode.com/svn/trunk/ libpyhdfs
2 cd libpyhdfs
3 cp /usr/lib/hadoop-0.20/hadoop-core-0.20.2-cdh3u0.jar lib/hadoop-0.20.1-core.jar
4 cp /usr/lib/hadoop-0.20/lib/commons-logging-1.0.4.jar lib/
5 cp /usr/lib/libhdfs.so.0 lib/
6 ln –s lib/libhdfs.so.0 lib/libhdfs.so
7 python setup.py install --prefix="/usr/local"

View Code

還有就是把 selinux也給關了    否則會出現莫名的問題

 

若是出現

/usr/lib/jvm/java-6-sun/include/jni.h:27:20: error: jni_md.h: No such file or directory

搜下find / -name jni.h

而後修改#include "jni_md.h"   爲  #include "linux/jni_md.h"

 

這個是用pydoop的庫

1 import pydoop.hdfs as hdfs
2 with hdfs.open('/user/myuser/filename') as f:
3     for line in f:
4         print(line)

我如今使用的方法是用subprocess ，哈哈，方法很搓吧，主要緣由是我這邊沒有太多的性能估計，只是單純的把mapreduce的接口給搞出來而已。

這麼簡單用用也還能夠的~

須要把不少本身經常使用的指定都封裝成庫  

1 cat = subprocess.Popen(["hadoop", "fs", "-cat", "/path/to/myfile"], stdout=subprocess.PIPE)
2 for line in cat.stdout:
3     print line

補充下（從視hadoop爲兒戲到如今對mapreduce半斤八兩，對我本身來講，仍是有很大的進步的。因此關於hadoop python操做不能再用之前的方法啦。）：

     最近了解了更加方便的庫，算是文檔和利用最好的了。

 

pyhdfs是對libhdfs的python封裝庫. 它提供了一些經常使用方法來處理HDFS上的文件和目錄, 好比讀寫文件, 枚舉目錄文件, 顯示HDFS可用空間, 顯示文件的複製塊數等。

libhdfs 是HDFS的底層C函數庫, 由hadoop官方提供, pyhdfs使用swig技術, 對libhdfs提供的絕大多數函數進行了封裝, 目的是提供更簡單的調用方式.

 1 如何鏈接hadoop集羣？
 2     fs = hadoop.HadoopDFS("username","password","ugi",64310)
 3     fs.disconnect()
 4 如何獲取當前工做目錄?
 5     fs = hadoop.HadoopDFS("username","password","ugi",64310)
 6     print fs.getWorkingDirectory()
 7     fs.disconnect()
 8 如何更改當前工做目錄？
 9     fs = hadoop.HadoopDFS("username","password","ugi",64310)
10     print fs.setWorkingDirectory("/user/ns-lsp/logs")
11     fs.disconnect()
12 若是目錄不存在setWorkingDirectory()返回-1,若是執行成功，返回0
13 若是目錄不存在setWorkingDirectory()返回-1,若是執行成功，返回0
14 如何判斷某個文件/目錄是否存在？
15     fs = hadoop.HadoopDFS("username","password","ugi",64310)
16     print fs.pathExists("/user/ns-lsp/logs")
17     fs.disconnect()
18 文件/目錄存在，返回0，若是不存在，返回-1
19 如何建立一個目錄?
20     fs = hadoop.HadoopDFS("username","password","ugi",64310)
21     print fs.createDirectory("/user/ns-lsp/logs/cjj")
22     fs.disconnect()
23 若是目錄已經存在，則返回-1，若是目錄建立成功，返回0
24 如何得到當前默認塊大小？
25     fs = hadoop.HadoopDFS("username","password","ugi",64310)
26     print fs.getDefaultBlockSize()
27     fs.disconnect()
28 如何得到當期目錄下的文件/目錄？
29     fs = hadoop.HadoopDFS("username","password","ugi",64310)
30     print fs.listDirectory("/user/ns-lsp/logs")
31     fs.disconnect()
32 如何移動一個文件/目錄?
33 同一HDFS內移動文件：
34     fs = hadoop.HadoopDFS("username","password","ugi",64310)
35     print fs.move("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj_new")
36     fs.disconnect()
37 不一樣HDFS之間移動文件：
38     target_fs = hadoop.HadoopDFS("username","password","ugi",64310)
39     fs = hadoop.HadoopDFS("username","password","ugi",64310)
40     print fs.move("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj_new",target_fs)
41     fs.disconnect()
42 如何刪除一個文件/目錄?
43     fs = hadoop.HadoopDFS("username","password","ugi",64310)
44     print fs.delete("/user/ns-lsp/logs/cjj_new")
45     fs.disconnect()
46 如何重命名一個文件/目錄?
47     fs = hadoop.HadoopDFS("username","password","ugi",64310)
48     print fs.rename("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj1")
49     fs.disconnect()
50 如何修改一個文件/目錄的權限?
51     fs = hadoop.HadoopDFS("username","password","ugi",64310)
52     print fs.chmod("/user/ns-lsp/logs/cjj",7)
53     fs.disconnect()
54 如何文件塊所在的服務器名?
55 有時咱們須要查找某些文件塊所在的服務器名是什麼，能夠以下使用:
56     fs = hadoop.HadoopDFS("username","password","ugi",64310)
57     print fs.getHosts("/user/ns-lsp/logs/cjj/a",0,1)
58     fs.disconnect()
59 返回包含服務器名的列表.
60    $ python gethosts.py
61    ['xxxx']
62 如何獲取一個文件/目錄的信息?
63     fs = hadoop.HadoopDFS("username","password","ugi",64310)
64     pathinfo = fs.getPathInfo("/user/ns-lsp/logs/cjj")
65     fs.disconnect()
66 getPathInfo()返回一個hdfsFileInfo類。
67 如何指定文件的備份數?
68     fs = hadoop.HadoopDFS("username","password","ugi",64310)
69     print fs.setReplication("/user/ns-lsp/logs/cjj/a",3)
70     fs.disconnect()
71 如何打開一個文件，並讀取數據?
72 要操做文件，須要建立一個HadoopFile對象，並利用read()方法讀取數據.
73     fs = hadoop.HadoopDFS("username","password","ugi",64310)
74     fh = hadoop.HadoopFile(fs,'/user/ns-lsp/logs/cjj/a')
75     print fh.read()
76     fh.close()
77     fs.disconnect()

View Code