[Python] 04 - os & sys module

至關實用的一些 「操做系統API」：

Ref: https://docs.python.org/3/library/os.html

 

 

基礎知識

---

1、程序初始化

獲取參數

 提取參數 

sys.argv[idx]
len(sys.argv)

 

 異常檢測 

若是參數有誤：logging.error(...)

不能繼續執行，return ERROR_NUMBER

 

若是文件夾存在

 刪除、重建 

if os.path.exists(g_outputDirPath): # 判斷「文件存在、文件夾存在」 shutil.rmtree(g_outputDirPath)　　# 同時刪除了子文件夾
 os.makedirs(g_outputDirPath)

 

 刪除舊文件夾 

刪除成功：logging.info(...)

刪除失敗：logging.error(...)

 

 建立新文件夾 

建立成功：logging.info(...)

建立失敗：logging.error(...)

 

 

2、文件系統操做

os自己已經有了很多方法提供；還須要shutil補充一些更易用的操做。

os策略的方法

Ref: 常見函數列表【實用一些，較少】

Ref: Python3 OS 文件/目錄方法 

序號	方法及描述
1	os.access(path, mode)  檢驗權限模式
2	os.chdir(path) 改變當前工做目錄
3	os.chflags(path, flags) 設置路徑的標記爲數字標記。
4	os.chmod(path, mode) 更改權限
5	os.chown(path, uid, gid) 更改文件全部者
6	os.chroot(path) 改變當前進程的根目錄
7	os.close(fd) 關閉文件描述符 fd
8	os.closerange(fd_low, fd_high) 關閉全部文件描述符，從 fd_low (包含) 到 fd_high (不包含), 錯誤會忽略
9	os.dup(fd) 複製文件描述符 fd
10	os.dup2(fd, fd2) 將一個文件描述符 fd 複製到另外一個 fd2
11	os.fchdir(fd) 經過文件描述符改變當前工做目錄
12	os.fchmod(fd, mode) 改變一個文件的訪問權限，該文件由參數fd指定，參數mode是Unix下的文件訪問權限。
13	os.fchown(fd, uid, gid) 修改一個文件的全部權，這個函數修改一個文件的用戶ID和用戶組ID，該文件由文件描述符fd指定。
14	os.fdatasync(fd) 強制將文件寫入磁盤，該文件由文件描述符fd指定，可是不強制更新文件的狀態信息。
15	os.fdopen(fd[, mode[, bufsize]]) 經過文件描述符 fd 建立一個文件對象，並返回這個文件對象
16	os.fpathconf(fd, name) 返回一個打開的文件的系統配置信息。name爲檢索的系統配置的值，它也許是一個定義系統值的字符串，這些名字在不少標準中指定（POSIX.1, Unix 95, Unix 98, 和其它）。
17	os.fstat(fd) 返回文件描述符fd的狀態，像stat()。
18	os.fstatvfs(fd) 返回包含文件描述符fd的文件的文件系統的信息，像 statvfs()
19	os.fsync(fd) 強制將文件描述符爲fd的文件寫入硬盤。
20	os.ftruncate(fd, length) 裁剪文件描述符fd對應的文件, 因此它最大不能超過文件大小。
21	os.getcwd() 返回當前工做目錄
22	os.getcwdu() 返回一個當前工做目錄的Unicode對象
23	os.isatty(fd) 若是文件描述符fd是打開的，同時與tty(-like)設備相連，則返回true, 不然False。
24	os.lchflags(path, flags) 設置路徑的標記爲數字標記，相似 chflags()，可是沒有軟連接
25	os.lchmod(path, mode) 修改鏈接文件權限
26	os.lchown(path, uid, gid) 更改文件全部者，相似 chown，可是不追蹤連接。
27	os.link(src, dst) 建立硬連接，名爲參數 dst，指向參數 src
28	os.listdir(path) 返回path指定的文件夾包含的文件或文件夾的名字的列表。
29	os.lseek(fd, pos, how) 設置文件描述符 fd當前位置爲pos, how方式修改: SEEK_SET 或者 0 設置從文件開始的計算的pos; SEEK_CUR或者 1 則從當前位置計算; os.SEEK_END或者2則從文件尾部開始. 在unix，Windows中有效
30	os.lstat(path) 像stat(),可是沒有軟連接
31	os.major(device) 從原始的設備號中提取設備major號碼 (使用stat中的st_dev或者st_rdev field)。
32	os.makedev(major, minor) 以major和minor設備號組成一個原始設備號
33	os.makedirs(path[, mode]) 遞歸文件夾建立函數。像mkdir(), 但建立的全部intermediate-level文件夾須要包含子文件夾。
34	os.minor(device) 從原始的設備號中提取設備minor號碼 (使用stat中的st_dev或者st_rdev field )。
35	os.mkdir(path[, mode]) 以數字mode的mode建立一個名爲path的文件夾.默認的 mode 是 0777 (八進制)。
36	os.mkfifo(path[, mode]) 建立命名管道，mode 爲數字，默認爲 0666 (八進制)
37	os.mknod(filename[, mode=0600, device]) 建立一個名爲filename文件系統節點（文件，設備特別文件或者命名pipe）。
38	os.open(file, flags[, mode]) 打開一個文件，而且設置須要的打開選項，mode參數是可選的
39	os.openpty() 打開一個新的僞終端對。返回 pty 和 tty的文件描述符。
40	os.pathconf(path, name) 返回相關文件的系統配置信息。
41	os.pipe() 建立一個管道. 返回一對文件描述符(r, w) 分別爲讀和寫
42	os.popen(command[, mode[, bufsize]]) 從一個 command 打開一個管道，是非堵塞的；堵塞的話，可使用 os.system(cmd)
43	os.read(fd, n) 從文件描述符 fd 中讀取最多 n 個字節，返回包含讀取字節的字符串，文件描述符 fd對應文件已達到結尾, 返回一個空字符串。
44	os.readlink(path) 返回軟連接所指向的文件
45	os.remove(path) 刪除路徑爲path的文件。若是path 是一個文件夾，將拋出OSError; 查看下面的rmdir()刪除一個 directory。
46	os.removedirs(path) 遞歸刪除目錄。很差使用！
47	os.rename(src, dst) 重命名文件或目錄，從 src 到 dst
48	os.renames(old, new) 遞歸地對目錄進行改名，也能夠對文件進行改名。
49	os.rmdir(path) 刪除path指定的空目錄，若是目錄非空，則拋出一個OSError異常。
50	os.stat(path) 獲取path指定的路徑的信息，功能等同於C API中的stat()系統調用。
51	os.stat_float_times([newvalue]) 決定stat_result是否以float對象顯示時間戳
52	os.statvfs(path) 獲取指定路徑的文件系通通計信息
53	os.symlink(src, dst) 建立一個軟連接
54	os.tcgetpgrp(fd) 返回與終端fd（一個由os.open()返回的打開的文件描述符）關聯的進程組
55	os.tcsetpgrp(fd, pg) 設置與終端fd（一個由os.open()返回的打開的文件描述符）關聯的進程組爲pg。
56	os.tempnam([dir[, prefix]]) Python3 中已刪除。返回惟一的路徑名用於建立臨時文件。
57	os.tmpfile() Python3 中已刪除。返回一個打開的模式爲(w+b)的文件對象 .這文件對象沒有文件夾入口，沒有文件描述符，將會自動刪除。
58	os.tmpnam() Python3 中已刪除。爲建立一個臨時文件返回一個惟一的路徑
59	os.ttyname(fd) 返回一個字符串，它表示與文件描述符fd 關聯的終端設備。若是fd 沒有與終端設備關聯，則引起一個異常。
60	os.unlink(path) 刪除文件路徑
61	os.utime(path, times) 返回指定的path文件的訪問和修改的時間。
62	os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]]) 輸出在文件夾中的文件名經過在樹中游走，向上或者向下。
63	os.write(fd, str) 寫入字符串到文件描述符 fd中. 返回實際寫入的字符串長度

 

shutil 的必要性

Ref: 11.10. shutil — High-level file operations

	File	Folder
建立	os.mknod()	os.makedirs()
打開	os.open()	os.listidr()
刪除	os.remove()	shutil.rmtree()
拷貝	shutil.copyfile()	shutil.copytree()
移動	shutil.move()

 

 

 

 

文件夾中的文件

---

1、路徑解析

先進入 workspace

# 獲取本身的路徑
os.getcwd()　　　　　　# 得到當前工做目錄

# 到達路徑
os.chdir(dirname)　 　# 改變工做目錄到dirname

 

得到目錄樹

子目錄遍歷

# 01. 獲取路徑列表
os.listdir(dirname):列出dirname下的目錄和文件

# 02. 判斷類型
os.path.isdir(name):判斷name是否是目錄，不是目錄就返回false
os.path.isfile(name):判斷name這個文件是否存在，不存在返回false

# 可替代以下這個：
os.path.exists(name):判斷是否存在文件或目錄name

套路三步：路徑存在？是文件？可讀？

# 套路三步：路徑存在？是文件？可讀？
if path.exists(filePath) and path.isfile(filePath) and access(filePath, R_OK):
　　print( "Debug: File exists and is readable.")
else:
　　print( "Debug: Either file is missing or is not readable")

 

深層次目錄遍歷

利用os.walk() 處理 嵌套、深度不等文件夾下的目錄樹。

# reference http://stackoverflow.com/a/9728478/992834

import os

def list_files(startpath):
  for root, dirs, files in os.walk(startpath):
    print(root)

    level  = root.replace(startpath, '').count(os.sep)
    indent = ' ' * 4 * (level)
    print('{}{}/'.format(indent, os.path.basename(root)))

    subindent = ' ' * 4 * (level + 1)
    for f in files:
      print('{}{}'.format(subindent, f))


list_files("./")

Output: 

$ python tree.py 
./
/
    tree.py
./dir
dir/
./dir/dir2
    dir2/
        file2.txt
./dir/dir2/dir4
        dir4/
            file3.txt
./dir/dir2/dir4/dir5
            dir5/
                file5.txt
                file6.txt
./dir/dir3
    dir3/
        file1.txt

 

獲取 file path

第一步，提取出文件全名；

第二步，"分割文件名" 和 "擴展名"。

os.path.split()　　　　　　　　　　#返回一個路徑的目錄名和文件名
可替代：
os.path.dirname()
os.path.basename()


os.path.getsize(name)　　　　　　#或得文件大小，若是name是目錄返回0L

fileName, extension = os.path.splitext('Hello.jpg')

# 修改文件名後的「路徑恢復」
os.path.join(path,name)　　　　 #鏈接目錄與文件名或目錄

 

 

2、路徑篩選

listdir(...) + 正則篩選

from os import listdir
from os.path import isfile, join

import os
import re

################################################################################

g_dataDir = "data"

################################################################################

# Load all files.
dirPath = join(os.getcwd(), g_dataDir)

# !!!
filteredFiles = [f for f in listdir(dirPath) if isfile(join(dirPath, f)) and re.search(r'^[2]+',f)]

# Jeff:
# 這裏結合了正則表達式達到篩選的目的

################################################################################

print("Files you want:")
print(filteredFiles)

 

 

 

 

sys模塊

---

Ref: python之sys模塊

退出處理

sys.exit(0)

exit() 看上去就是一種」異常「。

#!/usr/bin/python
import sys

def exitfunc(value):
    print (value)
    sys.exit(0)

print("hello")

try:
    sys.exit(90)
except SystemExit as value:
    exitfunc(value)   

print("come?")

 

 

導入模塊

sys.modules

導入模塊的路徑信息。

#!/usr/bin/python
import sys

print(sys.modules.keys())
print("**************************************************************************")
print(sys.modules.values())
print("**************************************************************************")
print(sys.modules["os"])

運行結果: 
['copy_reg', 'sre_compile', '_sre', 'encodings', 'site', '__builtin__', 'sysconfig', '__main__', 'encodings.encodings', 'abc', 'posixpath', '_weakrefset', 'errno', 'encodings.codecs', 'sre_constants', 're', '_abcoll', 'types', '_codecs', 'encodings.__builtin__', '_warnings', 'genericpath', 'stat', 'zipimport', '_sysconfigdata', 'warnings', 'UserDict', 'encodings.ascii', 'sys', 'codecs', '_sysconfigdata_nd', 'os.path', 'sitecustomize', 'signal', 'traceback', 'linecache', 'posix', 'encodings.aliases', 'exceptions', 'sre_parse', 'os', '_weakref']
*******************************************************************************
[<module 'copy_reg' from '/usr/lib/python2.7/copy_reg.pyc'>, <module 'sre_compile' from '/usr/lib/python2.7/sre_compile.pyc'>, <module '_sre' (built-in)>, <module 'encodings' from '/usr/lib/python2.7/encodings/__init__.pyc'>, <module 'site' from '/usr/lib/python2.7/site.pyc'>, <module '__builtin__' (built-in)>, <module 'sysconfig' from '/usr/lib/python2.7/sysconfig.pyc'>, <module '__main__' from 'sys-test1.py'>, None, <module 'abc' from '/usr/lib/python2.7/abc.pyc'>, <module 'posixpath' from '/usr/lib/python2.7/posixpath.pyc'>, <module '_weakrefset' from '/usr/lib/python2.7/_weakrefset.pyc'>, <module 'errno' (built-in)>, None, <module 'sre_constants' from '/usr/lib/python2.7/sre_constants.pyc'>, <module 're' from '/usr/lib/python2.7/re.pyc'>, <module '_abcoll' from '/usr/lib/python2.7/_abcoll.pyc'>, <module 'types' from '/usr/lib/python2.7/types.pyc'>, <module '_codecs' (built-in)>, None, <module '_warnings' (built-in)>, <module 'genericpath' from '/usr/lib/python2.7/genericpath.pyc'>, <module 'stat' from '/usr/lib/python2.7/stat.pyc'>, <module 'zipimport' (built-in)>, <module '_sysconfigdata' from '/usr/lib/python2.7/_sysconfigdata.pyc'>, <module 'warnings' from '/usr/lib/python2.7/warnings.pyc'>, <module 'UserDict' from '/usr/lib/python2.7/UserDict.pyc'>, <module 'encodings.ascii' from '/usr/lib/python2.7/encodings/ascii.pyc'>, <module 'sys' (built-in)>, <module 'codecs' from '/usr/lib/python2.7/codecs.pyc'>, <module '_sysconfigdata_nd' from '/usr/lib/python2.7/plat-x86_64-linux-gnu/_sysconfigdata_nd.pyc'>, <module 'posixpath' from '/usr/lib/python2.7/posixpath.pyc'>, <module 'sitecustomize' from '/usr/lib/python2.7/sitecustomize.pyc'>, <module 'signal' (built-in)>, <module 'traceback' from '/usr/lib/python2.7/traceback.pyc'>, <module 'linecache' from '/usr/lib/python2.7/linecache.pyc'>, <module 'posix' (built-in)>, <module 'encodings.aliases' from '/usr/lib/python2.7/encodings/aliases.pyc'>, <module 'exceptions' (built-in)>, <module 'sre_parse' from '/usr/lib/python2.7/sre_parse.pyc'>, <module 'os' from '/usr/lib/python2.7/os.pyc'>, <module '_weakref' (built-in)>]
*******************************************************************************
<module 'os' from '/usr/lib/python2.7/os.pyc'>

 

  

標準輸入, 輸出, 出錯

標準輸入

#!/usr/bin/python
import sys
#print('Hi, %s!' %input('Please enter your name: ')) python3.*版本用input
print('Hi, %s!' %raw_input('Please enter your name: ')) #python2.*版本用raw_input

運行結果:
Please enter your name: er
Hi, er!

--------------------------------------------------------------------------------
等同於:

#!/usr/bin/python
import sys
print('Please enter your name:')
name=sys.stdin.readline()[:-1]
print('Hi, %s!' %name)

 

標準輸出

print('Hello World!\n')

--------------------------------------------
等同於:

#!/usr/bin/python
import sys
sys.stdout.write('output resule is good!\n')

 

其餘實驗

#!/usr/bin/python
import sys

for i in (sys.stdin, sys.stdout, sys.stderr):
    print(i)

--------------------------------------------------
執行結果:

python sys-test1.py
<open file '<stdin>', mode 'r' at 0x7fa4e630f0c0>
<open file '<stdout>', mode 'w' at 0x7fa4e630f150>
<open file '<stderr>', mode 'w' at 0x7fa4e630f1e0>

 

End.