Python開發【Part 7】：經常使用模塊

本節內容：

1. 模塊介紹
2. 自定義模塊
3. 開源模塊
4. os模塊
5. sys模塊
6. hashlib模塊
7. json和pickle模塊
8. shutil模塊
9. ConfigParser模塊
10. logging模塊
11. time模塊
12. re模塊
13. random模塊

 

1、模塊介紹

　　模塊，用一砣代碼實現了某個功能的代碼集合。 

　　相似於函數式編程和麪向過程編程，函數式編程則完成一個功能，其餘代碼用來調用便可，提供了代碼的重用性和代碼間的耦合。而對於一個複雜的功能來，可能須要多個函數才能完成（函數又能夠在不一樣的.py文件中），n個 .py 文件組成的代碼集合就稱爲模塊。

　　如：os 是系統相關的模塊；file是文件操做相關的模塊

　　模塊分爲三種：

• 自定義模塊
• 內置模塊
• 開源模塊

 

2、自定義模塊

一、定義模塊

情景一：

　　

情景二：

　　

情景三：

　　

二、導入模塊

　　Python之因此應用愈來愈普遍，在必定程度上也依賴於其爲程序員提供了大量的模塊以供使用，若是想要使用模塊，則須要導入。導入模塊有一下幾種方法：

1 2 3 4

import  module from  module.xx.xx  import  xx from  module.xx.xx  import  xx as rename   from  module.xx.xx  import  *

　　導入模塊其實就是告訴Python解釋器去解釋那個py文件

• 導入一個py文件，解釋器解釋該py文件
• 導入一個包，解釋器解釋該包下的 __init__.py 文件

　　那麼問題來了，導入模塊時是根據那個路徑做爲基準來進行的呢？即：sys.path

1 2 3 4 5

import  sys print  sys.path    結果： [ '/Users/wupeiqi/PycharmProjects/calculator/p1/pp1' ,  '/usr/local/lib/python2.7/site-packages/setuptools-15.2-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/distribute-0.6.28-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/MySQL_python-1.2.4b4-py2.7-macosx-10.10-x86_64.egg' ,  '/usr/local/lib/python2.7/site-packages/xlutils-1.7.1-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/xlwt-1.0.0-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/xlrd-0.9.3-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/tornado-4.1-py2.7-macosx-10.10-x86_64.egg' ,  '/usr/local/lib/python2.7/site-packages/backports.ssl_match_hostname-3.4.0.2-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/certifi-2015.4.28-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/pyOpenSSL-0.15.1-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/six-1.9.0-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/cryptography-0.9.1-py2.7-macosx-10.10-x86_64.egg' ,  '/usr/local/lib/python2.7/site-packages/cffi-1.1.1-py2.7-macosx-10.10-x86_64.egg' ,  '/usr/local/lib/python2.7/site-packages/ipaddress-1.0.7-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/enum34-1.0.4-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/pyasn1-0.1.7-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/idna-2.0-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/pycparser-2.13-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/Django-1.7.8-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/paramiko-1.10.1-py2.7.egg' ,  '/usr/local/lib/python2.7/site-packages/gevent-1.0.2-py2.7-macosx-10.10-x86_64.egg' ,  '/usr/local/lib/python2.7/site-packages/greenlet-0.4.7-py2.7-macosx-10.10-x86_64.egg' ,  '/Users/wupeiqi/PycharmProjects/calculator' ,  '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python27.zip' ,  '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python2.7' ,  '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-darwin' ,  '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac' ,  '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python2.7/plat-mac/lib-scriptpackages' ,  '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-tk' ,  '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-old' ,  '/usr/local/Cellar/python/2.7.9/Frameworks/Python.framework/Versions/2.7/lib/python2.7/lib-dynload' ,  '/usr/local/lib/python2.7/site-packages' ,  '/Library/Python/2.7/site-packages' ]

　　若是sys.path路徑列表沒有你想要的路徑，能夠經過 sys.path.append('路徑') 添加。
　　經過os模塊能夠獲取各類目錄，例如：

import sys
import os

pre_path = os.path.abspath('../')
sys.path.append(pre_path)

View Code

 

3、開源模塊

1.下載安裝

　　下載安裝有兩種方式：

 

yum 
pip
apt-get
...

方式一

 

下載源碼
解壓源碼
進入目錄
編譯源碼    python setup.py build
安裝源碼    python setup.py install

方式二

　　注：在使用源碼安裝時，須要使用到gcc編譯和python開發環境，因此，須要先執行：

1 2 3 4

yum install gcc yum install python - devel 或 apt - get python - dev

　　安裝成功後，模塊會自動安裝到 sys.path 中的某個目錄中，如：

1	/ usr / lib / python2. 7 / site - packages /

2.導入模塊

　　同自定義模塊中導入的方式

 

4、os模塊

　　用於提供系統級別的操做

os.getcwd() 獲取當前工做目錄，即當前python腳本工做的目錄路徑
os.chdir("dirname")  改變當前腳本工做目錄；至關於shell下cd
os.curdir  返回當前目錄: ('.')
os.pardir  獲取當前目錄的父目錄字符串名：('..')
os.makedirs('dirname1/dirname2')    可生成多層遞歸目錄
os.removedirs('dirname1')    若目錄爲空，則刪除，並遞歸到上一級目錄，如若也爲空，則刪除，依此類推
os.mkdir('dirname')    生成單級目錄；至關於shell中mkdir dirname
os.rmdir('dirname')    刪除單級空目錄，若目錄不爲空則沒法刪除，報錯；至關於shell中rmdir dirname
os.listdir('dirname')    列出指定目錄下的全部文件和子目錄，包括隱藏文件，並以列表方式打印
os.remove()  刪除一個文件
os.rename("oldname","newname")  重命名文件/目錄
os.stat('path/filename')  獲取文件/目錄信息
os.sep    輸出操做系統特定的路徑分隔符，win下爲"\\",Linux下爲"/"
os.linesep    輸出當前平臺使用的行終止符，win下爲"\t\n",Linux下爲"\n"
os.pathsep    輸出用於分割文件路徑的字符串
os.name    輸出字符串指示當前使用平臺。win->'nt'; Linux->'posix'
os.system("bash command")  運行shell命令，直接顯示
os.environ  獲取系統環境變量
os.path.abspath(path)  返回path規範化的絕對路徑
os.path.split(path)  將path分割成目錄和文件名二元組返回
os.path.dirname(path)  返回path的目錄。其實就是os.path.split(path)的第一個元素
os.path.basename(path)  返回path最後的文件名。如何path以／或\結尾，那麼就會返回空值。即os.path.split(path)的第二個元素
os.path.exists(path)  若是path存在，返回True；若是path不存在，返回False
os.path.isabs(path)  若是path是絕對路徑，返回True
os.path.isfile(path)  若是path是一個存在的文件，返回True。不然返回False
os.path.isdir(path)  若是path是一個存在的目錄，則返回True。不然返回False
os.path.join(path1[, path2[, ...]])  將多個路徑組合後返回，第一個絕對路徑以前的參數將被忽略
os.path.getatime(path)  返回path所指向的文件或者目錄的最後存取時間
os.path.getmtime(path)  返回path所指向的文件或者目錄的最後修改時間

更多猛擊這裏

 

5、sys模塊

用於提供對解釋器相關的操做

sys.argv           命令行參數List，第一個元素是程序自己路徑
sys.exit(n)        退出程序，正常退出時exit(0)
sys.version        獲取Python解釋程序的版本信息
sys.maxint         最大的Int值
sys.path           返回模塊的搜索路徑，初始化時使用PYTHONPATH環境變量的值
sys.platform       返回操做系統平臺名稱
sys.stdout.write('please:')
val = sys.stdin.readline()[:-1]

更多猛擊這裏

 

6、hashlib模塊

　　用於加密相關的操做，代替了md5模塊和sha模塊，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

import  hashlib   # ######## md5 ########   hash  =  hashlib.md5() hash .update( 'admin' ) print  hash .hexdigest()   # ######## sha1 ########   hash  =  hashlib.sha1() hash .update( 'admin' ) print  hash .hexdigest()   # ######## sha256 ########   hash  =  hashlib.sha256() hash .update( 'admin' ) print  hash .hexdigest()     # ######## sha384 ########   hash  =  hashlib.sha384() hash .update( 'admin' ) print  hash .hexdigest()   # ######## sha512 ########   hash  =  hashlib.sha512() hash .update( 'admin' ) print  hash .hexdigest()

　　以上加密算法雖然依然很是厲害，但時候存在缺陷，即：經過撞庫能夠反解。因此，有必要對加密算法中添加自定義key再來作加密。

1 2 3 4 5 6 7

import  hashlib   # ######## md5 ########   hash  =  hashlib.md5( '898oaFs09f' ) hash .update( 'admin' ) print  hash .hexdigest()

　　還不夠吊？python 還有一個 hmac 模塊，它內部對咱們建立 key 和 內容 再進行處理而後再加密

1 2 3 4

import  hmac h  =  hmac.new( 'wueiqi' ) h.update( 'hellowo' ) print  h.hexdigest()

　　不能再牛逼了！！！

 

7、json 和 pickle模塊

　　用於序列化的兩個模塊

• json，用於字符串 和 python數據類型間進行轉換
• pickle，用於python特有的類型 和 python的數據類型間進行轉換

　　Json模塊提供了四個功能：dumps、dump、loads、load

　　pickle模塊提供了四個功能：dumps、dump、loads、load

 

8、shutil模塊

　　高級的文件、文件夾、壓縮包處理模塊

shutil.copyfileobj(fsrc, fdst[, length])

　　文件內容拷貝到另外一個文件中，能夠部份內容

shutil.copyfile(src, dst)
　　拷貝文件

shutil.copymode(src, dst)
　　僅拷貝權限。內容、組、用戶均不變

shutil.copystat(src, dst)
　　拷貝狀態的信息，包括：mode bits, atime, mtime, flags

shutil.copy(src, dst)
　　拷貝文件和權限

shutil.copy2(src, dst)
　　拷貝文件和狀態信息

shutil.ignore_patterns(*patterns)
shutil.copytree(src, dst, symlinks=False, ignore=None)
　　遞歸的去拷貝文件

shutil.rmtree(path[, ignore_errors[, onerror]])
　　遞歸的去刪除文件

shutil.move(src, dst)
　　遞歸的去移動文件

shutil.make_archive(base_name, format,...)

　　建立壓縮包並返回文件路徑，例如：zip、tar

• base_name： 壓縮包的文件名，也能夠是壓縮包的路徑。只是文件名時，則保存至當前目錄，不然保存至指定路徑，
  如：www                        =>保存至當前路徑
  如：/Users/wupeiqi/www =>保存至/Users/wupeiqi/
• format： 壓縮包種類，「zip」, 「tar」, 「bztar」，「gztar」
• root_dir： 要壓縮的文件夾路徑（默認當前目錄）
• owner： 用戶，默認當前用戶
• group： 組，默認當前組
• logger： 用於記錄日誌，一般是logging.Logger對象

1 2 3 4 5 6 7 8 9

#將 /Users/wupeiqi/Downloads/test 下的文件打包放置當前程序目錄   import  shutil ret  =  shutil.make_archive( "wwwwwwwwww" ,  'gztar' , root_dir = '/Users/wupeiqi/Downloads/test' )     #將 /Users/wupeiqi/Downloads/test 下的文件打包放置 /Users/wupeiqi/目錄 import  shutil ret  =  shutil.make_archive( "/Users/wupeiqi/wwwwwwwwww" ,  'gztar' , root_dir = '/Users/wupeiqi/Downloads/test' )

shutil 對壓縮包的處理是調用 ZipFile 和 TarFile 兩個模塊來進行的，詳細：

 

import zipfile

# 壓縮
z = zipfile.ZipFile('laxi.zip', 'w')
z.write('a.log')
z.write('data.data')
z.close()

# 解壓
z = zipfile.ZipFile('laxi.zip', 'r')
z.extractall()
z.close()

zipfile 壓縮解壓

zipfile 壓縮解壓

 

import tarfile

# 壓縮
tar = tarfile.open('your.tar','w')
tar.add('/Users/wupeiqi/PycharmProjects/bbs2.zip', arcname='bbs2.zip')
tar.add('/Users/wupeiqi/PycharmProjects/cmdb.zip', arcname='cmdb.zip')
tar.close()

# 解壓
tar = tarfile.open('your.tar','r')
tar.extractall()  # 可設置解壓地址
tar.close()

tarfile 壓縮解壓

 

9、ConfigParser模塊

　　用於對特定的配置進行操做，當前模塊的名稱在 python 3.x 版本中變動爲 configparser。

1 2 3 4 5 6 7 8 9

# 註釋1 ; 註釋 2   [section1] k1  =  v1 k2:v2   [section2] k1  =  v1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

import  ConfigParser   config  =  ConfigParser.ConfigParser() config.read( 'i.cfg' )   # ########## 讀 ########## #secs = config.sections() #print secs #options = config.options('group2') #print options   #item_list = config.items('group2') #print item_list   #val = config.get('group1','key') #val = config.getint('group1','key')   # ########## 改寫 ########## #sec = config.remove_section('group1') #config.write(open('i.cfg', "w"))   #sec = config.has_section('wupeiqi') #sec = config.add_section('wupeiqi') #config.write(open('i.cfg', "w"))     #config.set('group2','k1',11111) #config.write(open('i.cfg', "w"))   #config.remove_option('group2','age') #config.write(open('i.cfg', "w"))

 

10、logging模塊

用於便捷記錄日誌且線程安全的模塊

1 2 3 4 5 6 7 8 9 10 11 12 13 14

import  logging     logging.basicConfig(filename = 'log.log' ,                      format = '%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s' ,                      datefmt = '%Y-%m-%d %H:%M:%S %p' ,                      level = 10 )   logging.debug( 'debug' ) logging.info( 'info' ) logging.warning( 'warning' ) logging.error( 'error' ) logging.critical( 'critical' ) logging.log( 10 , 'log' )

　　對於等級：

1 2 3 4 5 6 7 8

CRITICAL  =  50 FATAL  =  CRITICAL ERROR  =  40 WARNING  =  30 WARN  =  WARNING INFO  =  20 DEBUG  =  10 NOTSET  =  0

　　只有大於當前日誌等級的操做纔會被記錄。

　　對於格式，有以下屬性但是配置：

 

11、time模塊

　　時間相關的操做，時間有三種表示方式：

• 時間戳               1970年1月1日以後的秒，即：time.time()
• 格式化的字符串    2014-11-11 11:11，    即：time.strftime('%Y-%m-%d')
• 結構化時間          元組包含了：年、日、星期等... time.struct_time    即：time.localtime()

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

print  time.time() print  time.mktime(time.localtime())    print  time.gmtime()     #可加時間戳參數 print  time.localtime()  #可加時間戳參數 print  time.strptime( '2014-11-11' ,  '%Y-%m-%d' )    print  time.strftime( '%Y-%m-%d' )  #默認當前時間 print  time.strftime( '%Y-%m-%d' ,time.localtime())  #默認當前時間 print  time.asctime() print  time.asctime(time.localtime()) print  time.ctime(time.time())    import  datetime ''' datetime.date：表示日期的類。經常使用的屬性有year, month, day datetime.time：表示時間的類。經常使用的屬性有hour, minute, second, microsecond datetime.datetime：表示日期時間 datetime.timedelta：表示時間間隔，即兩個時間點之間的長度 timedelta([days[, seconds[, microseconds[, milliseconds[, minutes[, hours[, weeks]]]]]]]) strftime("%Y-%m-%d") ''' import  datetime print  datetime.datetime.now() print  datetime.datetime.now()  -  datetime.timedelta(days = 5 )

 

 

12、re模塊

　　re模塊用於對python的正則表達式的操做。

字符：

　　. 匹配除換行符之外的任意字符
　　\w 匹配字母或數字或下劃線或漢字
　　\s 匹配任意的空白符
　　\d 匹配數字
　　\b 匹配單詞的開始或結束
　　^ 匹配字符串的開始
　　$ 匹配字符串的結束

次數：

　　* 重複零次或更屢次
　　+ 重複一次或更屢次
　　? 重複零次或一次
　　{n} 重複n次
　　{n,} 重複n次或更屢次
　　{n,m} 重複n到m次

IP：
^(25[0-5]|2[0-4]\d|[0-1]?\d?\d)(\.(25[0-5]|2[0-4]\d|[0-1]?\d?\d)){3}$
手機號：
^1[3|4|5|8][0-9]\d{8}$

一、match(pattern, string, flags=0)

　　從起始位置開始根據模型去字符串中匹配指定內容，匹配單個

• 正則表達式
• 要匹配的字符串
• 標誌位，用於控制正則表達式的匹配方式

import re

obj = re.match('\d+', '123uuasf')
if obj:
    print obj.group()

二、search(pattern, string, flags=0)

　　根據模型去字符串中匹配指定內容，匹配單個

import re

obj = re.search('\d+', 'u123uu888asf')
if obj:
    print obj.group()

三、group和groups

a = "123abc456"
print re.search("([0-9]*)([a-z]*)([0-9]*)", a).group()

print re.search("([0-9]*)([a-z]*)([0-9]*)", a).group(0)
print re.search("([0-9]*)([a-z]*)([0-9]*)", a).group(1)
print re.search("([0-9]*)([a-z]*)([0-9]*)", a).group(2)

print re.search("([0-9]*)([a-z]*)([0-9]*)", a).groups()

四、findall(pattern, string, flags=0)

　　上述兩中方式均用於匹配單值，即：只能匹配字符串中的一個，若是想要匹配到字符串中全部符合條件的元素，則須要使用 findall。

import re

obj = re.findall('\d+', 'fa123uu888asf')
print obj

五、sub(pattern, repl, string, count=0, flags=0)

　　用於替換匹配的字符串

content = "123abc456"
new_content = re.sub('\d+', 'sb', content)
# new_content = re.sub('\d+', 'sb', content, 1)
print new_content

　　相比於str.replace功能更增強大

六、split(pattern, string, maxsplit=0, flags=0)

　　根據指定匹配進行分組

content = "'1 - 2 * ((60-30+1*(9-2*5/3+7/3*99/4*2998+10*568/14))-(-4*3)/(16-3*2) )'"
new_content = re.split('\*', content)
# new_content = re.split('\*', content, 1)
print new_content

content = "'1 - 2 * ((60-30+1*(9-2*5/3+7/3*99/4*2998+10*568/14))-(-4*3)/(16-3*2) )'"
new_content = re.split('[\+\-\*\/]+', content)
# new_content = re.split('\*', content, 1)
print new_content

inpp = '1-2*((60-30 +(-40-5)*(9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2))'
inpp = re.sub('\s*','',inpp)
new_content = re.split('\(([\+\-\*\/]?\d+[\+\-\*\/]?\d+){1}\)', inpp, 1)
print new_content

　　相比於str.split更增強大  

　　實例：計算器源碼

 

十3、random模塊

　　隨機數

1 2 3 4

mport random print  random.random() print  random.randint( 1 , 2 ) print  random.randrange( 1 , 10 )

　　隨機驗證碼實例：

1 2 3 4 5 6 7 8 9 10

import  random checkcode  =  '' for  i  in  range ( 4 ):      current  =  random.randrange( 0 , 4 )      if  current ! =  i:          temp  =  chr (random.randint( 65 , 90 ))      else :          temp  =  random.randint( 0 , 9 )      checkcode  + =  str (temp) print  checkcode