python經常使用模塊

sys模塊

sys模塊是與 python解釋器交互的一個接口javascript

?
1
2
3
4
5
6
7
8
9
import sys
sys.argv   #在命令行參數是一個空列表,在其餘中第一個列表元素中程序自己的路徑
sys.exit( 0 ) #退出程序,正常退出時exit(0)
sys.version  #獲取python解釋程序的版本信息
sys.path #返回模塊的搜索路徑,初始化時使用python PATH環境變量的值
sys.platform #返回操做系統平臺的名稱
sys.stdin    #輸入相關
sys.stdout  #輸出相關 
sys.stderror #錯誤相關
?
1
2
3
4
5
6
7
8
9
10
11
12
#模擬進度條
import sys,time
def view_bar(num, total):
     rate = float (num) / float (total)
     rate_num = int (rate * 100 )
     r = '\r%d%%' % (rate_num, ) #%% 表示一個%
     sys.stdout.write(r)
     sys.stdout.flush()
if __name__ = = '__main__' :
     for i in range ( 1 , 101 ):
         time.sleep( 0.3 )
         view_bar(i, 100 )

time與datetime模塊

在python中,一般3種時間的表示html

  • 時間戳(timestamp):一般來講,時間戳表示的是從1970年1月1日00:00:00開始按秒計算的偏移量。咱們運行「type(time.time())」,返回的是float類型。
  • 格式化的時間字符串(Format String)
  • 結構化的時間(struct_time):struct_time元組共有9個元素共九個元素:(年,月,日,時,分,秒,一年中第幾周,一年中第幾天,夏令時)
%y 兩位數的年份表示(00-99%Y 四位數的年份表示(000-9999%m 月份(01-12%d 月內中的一天(0-31%H 24小時制小時數(0-23%I 12小時制小時數(01-12%M 分鐘數(00=59%S 秒(00-59%a 本地簡化星期名稱
%A 本地完整星期名稱
%b 本地簡化的月份名稱
%B 本地完整的月份名稱
%c 本地相應的日期表示和時間表示
%j 年內的一天(001-366%p 本地A.M.或P.M.的等價符
%U 一年中的星期數(00-53)星期天爲星期的開始
%w 星期(0-6),星期天爲星期的開始
%W 一年中的星期數(00-53)星期一爲星期的開始
%x 本地相應的日期表示
%X 本地相應的時間表示
%Z 當前時區的名稱
%% %號自己
格式化時間的佔位符

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import time
print (time.time())
# 時間戳:1546273960.5988934
 
print (time.localtime())
#本地時區的struct_time  time.struct_time(tm_year=2019, tm_mon=1, tm_mday=1, tm_hour=0, tm_min=32, tm_sec=40, tm_wday=1, tm_yday=1, tm_isdst=0)
print (time.localtime( 1546273960.5988934 ))
#time.struct_time(tm_year=2019, tm_mon=1, tm_mday=1, tm_hour=0, tm_min=32, tm_sec=40, tm_wday=1, tm_yday=1, tm_isdst=0)
 
print (time.gmtime())
#UTC時區的struct_time   time.struct_time(tm_year=2018, tm_mon=12, tm_mday=31, tm_hour=16, tm_min=32, tm_sec=40, tm_wday=0, tm_yday=365, tm_isdst=0)
print (time.gmtime( 1546273960.5988934 ))
#UTC時區的struct_time   time.struct_time(tm_year=2018, tm_mon=12, tm_mday=31, tm_hour=16, tm_min=32, tm_sec=40, tm_wday=0, tm_yday=365, tm_isdst=0)
 
print (time.mktime(time.localtime()))
#將一個結構化struct_time轉化爲時間戳。#1546274313.0
 
print (time.strftime( "%Y-%m-%d %X" ))
#格式化的時間字符串:'2019-01-01 00:32:40'
print (time.strftime( "%Y-%m-%d %X" , time.localtime()))
#格式化的時間字符串:'2019-01-01 00:32:40'
 
print (time.strptime( '2018-08-08 16:37:06' , '%Y-%m-%d %X' ))
#把一個格式化時間字符串轉化爲struct_time。實際上它和strftime()是逆操做。 time.struct_time(tm_year=2018, tm_mon=8, tm_mday=8, tm_hour=16, tm_min=37, tm_sec=6, tm_wday=2, tm_yday=220, tm_isdst=-1)
 
time.sleep( 5 ) #線程推遲指定的時間運行,單位爲秒。

?
1
2
3
4
5
6
import time
print (time.asctime()) #Tue Jan  1 00:53:00 2019
print (time.asctime(time.localtime())) #Tue Jan  1 00:55:00 2019
 
print (time.ctime())  # Tue Jan  1 00:53:00 2019
print (time.ctime(time.time()))  # Tue Jan  1 00:53:00 2019
?
1
2
3
4
5
6
7
8
9
10
11
12
13
#時間加減
import datetime,time
 
print (datetime.datetime.now()) #返回 2019-01-01 00:56:58.771296
print (datetime.date.fromtimestamp(time.time()) )  # 時間戳直接轉成日期格式 2019-01-01
 
print (datetime.datetime.now() + datetime.timedelta( 3 )) #當前時間+3天  2019-01-04 00:56:58.771296
print (datetime.datetime.now() + datetime.timedelta( - 3 )) #當前時間-3天 2018-12-29 00:56:58.771296
print (datetime.datetime.now() + datetime.timedelta(hours = 3 )) #當前時間+3小時  2019-01-01 03:56:58.771296
print (datetime.datetime.now() + datetime.timedelta(minutes = 30 )) #當前時間+30分  2019-01-01 01:26:58.771296
 
c_time  = datetime.datetime.now()
print (c_time.replace(minute = 3 ,hour = 2 )) #時間替換  2019-01-01 02:03:58.771296

random模塊

?
1
2
3
4
5
6
7
8
9
10
11
12
13
#隨機生成
import random
 
print (random.random())  # (0,1)----float    大於0且小於1之間的小數
print (random.randint( 1 , 3 ))  # [1,3]    大於等於1且小於等於3之間的整數
print (random.randrange( 1 , 3 ))  # [1,3)    大於等於1且小於3之間的整數
print (random.choice([ 1 , '23' , [ 4 , 5 ]]))  # 1或者23或者[4,5]
print (random.sample([ 1 , '23' , [ 4 , 5 ]], 2 ))  # 列表元素任意2個組合
print (random.uniform( 1 , 3 ))  # 大於1小於3的小數,如1.927109612082716
 
item = [ 1 , 3 , 5 , 7 , 9 ]
random.shuffle(item)  # 打亂item的順序,至關於"洗牌"
print (item)
# 隨機生成驗證碼
import random
def make_code(n):
    res = ''
    for i in range(n):
        alf = chr(random.randint(65, 90))
        num = str(random.randint(0, 9))
        res += random.choice([alf, num])
    return res
print(make_code(6))

#########
import random, string
source = string.digits + string.ascii_lowercase + string.ascii_uppercase + string.ascii_letters
print(source)
#0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
print("".join(random.sample(source, 6)))

os模塊

os模塊是與操做系統交互的一個接口java

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
"""
os.getcwd() 獲取當前工做目錄,即當前python腳本工做的目錄路徑
os.chdir("dirname")  改變當前腳本工做目錄;至關於shell下cd
os.curdir  返回當前目錄: ('.')
os.pardir  獲取當前目錄的父目錄字符串名:('..')
os.makedirs('dirname1/dirname2')    可生成多層遞歸目錄
os.removedirs('dirname1')    若目錄爲空,則刪除,並遞歸到上一級目錄,如若也爲空,則刪除,依此類推
os.mkdir('dirname')    生成單級目錄;至關於shell中mkdir dirname
os.rmdir('dirname')    刪除單級空目錄,若目錄不爲空則沒法刪除,報錯;至關於shell中rmdir dirname
os.listdir('dirname')    列出指定目錄下的全部文件和子目錄,包括隱藏文件,並以列表方式打印
os.remove()  刪除一個文件
os.rename("oldname","newname")  重命名文件/目錄
os.stat('path/filename')  獲取文件/目錄信息
os.sep    輸出操做系統特定的路徑分隔符,win下爲"\\",Linux下爲"/"
os.linesep    輸出當前平臺使用的行終止符,win下爲"\t\n",Linux下爲"\n"
os.pathsep    輸出用於分割文件路徑的字符串 win下爲;,Linux下爲:
os.name    輸出字符串指示當前使用平臺。win->'nt'; Linux->'posix'
os.system("bash command")  運行shell命令,直接顯示
os.environ  獲取系統環境變量
os.path.abspath(path)  返回path規範化的絕對路徑
os.path.split(path)  將path分割成目錄和文件名二元組返回
os.path.dirname(path)  返回path的目錄。其實就是os.path.split(path)的第一個元素
os.path.basename(path)  返回path最後的文件名。如何path以/或\結尾,那麼就會返回空值。即os.path.split(path)的第二個元素
os.path.exists(path)  若是path存在,返回True;若是path不存在,返回False
os.path.isabs(path)  若是path是絕對路徑,返回True
os.path.isfile(path)  若是path是一個存在的文件,返回True。不然返回False
os.path.isdir(path)  若是path是一個存在的目錄,則返回True。不然返回False
os.path.join(path1[, path2[, ...]])  將多個路徑組合後返回,第一個絕對路徑以前的參數將被忽略
print(os.path.join("D:\\python\\wwww","aaa"))   #作路徑拼接用的 #D:\python\wwww\aaa
print(os.path.join(r"D:\python\wwww","aaa"))   #作路徑拼接用的 #D:\python\wwww\aaa
os.path.getatime(path)  返回path所指向的文件或者目錄的最後存取時間
os.path.getmtime(path)  返回path所指向的文件或者目錄的最後修改時間
os.path.getsize(path) 返回path的大小
在Linux和Mac平臺上,該函數會原樣返回path,在windows平臺上會將路徑中全部字符轉換爲小寫,並將全部斜槓轉換爲飯斜槓。
>>> os.path.normcase('c:/windows\\system32\\')  
'c:\\windows\\system32\\'  
    
 
規範化路徑,如..和/
>>> os.path.normpath('c://windows\\System32\\../Temp/')  
'c:\\windows\\Temp'  
 
>>> a='/Users/jieli/test1/\\\a1/\\\\aa.py/../..'
>>> print(os.path.normpath(a))
/Users/jieli/test1
os路徑處理
#方式一:推薦使用
import os
#具體應用
import os,sys
possible_topdir = os.path.normpath(os.path.join(
     os.path.abspath(__file__),
     os.pardir, #上一級
     os.pardir,
     os.pardir
))
sys.path.insert(0,possible_topdir)
 
 
#方式二:不推薦使用
os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
 
"""

json & pickle序列化模塊

eval內置方法能夠將一個字符串轉成python對象,不過,eval方法是有侷限性的,對於普通的數據類型,json.loads和eval都能用,但遇到特殊類型的時候,eval就無論用了,因此eval的重點仍是一般用來執行一個字符串表達式,並返回表達式的值。node

1、什麼是序列化

咱們把對象(變量)從內存中變成可存儲或傳輸的過程稱之爲序列化,在Python中叫pickling,在其餘語言中也被稱之爲serialization,marshalling,flattening等等,都是一個意思。python

2、爲何要序列化

  • 持久保存狀態
  • 跨平臺數據交互

3、什麼是反序列化

把變量內容從序列化的對象從新讀到內存裏稱之爲反序列化git

  • 若是咱們要在不一樣的編程語言之間傳遞對象,就必須把對象序列化爲標準格式,好比XML,但更好的方法是序列化爲JSON,由於JSON表示出來就是一個字符串,能夠被全部語言讀取,也能夠方便地存儲到磁盤或者經過網絡傳輸。
  • JSON不只是標準格式,而且比XML更快,並且能夠直接在Web頁面中讀取,很是方便。
  • JSON表示的對象就是標準的JavaScript語言的對象,JSON和Python內置的數據類型對應以下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
"""
dumps,loads
"""
import json
 
dic = { 'name' : 'tom' , 'age' : 18 , 'sex' : 'male' }
print ( type (dic))  # <class 'dict'>
 
j = json.dumps(dic)
print ( type (j))  # <class 'str'>
 
f = open ( '序列化對象' , 'w' )
f.write(j)  #等價於json.dump(dic,f)
f.close()
#反序列化
import json
f = open ( '序列化對象' )
data = json.loads(f.read())  # 等價於data=json.load(f)
 
 
"""
不管數據是怎樣建立的,只要知足json格式,就能夠json.loads出來,不必定非要dumps的數據才能loads
"""
import json
dct = "{'1':111}" #報錯,json 不認單引號
dct = str ({ "1" : "111" }) #報錯,由於生成的數據仍是單引號:{'1': '111'}
print (dct)  #{'1': '111'}
 
dct = str ( '{"1":"111"}' ) #正確寫法
dct = '{"1":"111"}' #正確寫法
print (json.loads(dct))

4、Pickle

Pickle的問題和全部其餘編程語言特有的序列化問題同樣,就是它只能用於Python,支持python全部的數據類型,有可能不一樣版本的Python彼此都不兼容,所以,只能用Pickle保存那些不重要的數據,不能成功地反序列化也不要緊。算法

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import pickle
dic = { 'name' : 'tom' , 'age' : 23 , 'sex' : 'male' }
print ( type (dic))  # <class 'dict'>
 
j = pickle.dumps(dic)
print ( type (j))  # <class 'bytes'>
 
f = open ( '序列化對象_pickle' , 'wb' # 注意是w是寫入str,wb是寫入bytes,j是'bytes'
f.write(j)  #-等價於pickle.dump(dic,f)
 
f.close()
 
# 反序列化
import pickle
f = open ( '序列化對象_pickle' , 'rb' )
data = pickle.loads(f.read())  # 等價於data=pickle.load(f)
print (data[ 'age' ])

shelve模塊

shelve模塊比pickle模塊簡單,只有一個open函數,返回相似字典的對象,可讀可寫;key必須爲字符串,而值能夠是python所支持的數據類型shell

?
1
2
3
4
5
6
7
8
import shelve
f = shelve. open (r 'sheve.txt' )
#存
# f['stu1_info']={'name':'rose','age':18,'hobby':['sing','talk','swim']}
# f['stu2_info']={'name':'tom','age':53}
#取
print (f[ 'stu1_info' ][ 'hobby' ])
f.close()

xml模塊

xml是實現不一樣語言或程序之間進行數據交換的協議,跟json差很少,但json使用起來更簡單,不過,古時候,在json還沒誕生的黑暗年代,你們只能選擇用xml呀,至今不少傳統公司如金融行業的不少系統的接口還主要是xml。編程

xmltest.xml
#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import xml.etree.ElementTree as ET
 
"""
############ 解析方式一 ############
str_xml = open('xmltest.xml', 'r').read()# 打開文件,讀取XML內容
root = ET.XML(str_xml)# 將字符串解析成xml特殊對象,root代指xml文件的根節點
print(root.tag)#獲取根節點的標籤名
"""
############ 解析方式二 ############
tree = ET.parse("xmltest.xml")# 直接解析xml文件
root = tree.getroot()# 獲取xml文件的根節點
print(root.tag)#獲取根節點的標籤名
 
# 遍歷xml文檔
for child in root:
    print('========>', child.tag, child.attrib, child.attrib['name'])
    for i in child:
        print(i.tag, i.attrib, i.text)   #標籤 屬性 文本
 
# 只遍歷year 節點
for node in root.iter('year'):
    print(node.tag, node.text)
# ---------------------------------------
 
import xml.etree.ElementTree as ET
 
tree = ET.parse("xmltest.xml")
root = tree.getroot()
 
# 修改
for node in root.iter('year'):
    new_year = int(node.text) + 1
    node.text = str(new_year)
    node.set('updated', 'yes')
    node.set('version', '1.0')
tree.write('test.xml')
 
# 刪除node
for country in root.findall('country'):
    rank = int(country.find('rank').text)
    if rank > 50:
        root.remove(country)
 
tree.write('output.xml')
 
"""
#在country內添加(append)節點year2
"""
 
import xml.etree.ElementTree as ET
tree = ET.parse("xmltest.xml")
root=tree.getroot()
for country in root.findall('country'):
    for year in country.findall('year'):
        if int(year.text) > 2000:
            year2=ET.Element('year2')
            year2.text='新年'
            year2.attrib={'update':'yes'}
            country.append(year2) #往country節點下添加子節點
 
tree.write('a.xml.swap')
 
 
"""
#本身建立xml文檔
"""
 
import xml.etree.ElementTree as ET
 
new_xml = ET.Element("namelist")
name = ET.SubElement(new_xml, "name", attrib={"enrolled": "yes"})
age = ET.SubElement(name, "age", attrib={"checked": "no"})
sex = ET.SubElement(name, "sex")
sex.text = '33'
name2 = ET.SubElement(new_xml, "name", attrib={"enrolled": "no"})
age = ET.SubElement(name2, "age")
age.text = '19'
 
et = ET.ElementTree(new_xml)  # 生成文檔對象
et.write("test.xml", encoding="utf-8", xml_declaration=True)
 
ET.dump(new_xml)  # 打印生成的格式
xml操做
  1 class Element:
  2     """An XML element.
  3 
  4     This class is the reference implementation of the Element interface.
  5 
  6     An element's length is its number of subelements.  That means if you
  7     want to check if an element is truly empty, you should check BOTH
  8     its length AND its text attribute.
  9 
 10     The element tag, attribute names, and attribute values can be either
 11     bytes or strings.
 12 
 13     *tag* is the element name.  *attrib* is an optional dictionary containing
 14     element attributes. *extra* are additional element attributes given as
 15     keyword arguments.
 16 
 17     Example form:
 18         <tag attrib>text<child/>...</tag>tail
 19 
 20     """
 21 
 22     當前節點的標籤名
 23     tag = None
 24     """The element's name."""
 25 
 26     當前節點的屬性
 27 
 28     attrib = None
 29     """Dictionary of the element's attributes."""
 30 
 31     當前節點的內容
 32     text = None
 33     """
 34     Text before first subelement. This is either a string or the value None.
 35     Note that if there is no text, this attribute may be either
 36     None or the empty string, depending on the parser.
 37 
 38     """
 39 
 40     tail = None
 41     """
 42     Text after this element's end tag, but before the next sibling element's
 43     start tag.  This is either a string or the value None.  Note that if there
 44     was no text, this attribute may be either None or an empty string,
 45     depending on the parser.
 46 
 47     """
 48 
 49     def __init__(self, tag, attrib={}, **extra):
 50         if not isinstance(attrib, dict):
 51             raise TypeError("attrib must be dict, not %s" % (
 52                 attrib.__class__.__name__,))
 53         attrib = attrib.copy()
 54         attrib.update(extra)
 55         self.tag = tag
 56         self.attrib = attrib
 57         self._children = []
 58 
 59     def __repr__(self):
 60         return "<%s %r at %#x>" % (self.__class__.__name__, self.tag, id(self))
 61 
 62     def makeelement(self, tag, attrib):
 63         建立一個新節點
 64         """Create a new element with the same type.
 65 
 66         *tag* is a string containing the element name.
 67         *attrib* is a dictionary containing the element attributes.
 68 
 69         Do not call this method, use the SubElement factory function instead.
 70 
 71         """
 72         return self.__class__(tag, attrib)
 73 
 74     def copy(self):
 75         """Return copy of current element.
 76 
 77         This creates a shallow copy. Subelements will be shared with the
 78         original tree.
 79 
 80         """
 81         elem = self.makeelement(self.tag, self.attrib)
 82         elem.text = self.text
 83         elem.tail = self.tail
 84         elem[:] = self
 85         return elem
 86 
 87     def __len__(self):
 88         return len(self._children)
 89 
 90     def __bool__(self):
 91         warnings.warn(
 92             "The behavior of this method will change in future versions.  "
 93             "Use specific 'len(elem)' or 'elem is not None' test instead.",
 94             FutureWarning, stacklevel=2
 95             )
 96         return len(self._children) != 0 # emulate old behaviour, for now
 97 
 98     def __getitem__(self, index):
 99         return self._children[index]
100 
101     def __setitem__(self, index, element):
102         # if isinstance(index, slice):
103         #     for elt in element:
104         #         assert iselement(elt)
105         # else:
106         #     assert iselement(element)
107         self._children[index] = element
108 
109     def __delitem__(self, index):
110         del self._children[index]
111 
112     def append(self, subelement):
113         爲當前節點追加一個子節點
114         """Add *subelement* to the end of this element.
115 
116         The new element will appear in document order after the last existing
117         subelement (or directly after the text, if it's the first subelement),
118         but before the end tag for this element.
119 
120         """
121         self._assert_is_element(subelement)
122         self._children.append(subelement)
123 
124     def extend(self, elements):
125         爲當前節點擴展 n 個子節點
126         """Append subelements from a sequence.
127 
128         *elements* is a sequence with zero or more elements.
129 
130         """
131         for element in elements:
132             self._assert_is_element(element)
133         self._children.extend(elements)
134 
135     def insert(self, index, subelement):
136         在當前節點的子節點中插入某個節點,即:爲當前節點建立子節點,而後插入指定位置
137         """Insert *subelement* at position *index*."""
138         self._assert_is_element(subelement)
139         self._children.insert(index, subelement)
140 
141     def _assert_is_element(self, e):
142         # Need to refer to the actual Python implementation, not the
143         # shadowing C implementation.
144         if not isinstance(e, _Element_Py):
145             raise TypeError('expected an Element, not %s' % type(e).__name__)
146 
147     def remove(self, subelement):
148         在當前節點在子節點中刪除某個節點
149         """Remove matching subelement.
150 
151         Unlike the find methods, this method compares elements based on
152         identity, NOT ON tag value or contents.  To remove subelements by
153         other means, the easiest way is to use a list comprehension to
154         select what elements to keep, and then use slice assignment to update
155         the parent element.
156 
157         ValueError is raised if a matching element could not be found.
158 
159         """
160         # assert iselement(element)
161         self._children.remove(subelement)
162 
163     def getchildren(self):
164         獲取全部的子節點(廢棄)
165         """(Deprecated) Return all subelements.
166 
167         Elements are returned in document order.
168 
169         """
170         warnings.warn(
171             "This method will be removed in future versions.  "
172             "Use 'list(elem)' or iteration over elem instead.",
173             DeprecationWarning, stacklevel=2
174             )
175         return self._children
176 
177     def find(self, path, namespaces=None):
178         獲取第一個尋找到的子節點
179         """Find first matching element by tag name or path.
180 
181         *path* is a string having either an element tag or an XPath,
182         *namespaces* is an optional mapping from namespace prefix to full name.
183 
184         Return the first matching element, or None if no element was found.
185 
186         """
187         return ElementPath.find(self, path, namespaces)
188 
189     def findtext(self, path, default=None, namespaces=None):
190         獲取第一個尋找到的子節點的內容
191         """Find text for first matching element by tag name or path.
192 
193         *path* is a string having either an element tag or an XPath,
194         *default* is the value to return if the element was not found,
195         *namespaces* is an optional mapping from namespace prefix to full name.
196 
197         Return text content of first matching element, or default value if
198         none was found.  Note that if an element is found having no text
199         content, the empty string is returned.
200 
201         """
202         return ElementPath.findtext(self, path, default, namespaces)
203 
204     def findall(self, path, namespaces=None):
205         獲取全部的子節點
206         """Find all matching subelements by tag name or path.
207 
208         *path* is a string having either an element tag or an XPath,
209         *namespaces* is an optional mapping from namespace prefix to full name.
210 
211         Returns list containing all matching elements in document order.
212 
213         """
214         return ElementPath.findall(self, path, namespaces)
215 
216     def iterfind(self, path, namespaces=None):
217         獲取全部指定的節點,並建立一個迭代器(能夠被for循環)
218         """Find all matching subelements by tag name or path.
219 
220         *path* is a string having either an element tag or an XPath,
221         *namespaces* is an optional mapping from namespace prefix to full name.
222 
223         Return an iterable yielding all matching elements in document order.
224 
225         """
226         return ElementPath.iterfind(self, path, namespaces)
227 
228     def clear(self):
229         清空節點
230         """Reset element.
231 
232         This function removes all subelements, clears all attributes, and sets
233         the text and tail attributes to None.
234 
235         """
236         self.attrib.clear()
237         self._children = []
238         self.text = self.tail = None
239 
240     def get(self, key, default=None):
241         獲取當前節點的屬性值
242         """Get element attribute.
243 
244         Equivalent to attrib.get, but some implementations may handle this a
245         bit more efficiently.  *key* is what attribute to look for, and
246         *default* is what to return if the attribute was not found.
247 
248         Returns a string containing the attribute value, or the default if
249         attribute was not found.
250 
251         """
252         return self.attrib.get(key, default)
253 
254     def set(self, key, value):
255         爲當前節點設置屬性值
256         """Set element attribute.
257 
258         Equivalent to attrib[key] = value, but some implementations may handle
259         this a bit more efficiently.  *key* is what attribute to set, and
260         *value* is the attribute value to set it to.
261 
262         """
263         self.attrib[key] = value
264 
265     def keys(self):
266         獲取當前節點的全部屬性的 key
267 
268         """Get list of attribute names.
269 
270         Names are returned in an arbitrary order, just like an ordinary
271         Python dict.  Equivalent to attrib.keys()
272 
273         """
274         return self.attrib.keys()
275 
276     def items(self):
277         獲取當前節點的全部屬性值,每一個屬性都是一個鍵值對
278         """Get element attributes as a sequence.
279 
280         The attributes are returned in arbitrary order.  Equivalent to
281         attrib.items().
282 
283         Return a list of (name, value) tuples.
284 
285         """
286         return self.attrib.items()
287 
288     def iter(self, tag=None):
289         在當前節點的子孫中根據節點名稱尋找全部指定的節點,並返回一個迭代器(能夠被for循環)。
290         """Create tree iterator.
291 
292         The iterator loops over the element and all subelements in document
293         order, returning all elements with a matching tag.
294 
295         If the tree structure is modified during iteration, new or removed
296         elements may or may not be included.  To get a stable set, use the
297         list() function on the iterator, and loop over the resulting list.
298 
299         *tag* is what tags to look for (default is to return all elements)
300 
301         Return an iterator containing all the matching elements.
302 
303         """
304         if tag == "*":
305             tag = None
306         if tag is None or self.tag == tag:
307             yield self
308         for e in self._children:
309             yield from e.iter(tag)
310 
311     # compatibility
312     def getiterator(self, tag=None):
313         # Change for a DeprecationWarning in 1.4
314         warnings.warn(
315             "This method will be removed in future versions.  "
316             "Use 'elem.iter()' or 'list(elem.iter())' instead.",
317             PendingDeprecationWarning, stacklevel=2
318         )
319         return list(self.iter(tag))
320 
321     def itertext(self):
322         在當前節點的子孫中根據節點名稱尋找全部指定的節點的內容,並返回一個迭代器(能夠被for循環)。
323         """Create text iterator.
324 
325         The iterator loops over the element and all subelements in document
326         order, returning all inner text.
327 
328         """
329         tag = self.tag
330         if not isinstance(tag, str) and tag is not None:
331             return
332         if self.text:
333             yield self.text
334         for e in self:
335             yield from e.itertext()
336             if e.tail:
337                 yield e.tail
xml的語法功能

xml教程的:點擊json

configparser模塊

configparser用於處理特定格式的文件,本質上是利用open來操做文件,主要用於配置文件分析用的

該模塊適用於配置文件的格式與windows ini文件相似,能夠包含一個或多個節(section),每一個節能夠有多個參數(鍵=值)。

配置文件以下
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
"""
讀取
"""
import configparser
 
config = configparser.ConfigParser()
config.read( 'a.cfg' )
 
#查看全部的標題
res = config.sections() #['section1', 'section2']
print (res)
 
#查看標題section1下全部key=value的key
options = config.options( 'section1' )
print (options) #['k1', 'k2', 'user', 'age', 'is_admin', 'salary']
 
#查看標題section1下全部key=value的(key,value)格式
item_list = config.items( 'section1' )
print (item_list) #[('k1', 'v1'), ('k2', 'v2'), ('user', 'egon'), ('age', '18'), ('is_admin', 'true'), ('salary', '31')]
 
#查看標題section1下user的值=>字符串格式
val = config.get( 'section1' , 'user' )
print (val) #egon
 
#查看標題section1下age的值=>整數格式
val1 = config.getint( 'section1' , 'age' )
print (val1) #18
 
#查看標題section1下is_admin的值=>布爾值格式
val2 = config.getboolean( 'section1' , 'is_admin' )
print (val2) #True
 
#查看標題section1下salary的值=>浮點型格式
val3 = config.getfloat( 'section1' , 'salary' )
print (val3) #31.0
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
"""
改寫
"""
import configparser
 
config = configparser.ConfigParser()
config.read( 'a.cfg' ,encoding = 'utf-8' )
 
 
#刪除整個標題section2
config.remove_section( 'section2' )
 
#刪除標題section1下的某個k1和k2
config.remove_option( 'section1' , 'k1' )
config.remove_option( 'section1' , 'k2' )
 
#判斷是否存在某個標題
print (config.has_section( 'section1' ))
 
#判斷標題section1下是否有user
print (config.has_option( 'section1' ,''))
 
 
#添加一個標題
config.add_section( 'egon' )
 
#在標題egon下添加name=egon,age=18的配置
config. set ( 'egon' , 'name' , 'egon' )
# config.set('egon','age',18) #報錯,必須是字符串
 
 
#最後將修改的內容寫入文件,完成最終的修改
config.write( open ( 'a.cfg' , 'w' ))

  

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
"""
基於上述方法添加一個ini文檔
"""
import configparser
 
config = configparser.ConfigParser()
config[ "DEFAULT" ] = { 'ServerAliveInterval' : '45' ,
                      'Compression' : 'yes' ,
                      'CompressionLevel' : '9' }
 
config[ 'bitbucket.org' ] = {}
config[ 'bitbucket.org' ][ 'User' ] = 'hg'
config[ 'topsecret.server.com' ] = {}
topsecret = config[ 'topsecret.server.com' ]
topsecret[ 'Host Port' ] = '50022'  # mutates the parser
topsecret[ 'ForwardX11' ] = 'no'  # same here
config[ 'DEFAULT' ][ 'ForwardX11' ] = 'yes'
with open ( 'example.ini' , 'w' ) as configfile:
     config.write(configfile)

hashlib模塊

hash是一種算法(3.x裏代替了md5模塊和sha模塊,主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ,MD5 算法),該算法接受傳入的內容,通過運算獲得一串hash值

1、hash值的特色是

  • 只要傳入的內容同樣,獲得的hash值必然同樣
  • 不能由hash值返解成內容,不該該在網絡傳輸明文密碼
  • 只要使用的hash算法不變,不管校驗的內容有多大,獲得的hash值長度是固定的
?
1
2
3
4
5
6
7
8
9
10
11
12
'''
注意:把一段很長的數據update屢次,與一次update這段長數據,獲得的結果同樣
'''
import hashlib
m = hashlib.md5()  # m=hashlib.sha256()
m.update( 'hello' .encode( 'utf8' ))
print (m.hexdigest())  # 5d41402abc4b2a76b9719d911017c592
m.update( 'world' .encode( 'utf8' ))
print (m.hexdigest())  # fc5e038d38a57032085441e7fe7010b0
m2 = hashlib.md5()
m2.update( 'helloworld' .encode( 'utf8' ))
print (m2.hexdigest())  # fc5e038d38a57032085441e7fe7010b0

2、添加自定義key(加鹽)

以上加密算法雖然依然很是厲害,但時候存在缺陷,即:經過撞庫能夠反解。因此,有必要對加密算法中添加自定義key再來作加密。

?
1
2
3
4
5
6
7
"""
對加密算法中添加自定義key再來作加密
"""
import hashlib
hash = hashlib.sha256( '898oaFs09f' .encode( 'utf8' ))
hash .update( 'alvin' .encode( 'utf8' ))
print ( hash .hexdigest())  # e79e68f070cdedcfe63eaf1a2e92c83b4cfb1b5c6bc452d214c1b7e77cdfd1c7
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
"""
模擬撞庫破解密碼
"""
import hashlib
passwds = [
     'tom3714' ,
     'tom1313' ,
     'tom94139413' ,
     'tom123456' ,
     '1234567890' ,
     'a123sdsdsa' ,
     ]
def make_passwd_dic(passwds):
     dic = {}
     for passwd in passwds:
         m = hashlib.md5()
         m.update(passwd.encode( 'utf-8' ))
         dic[passwd] = m.hexdigest()
     return dic
 
def break_code(cryptograph,passwd_dic):
     for k,v in passwd_dic.items():
         if v = = cryptograph:
             print ( '密碼是===>\033[46m%s\033[0m' % k)
 
cryptograph = 'f19b50d5e3433e65e6879d0e66632664'
break_code(cryptograph,make_passwd_dic(passwds))

3、hmac模塊

python 還有一個 hmac 模塊,它內部對咱們建立 key 和 內容 進行進一步的處理而後再加密:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import hmac
h = hmac.new( 'alvin' .encode( 'utf8' ))
h.update( 'hello' .encode( 'utf8' ))
print (h.hexdigest()) #320df9832eab4c038b6c1d7ed73a5940
 
"""
注意!注意!注意
#要想保證hmac最終結果一致,必須保證:
#1:hmac.new括號內指定的初始key同樣
#2:不管update多少次,校驗的內容累加到一塊兒是同樣的內容
"""
 
import hmac
 
h1 = hmac.new(b 'egon' )
h1.update(b 'hello' )
h1.update(b 'world' )
print (h1.hexdigest())
 
h2 = hmac.new(b 'egon' )
h2.update(b 'helloworld' )
print (h2.hexdigest())
 
h3 = hmac.new(b 'egonhelloworld' )
print (h3.hexdigest())
 
'''
f1bf38d054691688f89dcd34ac3c27f2
f1bf38d054691688f89dcd34ac3c27f2
bcca84edd9eeb86f30539922b28f3981
'''

shutil模塊

shutil是一個高級的文件、文件夾、壓縮包處理模塊。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
import shutil
"""
高級的 文件、文件夾、壓縮包 處理模塊
shutil.copyfileobj(fsrc, fdst[, length])
將文件內容拷貝到另外一個文件中
 
shutil.copyfile(src, dst)
拷貝文件,
 
shutil.copymode(src, dst)
僅拷貝權限。內容、組、用戶均不變
 
shutil.copystat(src, dst)
僅拷貝狀態的信息,包括:mode bits, atime, mtime, flags
 
shutil.copy(src, dst)
拷貝文件和權限
 
shutil.copy2(src, dst)
拷貝文件和狀態信息
 
shutil.ignore_patterns(*patterns)
shutil.copytree(src, dst, symlinks=False, ignore=None)
遞歸的去拷貝文件夾
 
shutil.move(src, dst)
遞歸的去移動文件,它相似mv命令,其實就是重命名。
"""
 
shutil.copyfileobj( open ( 'xmltest.xml' , 'r' ), open ( 'new.xml' , 'w' ))
shutil.copyfile( 'b.txt' , 'bnew.txt' ) #目標文件無需存在
shutil.copymode( 'f1.log' , 'f2.log' ) #目標文件必須存在
shutil.copystat( 'f1.log' , 'f2.log' ) #目標文件必須存在
shutil.copy( 'f1.log' , 'f2.log' )
shutil.copy2( 'f1.log' , 'f2.log' )
shutil.copytree( 'folder1' , 'folder2' , ignore = shutil.ignore_patterns( '*.pyc' , 'tmp*' )) #目標目錄不能存在,注意對folder2目錄父級目錄要有可寫權限,ignore的意思是排除
 
'''
一般的拷貝都把軟鏈接拷貝成硬連接,即對待軟鏈接來講,建立新的文件
'''
#拷貝軟鏈接
shutil.copytree( 'f1' , 'f2' , symlinks = True , ignore = shutil.ignore_patterns( '*.pyc' , 'tmp*' ))
 
shutil.move( 'folder1' , 'folder3' )
 
"""
shutil.make_archive(base_name, format,...)
建立壓縮包並返回文件路徑,例如:zip、tar
建立壓縮包並返回文件路徑,例如:zip、tar
base_name: 壓縮包的文件名,也能夠是壓縮包的路徑。只是文件名時,則保存至當前目錄,不然保存至指定路徑,
如 data_bak                       =>保存至當前路徑
如:/tmp/data_bak =>保存至/tmp/
format: 壓縮包種類,「zip」, 「tar」, 「bztar」,「gztar」
root_dir:   要壓縮的文件夾路徑(默認當前目錄)
owner:  用戶,默認當前用戶
group:  組,默認當前組
logger: 用於記錄日誌,一般是logging.Logger對象
"""
 
# 將 /data 下的文件打包放置當前程序目錄
import shutil
ret = shutil.make_archive( "data_bak" , 'gztar' , root_dir = '/data' )
# 將 /data下的文件打包放置 /tmp/目錄
import shutil
ret = shutil.make_archive( "/tmp/data_bak" , 'gztar' , root_dir = '/data' )
 
 
#shutil 對壓縮包的處理是調用 ZipFile 和 TarFile 兩個模塊來進行的,詳細:
 
#zipfile壓縮解壓縮
import zipfile
# 壓縮
z = zipfile.ZipFile( 'laxi.zip' , 'w' )
z.write( 'a.log' )
z.write( 'data.data' )
z.close()
 
# 解壓
z = zipfile.ZipFile( 'laxi.zip' , 'r' )
z.extractall(path = '.' )
z.close()
 
 
#tarfile壓縮解壓縮
import tarfile
 
# 壓縮
t = tarfile. open ( '/tmp/egon.tar' , 'w' )
t.add( '/test1/a.py' ,arcname = 'a.bak' )
t.add( '/test1/b.py' ,arcname = 'b.bak' )
t.close()
 
# 解壓
t = tarfile. open ( '/tmp/egon.tar' , 'r' )
t.extractall( '/egon' )
t.close()

suprocess模塊

suprocess模塊的:官方文檔

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
import  subprocess
"""
Linux下:
"""
# obj = subprocess.Popen('ls', shell=True,
#                        stdout=subprocess.PIPE,
#                        stderr=subprocess.PIPE)
# stdout = obj.stdout.read()
# stderr = obj.stderr.read()
#
# #=========================
# res1=subprocess.Popen('ls',shell=True,stdout=subprocess.PIPE)
# res=subprocess.Popen('grep txt$',shell=True,stdin=res1.stdout,
#                  stdout=subprocess.PIPE)
# print(res.stdout.read().decode('utf-8'))
#
# #等同於上面,可是上面的優點在於,一個數據流能夠和另一個數據流交互,能夠經過爬蟲獲得結果真後交給grep
# res1=subprocess.Popen('ls |grep txt$',shell=True,stdout=subprocess.PIPE)
# print(res1.stdout.read().decode('utf-8'))
 
"""
windows下:
# dir | findstr 'App*'
# dir | findstr 'App$'
"""
 
import subprocess
res1 = subprocess.Popen(r 'dir C:\Windows' ,shell = True ,stdout = subprocess.PIPE)
res = subprocess.Popen( 'findstr App*' ,shell = True ,stdin = res1.stdout,
                  stdout = subprocess.PIPE)
 
print (res.stdout.read().decode( 'gbk' )) #subprocess使用當前系統默認編碼,獲得結果爲bytes類型,在windows下須要用gbk解碼

logging模塊

logging模塊的:官方文檔

Python的logging模塊提供了通用的日誌系統,能夠方便第三方模塊或者是應用使用。這個模塊提供不一樣的日誌級別,並能夠採用不一樣的方式記錄日誌,好比文件,HTTP GET/POST,SMTP,Socket等,甚至能夠本身實現具體的日誌記錄方式。

1、日誌級別

?
1
2
3
4
5
6
CRITICAL = 50 #FATAL = CRITICAL
ERROR = 40
WARNING = 30 #WARN = WARNING
INFO = 20
DEBUG = 10
NOTSET = 0 #不設置

2、默認級別爲warning,默認打印到終端

?
1
2
3
4
5
6
7
8
9
10
11
12
13
import logging
 
logging.debug( '調試debug' )
logging.info( '消息info' )
logging.warning( '警告warn' )
logging.error( '錯誤error' )
logging.critical( '嚴重critical' )
 
'''
WARNING:root:警告warn
ERROR:root:錯誤error
CRITICAL:root:嚴重critical
'''

3、爲logging模塊指定全局配置,針對全部logger有效,控制打印到文件中

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
"""
可在logging.basicConfig()函數中可經過具體參數來更改logging模塊默認行爲,可用參數有
filename:用指定的文件名建立FiledHandler,這樣日誌會被存儲在指定的文件中。
filemode:文件打開方式,在指定了filename時使用這個參數,默認值爲「a」還可指定爲「w」。
format:指定handler使用的日誌顯示格式。
datefmt:指定日期時間格式。
level:設置rootlogger(後邊會講解具體概念)的日誌級別
stream:用指定的stream建立StreamHandler。能夠指定輸出到sys.stderr,sys.stdout或者文件,默認爲sys.stderr。若同時列出了filename和stream兩個參數,則stream參數會被忽略。
 
format參數中可能用到的格式化串:
%(name)s Logger的名字
%(levelno)s 數字形式的日誌級別
%(levelname)s 文本形式的日誌級別
%(pathname)s 調用日誌輸出函數的模塊的完整路徑名,可能沒有
%(filename)s 調用日誌輸出函數的模塊的文件名
%(module)s 調用日誌輸出函數的模塊名
%(funcName)s 調用日誌輸出函數的函數名
%(lineno)d 調用日誌輸出函數的語句所在的代碼行
%(created)f 當前時間,用UNIX標準的表示時間的浮 點數表示
%(relativeCreated)d 輸出日誌信息時的,自Logger建立以 來的毫秒數
%(asctime)s 字符串形式的當前時間。默認格式是 「2003-07-08 16:49:45,896」。逗號後面的是毫秒
%(thread)d 線程ID。可能沒有
%(threadName)s 線程名。可能沒有
%(process)d 進程ID。可能沒有
%(message)s用戶輸出的消息
"""
#========使用
import logging
logging.basicConfig(filename = 'access.log' ,
                     format = '%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s' ,
                     datefmt = '%Y-%m-%d %H:%M:%S %p' ,
                     level = 10 )
 
logging.debug( '調試debug' )
logging.info( '消息info' )
logging.warning( '警告warn' )
logging.error( '錯誤error' )
logging.critical( '嚴重critical' )
 
# #========結果
# access.log內容:
# 2019-01-14 18:53:32 PM - root - DEBUG -1:  調試debug
# 2019-01-14 18:53:32 PM - root - INFO -1:  消息info
# 2019-01-14 18:53:32 PM - root - WARNING -1:  警告warn
# 2019-01-14 18:53:32 PM - root - ERROR -1:  錯誤error
# 2019-01-14 18:53:32 PM - root - CRITICAL -1:  嚴重critical
 
# part2: 能夠爲logging模塊指定模塊級的配置,即全部logger的配置

4、logging模塊的Formatter,Handler,Logger,Filter對象

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
"""
logger:產生日誌的對象
Filter:過濾日誌的對象
Handler:接收日誌而後控制打印到不一樣的地方,FileHandler用來打印到文件中,StreamHandler用來打印到終端
Formatter對象:能夠定製不一樣的日誌格式對象,而後綁定給不一樣的Handler對象使用,以此來控制不一樣的Handler的日誌格式
"""
import logging
 
#一、logger對象:負責產生日誌,而後交給Filter過濾,而後交給不一樣的Handler輸出
logger = logging.getLogger(__file__)
 
#二、Filter對象:不經常使用,略
 
#三、Handler對象:接收logger傳來的日誌,而後控制輸出
h1 = logging.FileHandler( 't1.log' ) #打印到文件
h2 = logging.FileHandler( 't2.log' ) #打印到文件
# h3=logging.StreamHandler() #打印到終端
 
#四、Formatter對象:日誌格式
formmater1 = logging.Formatter( '%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s' ,
                     datefmt = '%Y-%m-%d %H:%M:%S %p' ,)
 
formmater2 = logging.Formatter( '%(asctime)s :  %(message)s' ,
                     datefmt = '%Y-%m-%d %H:%M:%S %p' ,)
 
formmater3 = logging.Formatter( '%(name)s %(message)s' ,)
 
 
#五、爲Handler對象綁定格式
h1.setFormatter(formmater1)
h2.setFormatter(formmater2)
# h3.setFormatter(formmater3)
 
#六、將Handler添加給logger並設置日誌級別
logger.addHandler(h1)
logger.addHandler(h2)
# logger.addHandler(h3)
logger.setLevel( 10 )
 
#七、測試
logger.debug( 'debug' )
logger.info( 'info' )
logger.warning( 'warning' )
logger.error( 'error' )
logger.critical( 'critical' )

5、Logger與Handler的級別(logger是第一級過濾,而後才能到handler)

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import logging
form = logging.Formatter( '%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s' ,
                     datefmt = '%Y-%m-%d %H:%M:%S %p' ,)
 
ch = logging.StreamHandler()
ch.setFormatter(form)
# ch.setLevel(10)
ch.setLevel( 20 )
 
log1 = logging.getLogger( 'root' )
# log1.setLevel(20)
log1.setLevel( 40 )
log1.addHandler(ch)
 
log1.debug( 'log1 debug' )
log1.info( 'log1 info' )
log1.warning( 'log1 warning' )
log1.error( 'log1 error' )
log1.critical( 'log1 critical' )
 
"""
logger是第一級過濾,而後才能到handler
 
2019-01-14 19:43:04 PM - root - ERROR -1:  log1 error
2019-01-14 19:43:04 PM - root - CRITICAL -1:  log1 critical
"""

6、實例代碼

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
#core/logger.py
import os
import logging
from conf import settings
 
def logger(log_type):
 
     logger = logging.getLogger(log_type)
     logger.setLevel(settings.LOG_LEVEL)
 
     ch = logging.StreamHandler()  #屏幕
     ch.setLevel(settings.LOG_LEVEL)
 
     log_dir = "%s/log" % (settings.BASE_DIR)
     if not os.path.exists(log_dir):
         os.makedirs(log_dir)
     log_file = "%s/log/%s" % (settings.BASE_DIR, settings.LOG_TYPES[log_type])
     fh = logging.FileHandler(log_file)  #文件
     fh.setLevel(settings.LOG_LEVEL)
 
     formatter = logging.Formatter( '%(asctime)s - %(name)s - %(levelname)s - %(message)s' )
 
     ch.setFormatter(formatter)
     fh.setFormatter(formatter)
 
     logger.addHandler(ch)
     logger.addHandler(fh)
 
     return logger
 
#core/main.py  調用
from core import logger
trans_logger = logger.logger( 'transaction' )
access_logger = logger.logger( 'access' )
 
def run():
     trans_logger.debug( 'trans_logger debug' )
     trans_logger.info( 'trans_logger info' )
     trans_logger.warning( 'trans_logger warning' )
     trans_logger.error( 'trans_logger error' )
     trans_logger.critical( 'trans_logger critical' )
 
     access_logger.debug( 'access_logger debug' )
     access_logger.info( 'access_logger info' )
     access_logger.warning( 'access_logger warning' )
     access_logger.error( 'access_logger error' )
     access_logger.critical( 'access_logger critical' )
run()
 
#conf/setting.py
import os
import logging
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
 
LOG_LEVEL = logging.INFO
LOG_TYPES = {
     'transaction' : 'transactions.log' ,
     'access' : 'access.log' ,
}

collections模塊

collections模塊在內置數據類型(dict、list、set、tuple)的基礎上,還提供了幾個額外的數據類型:ChainMap、Counter、deque、defaultdict、namedtuple和OrderedDict等。

  • namedtuple: 生成可使用名字來訪問元素內容的tuple子類
  • deque: 雙端隊列,能夠快速的從另一側追加和推出對象
  • Counter: 計數器,主要用來計數
  • OrderedDict: 有序字典
  • defaultdict: 帶有默認值的字典

1、namedtuple

  • namedtuple是一個函數,它用來建立一個自定義的tuple對象,而且規定了tuple元素的個數,並能夠用屬性而不是索引來引用tuple的某個元素。
  • 它具有tuple的不變性,又能夠根據屬性來引用,使用十分方便。
?
1
2
3
4
5
6
from collections import namedtuple
Point = namedtuple( 'Point' , [ 'x' , 'y' ])
p = Point( 1 , 2 ) #表示座標   t = (1, 2)很難看出這個tuple是用來表示一個座標的。
print (p.x, isinstance (p,Point), isinstance (p, tuple ))  # 1 True True  驗證建立的Point對象是tuple的一種子類
#若是要用座標和半徑表示一個圓,也能夠用namedtuple定義:
Circle = namedtuple( 'Circle' , [ 'x' , 'y' , 'r' ])

2、deque

  • 使用list存儲數據時,按索引訪問元素很快,可是插入和刪除元素就很慢了,由於list是線性存儲,數據量大的時候,插入和刪除效率很低。
  • deque是爲了高效實現插入和刪除操做的雙向列表,適合用於隊列和棧
  • deque除了實現list的append()和pop()外,還支持appendleft()和popleft(),這樣就能夠很是高效地往頭部添加或刪除元素。
?
1
2
3
4
5
from collections import deque
q = deque([ 'a' , 'b' , 'c' ])
q.append( 'x' )
q.appendleft( 'y' )
print (q) # deque(['y', 'a', 'b', 'c', 'x'])

3、defaultdict

  • 使用dict時,若是引用的Key不存在,就會拋出KeyError。若是但願key不存在時,返回一個默認值,就能夠用defaultdict
  • 注意默認值是調用函數返回的,而函數在建立defaultdict對象時傳入。
  • 除了在Key不存在時返回默認值,defaultdict的其餘行爲跟dict是徹底同樣的。
?
1
2
3
4
5
from collections import defaultdict
dd = defaultdict( lambda : 'N/A' )
dd[ 'key1' ] = 'abc'
print (dd[ 'key1' ]) # key1存在 'abc'
print (dd[ 'key2' ]) # key2不存在,返回默認值 'N/A'

4、OrderedDict

  • 使用dict時,Key是無序的。在對dict作迭代時,咱們沒法肯定Key的順序。若是要保持Key的順序,能夠用OrderedDict
  • 注意,OrderedDict的Key會按照插入的順序排列,不是Key自己排序
  • OrderedDict能夠實現一個FIFO(先進先出)的dict,當容量超出限制時,先刪除最先添加的Key
?
1
2
3
4
5
6
7
8
9
10
11
12
13
from collections import OrderedDict
d = dict ([( 'a' , 1 ), ( 'b' , 2 ), ( 'c' , 3 )])
print (d) # dict的Key是無序的  {'a': 1, 'c': 3, 'b': 2}
#保持Key的順序
od = OrderedDict([( 'a' , 1 ), ( 'b' , 2 ), ( 'c' , 3 )])
print (od) # OrderedDict的Key是有序的  OrderedDict([('a', 1), ('b', 2), ('c', 3)])
 
#OrderedDict的Key會按照插入的順序排列,不是Key自己排序:
od = OrderedDict()
od[ 'z' ] = 1
od[ 'y' ] = 2
od[ 'x' ] = 3
print (od.keys()) # 按照插入的Key的順序返回 odict_keys(['z', 'y', 'x'])

5、Counter

  • Counter是一個簡單的計數器,例如,統計字符出現的個數
  • Counter實際上也是dict的一個子類,上面的結果能夠看出,字符'g'、'm'、'r'各出現了兩次,其餘字符各出現了一次。
?
1
2
3
4
5
from collections import Counter
c = Counter()
for ch in 'programming' :
     c[ch] = c[ch] + 1
print (c) #Counter({'r': 2, 'm': 2, 'g': 2, 'p': 1, 'n': 1, 'a': 1, 'i': 1, 'o': 1})
import configparser

config = configparser.ConfigParser()
config.read('a.cfg')

# print(config._sections)
"""
OrderedDict([('section1', OrderedDict(
    [('k1', 'v1'), ('k2', 'v2'), ('user', 'egon'), ('age', '18'), ('is_admin', 'true'), ('salary', '31')])),
             ('section2', OrderedDict([('k1', 'v1')]))])
"""

# print(dict(config._sections))

"""
{'section2': OrderedDict([('k1', 'v1')]), 'section1': OrderedDict(
    [('k1', 'v1'), ('k2', 'v2'), ('user', 'egon'), ('age', '18'), ('is_admin', 'true'), ('salary', '31')])}
"""

# print(dict(('k1', 'v1')))  # {'v': '1', 'k': '1'}
# print(dict([('k1', 'v1')]))  # {'k1': 'v1'}
# print(dict(['k1', 'v1']))  # {'v': '1', 'k': '1'}

d = dict(config._sections)

for k in d:
    # print(d[k])
    """
    OrderedDict([('k1', 'v1'), ('k2', 'v2'), ('user', 'egon'), ('age', '18'), ('is_admin', 'true'), ('salary', '31')])
    OrderedDict([('k1', 'v1')])
    """
    # print(dict(d[k]))
    '''
    {'age': '18', 'user': 'egon', 'k2': 'v2', 'salary': '31', 'is_admin': 'true', 'k1': 'v1'}
    {'k1': 'v1'}
    '''
    d[k] = dict(d[k])

# print(d)
'''
{'section2': {'k1': 'v1'},
 'section1': {'user': 'egon', 'is_admin': 'true', 'k2': 'v2', 'salary': '31', 'age': '18', 'k1': 'v1'}}
'''

class MyParser(configparser.ConfigParser):
    def as_dict(self):
        """
        講configparser.ConfigParser().read()讀取到的數據轉成dict類型返回
        :return:
        """
        d = dict(self._sections)
        for k in d:
            d[k] = dict(d[k])
        return d

cfg = MyParser()
cfg.read('a.cfg',encoding='utf8')
print(cfg.as_dict())
View Code
相關文章
相關標籤/搜索