python--模塊2

hashlib模塊

1.Python的hashlib提供了常見的摘要算法，如MD5，SHA1等等。
什麼是摘要算法呢？摘要算法又稱哈希算法、散列算法。它經過一個函數，把任意長度的數據轉換爲一個長度固定的數據串（一般用16進制的字符串表示）。

摘要算法就是經過摘要函數f()對任意長度的數據data計算出固定長度的摘要digest，目的是爲了發現原始數據是否被人篡改過。

摘要算法之因此能指出數據是否被篡改過，就是由於摘要函數是一個單向函數，計算f(data)很容易，但經過digest反推data卻很是困難。並且，對原始數據作一個bit的修改，都會致使計算出的摘要徹底不一樣。

咱們以常見的摘要算法MD5爲例，計算出一個字符串的MD5值：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import hashlib
md5_obj = hashlib.md5()
md5_obj.update("123456".encode("utf-8"))
print(md5_obj.hexdigest())

若是數據量很大，能夠分塊屢次調用update()，最後計算的結果是同樣的：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import hashlib
md5_obj = hashlib.md5()
md5_obj.update("123456".encode("utf-8"))
md5_obj.update("000000".encode("utf-8"))
print(md5_obj.hexdigest()) #42c23b08884a131940e1d12196ed935c
md5_obj = hashlib.md5()
md5_obj.update("123456000000".encode("utf-8"))
print(md5_obj.hexdigest()) #42c23b08884a131940e1d12196ed935c

應用根據MD5值判斷兩個文件是否相同：

import os
import  hashlib
def get_md5(file,n=10240):
    with open(file,mode="rb") as f:
        md5_obj = hashlib.md5()
        file_size =  os.path.getsize(file)
        while file_size > 0:
            md5_obj.update(f.read(n))
            file_size -= n
        return md5_obj.hexdigest()

def comper(file1,file2):
    return  get_md5(file1) == get_md5(file2)
print(comper("1.txt","2.txt"))

configparser模塊

[DEFAULT]
ServerAliveInterval = 45
Compression = yes
CompressionLevel = 9
ForwardX11 = yes
  
[bitbucket.org]
User = hg
  
[topsecret.server.com]
Port = 50022
ForwardX11 = no

代碼生成：

import configparser
config = configparser.ConfigParser()
config["DEFAULT"] = {
    "ServerAliveInterval":"45",
    "Compression":"yes",
    "CompressionLevel":"9",
    "ForwardX11":"yes"
}
config["bitbucket.org"] = {"User":"hg"}
config["topsecret.server.com"] = {
    "Port":"50022",
    "ForwardX11":"no"
}
with open("examle.ini","w") as f:
    config.write(f)

查找文件：

import configparser
config = configparser.ConfigParser()
print(config.sections()) #[]

config.read("examle.ini") #['bitbucket.org', 'topsecret.server.com']
print(config.sections())

print("bytebong.com" in config) #False
print("bitbucket.org" in config) #True

print(config["bitbucket.org"]["User"]) #hg
print(config["DEFAULT"]["ForwardX11"]) #yes

print(config["bitbucket.org"]) #<Section: bitbucket.org>

for key in config["bitbucket.org"]: #注意,有default會默認default的鍵
    print(key)


print(config.options("bitbucket.org")) #['user', 'serveraliveinterval', 'compression', 'compressionlevel', 'forwardx11']

print(config.items("bitbucket.org")) #[('serveraliveinterval', '45'), ('compression', 'yes'), ('compressionlevel', '9'), ('forwardx11', 'yes'), ('user', 'hg')]

print(config.get("bitbucket.org","Compression")) #yes

增刪改操做

import configparser
config = configparser.ConfigParser()
config.read("examle.ini")
config.add_section("yuan")
config.remove_section('bitbucket.org')
config.remove_option("topsecret.server.com","port")

config.set("topsecret.server.com","k1","111")
config.set("yuan","k2","222")
config.write(open("examle.ini2","w"))

config.set('topsecret.server.com','k1','11111')
config.set('yuan','k2','22222')

config.write(open('new2.ini', "w"))

logging模塊

1.函數簡單配置

import logging
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')
#默認屏幕打印warning以上級別的

默認狀況下Python的logging模塊將日誌打印到了標準輸出中，且只顯示了大於等於WARNING級別的日誌，這說明默認的日誌級別設置爲WARNING（日誌級別等級CRITICAL > ERROR > WARNING > INFO > DEBUG），默認的日誌格式爲日誌級別：Logger名稱：用戶輸出消息。
2.默認狀況下Python的logging模塊將日誌打印到了標準輸出中，且只顯示了大於等於WARNING級別的日誌，這說明默認的日誌級別設置爲WARNING（日誌級別等級CRITICAL > ERROR > WARNING > INFO > DEBUG），默認的日誌格式爲日誌級別：Logger名稱：用戶輸出消息。
靈活配置日誌級別，日誌格式，輸出位置:

import logging

logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                    datefmt='%a, %d %b %Y %H:%M:%S',
                    filename='test.log',
                    filemode='w')

logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')

配置參數：

logging.basicConfig()函數中可經過具體參數來更改logging模塊默認行爲，可用參數有：

filename：用指定的文件名建立FiledHandler，這樣日誌會被存儲在指定的文件中。
filemode：文件打開方式，在指定了filename時使用這個參數，默認值爲「a」還可指定爲「w」。
format：指定handler使用的日誌顯示格式。
datefmt：指定日期時間格式。
level：設置rootlogger（後邊會講解具體概念）的日誌級別
stream：用指定的stream建立StreamHandler。能夠指定輸出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默認爲sys.stderr。若同時列出了filename和stream兩個參數，則stream參數會被忽略。

format參數中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 數字形式的日誌級別
%(levelname)s 文本形式的日誌級別
%(pathname)s 調用日誌輸出函數的模塊的完整路徑名，可能沒有
%(filename)s 調用日誌輸出函數的模塊的文件名
%(module)s 調用日誌輸出函數的模塊名
%(funcName)s 調用日誌輸出函數的函數名
%(lineno)d 調用日誌輸出函數的語句所在的代碼行
%(created)f 當前時間，用UNIX標準的表示時間的浮 點數表示
%(relativeCreated)d 輸出日誌信息時的，自Logger建立以 來的毫秒數
%(asctime)s 字符串形式的當前時間。默認格式是 「2003-07-08 16:49:45,896」。逗號後面的是毫秒
%(thread)d 線程ID。可能沒有
%(threadName)s 線程名。可能沒有
%(process)d 進程ID。可能沒有
%(message)s用戶輸出的消息

3.

import logging

logger = logging.getLogger()
# 建立一個handler，用於寫入日誌文件
fh = logging.FileHandler('test.log',encoding='utf-8') 

# 再建立一個handler，用於輸出到控制檯 
ch = logging.StreamHandler() 
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setLevel(logging.DEBUG)

fh.setFormatter(formatter) 
ch.setFormatter(formatter) 
logger.addHandler(fh) #logger對象能夠添加多個fh和ch對象 
logger.addHandler(ch) 

logger.debug('logger debug message') 
logger.info('logger info message') 
logger.warning('logger warning message') 
logger.error('logger error message') 
logger.critical('logger critical message')

序列化模塊

什麼叫序列化——將本來的字典、列表等內容轉換成一個字符串的過程就叫作序列化。
序列化的目的：1.以某種存儲形式使自定義對象持久化；

2.將對象從一個地方傳遞到另外一個地方。
         3.使程序更具維護性。

1.json
Json模塊提供了四個功能：dumps、dump、loads、load

import json
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = json.dumps(dic)  #序列化：將一個字典轉換成一個字符串
print(str_dic) #{"k1": "v1", "k2": "v2", "k3": "v3"}3", "k1": "v1", "k2": "v2"}
#注意，json轉換完的字符串類型的字典中的字符串是由""表示的

import json
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = json.dumps(dic)  #序列化：將一個字典轉換成一個字符串
print(str_dic) #{"k1": "v1", "k2": "v2", "k3": "v3"}
dic2 = json.loads(str_dic)  #反序列化：將一個字符串格式的字典轉換成一個字典，注意，要用json的loads功能處理的字符串類型的字典中的字符串必須由""表示
print(dic2)  #{'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}

list_dic = [1,['a','b','c'],3,{'k1':'v1','k2':'v2'}]
str_dic = json.dumps(list_dic) #也能夠處理嵌套的數據類型
print(str_dic) #[1, ["a", "b", "c"], 3, {"k1": "v1", "k2": "v2"}]
list_dic2 = json.loads(str_dic)
print(list_dic2) #[1, ['a', 'b', 'c'], 3, {'k1': 'v1', 'k2': 'v2'}]

import json
f = open("json_file","w")
dic = {"k1":"v1"}
json.dump(dic,f)    #dump方法接收一個文件句柄，直接將字典轉換成json字符串寫入文件
f.close()

f = open("json_file","r")
dic2 = json.load(f)  #load方法接收一個文件句柄，直接將文件中的json字符串轉換成數據結構返回
f.close()
print(dic2) #{'k1': 'v1'}

import json
f = open('file','w')
json.dump({'國籍':'中國'},f)
ret = json.dumps({'國籍':'中國'})
f.write(ret+'\n')
json.dump({'國籍':'美國'},f,ensure_ascii=False)
ret = json.dumps({'國籍':'美國'},ensure_ascii=False)
f.write(ret+'\n')
f.close()

Serialize obj to a JSON formatted str.(字符串表示的json對象) 
Skipkeys：默認值是False，若是dict的keys內的數據不是python的基本類型(str,unicode,int,long,float,bool,None)，設置爲False時，就會報TypeError的錯誤。此時設置成True，則會跳過這類key 
ensure_ascii:，當它爲True的時候，全部非ASCII碼字符顯示爲\uXXXX序列，只需在dump時將ensure_ascii設置爲False便可，此時存入json的中文便可正常顯示。) 
If check_circular is false, then the circular reference check for container types will be skipped and a circular reference will result in an OverflowError (or worse). 
If allow_nan is false, then it will be a ValueError to serialize out of range float values (nan, inf, -inf) in strict compliance of the JSON specification, instead of using the JavaScript equivalents (NaN, Infinity, -Infinity). 
indent：應該是一個非負的整型，若是是0就是頂格分行顯示，若是爲空就是一行最緊湊顯示，不然會換行且按照indent的數值顯示前面的空白分行顯示，這樣打印出來的json數據也叫pretty-printed json 
separators：分隔符，其實是(item_separator, dict_separator)的一個元組，默認的就是(‘,’,’:’)；這表示dictionary內keys之間用「,」隔開，而KEY和value之間用「：」隔開。 
default(obj) is a function that should return a serializable version of obj or raise TypeError. The default simply raises TypeError. 
sort_keys：將數據根據keys的值進行排序。 
To use a custom JSONEncoder subclass (e.g. one that overrides the .default() method to serialize additional types), specify it with the cls kwarg; otherwise JSONEncoder is used.

#格式化輸出
import json
data = {'username':['李華','二愣子'],'sex':'male','age':16}
json_dic2 = json.dumps(data,sort_keys=True,indent=2,separators=(',',':'),ensure_ascii=False)
print(json_dic2)

json，用於字符串 和 python數據類型間進行轉換

2.pickle
用於python特有的類型 和 python的數據類型間進行轉換

pickle模塊提供了四個功能：dumps、dump(序列化，存）、loads（反序列化，讀）、load （不只能夠序列化字典，列表...能夠把python中任意的數據類型序列化）

import pickle
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = pickle.dumps(dic)
print(str_dic)  #一串二進制內容b'\x80\x03}q\x00(X\x02\x00\

dic2 = pickle.loads(str_dic)
print(dic2)    #字典{'k1':'v1','k2':'v2','k3':'v3'}

import pickle
import time
struct_time  = time.localtime(1000000000)
print(struct_time) #time.struct_time(tm_year=2001, tm_mon=9, tm_mday=9, tm_hour=9, tm_min=46, tm_sec=40, tm_wday=6, tm_yday=252, tm_isdst=0
f = open('pickle_file','wb')
pickle.dump(struct_time,f)
f.close()

f = open('pickle_file','rb')
struct_time2 = pickle.load(f)
print(struct_time2) #time.struct_time(tm_year=2001, tm_mon=9, tm_mday=9, tm_hour=9, tm_min=46, tm_sec=40, tm_wday=6, tm_yday=252, tm_isdst=0