SQLite3數據庫

1、SQLite3 數據庫

　　SQLite3 可以使用 sqlite3 模塊與 Python 進行集成，通常 python 2.5 以上版本默認自帶了sqlite3模塊，所以不須要用戶另外下載。

因此，首先要建立一個數據庫的鏈接對象，即connection對象，語法以下：

sqlite3.connect（database [，timeout，其餘可選參數]）

function: 此API打開與SQLite數據庫文件的鏈接。若是成功打開數據庫，則返回一個鏈接對象。

database: 數據庫文件的路徑，或 「：memory：」 ，後者表示在RAM中建立臨時數據庫。

timeout: 指定鏈接在引起異常以前等待鎖定消失的時間，默認爲5.0(秒)

 

有了connection對象，就能建立遊標對象了，即cursor對象，以下：

connection.cursor（[cursorClass]）

function: 建立一個遊標，返回遊標對象，該遊標將在Python的整個數據庫編程中使用。

 

connection對象的方法

方法	說明
connect.cursor()	上述，返回遊標對象
connect.execute(sql [,parameters])	建立中間遊標對象執行一個sql命令
connect.executemany(sql [,parameters])	建立中間遊標對象執行一個sql命令
connect.executescript(sql_script)	建立中間遊標對象, 以腳本的形式執行sql命令
connect.total_changes()	返回自打開數據庫以來，已增刪改的行的總數
connect.commit()	提交當前事務，不使用時爲放棄所作的修改，即不保存
connect.rollback()	回滾自上次調用commit()以來所作的修改，即撤銷
connect.close()	斷開數據庫鏈接

 

cursor對象的方法

方法	說明
cursor.execute(sql [,parameters])	執行一個sql命令
cursor.executemany(sql,seq_of_parameters)	對 seq_of_parameters 中的全部參數或映射執行一個sql命令
cursor.executescript(sql_script)	以腳本的形式一次執行多個sql命令
cursor.fetchone()	獲取查詢結果集中的下一行，返回一個單一的序列，當沒有更多可用的數據時，則返回 None。
cursor.fetchmany([size=cursor.arraysize])	獲取查詢結果集中的下一行組，返回一個列表。當沒有更多的可用的行時，則返回一個空的列表。size指定特定行數。
cursor.fetchall()	獲取查詢結果集中全部（剩餘）的行，返回一個列表。當沒有可用的行時，則返回一個空的列

2、輸入代碼

import sqlite3
from pandas import DataFrame
import re

class SQL_method:
    '''
    function: 能夠實現對數據庫的基本操做
    '''
    def __init__(self, dbName, tableName, data, columns, COLUMNS, Read_All=True):
        '''
        function: 初始化參數
        dbName: 數據庫文件名
        tableName: 數據庫中表的名稱
        data: 從csv文件中讀取且通過處理的數據
        columns: 用於建立數據庫，爲表的第一行
        COLUMNS: 用於數據的格式化輸出，爲輸出的表頭
        Read_All: 建立表以後是否讀取出全部數據
        '''
        self.dbName = dbName
        self.tableName = tableName
        self.data = data
        self.columns = columns
        self.COLUMNS = COLUMNS
        self.Read_All = Read_All

    def creatTable(self):
        '''
        function: 建立數據庫文件及相關的表
        '''
        # 鏈接數據庫
        connect = sqlite3.connect(self.dbName)
        # 建立表
        connect.execute("CREATE TABLE {}({})".format(self.tableName, self.columns))
        # 提交事務
        connect.commit()
        # 斷開鏈接
        connect.close()

    def destroyTable(self):
        '''
        function: 刪除數據庫文件中的表
        '''
        # 鏈接數據庫
        connect = sqlite3.connect(self.dbName)
        # 刪除表
        connect.execute("DROP TABLE {}".format(self.tableName))
        # 提交事務
        connect.commit()
        # 斷開鏈接
        connect.close()

    def insertDataS(self):
        '''
        function: 向數據庫文件中的表插入多條數據
        '''
        # 鏈接數據庫
        connect = sqlite3.connect(self.dbName)
        # 插入多條數據
        connect.executemany("INSERT INTO {} VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?)".format(self.tableName), self.data)
        #for i in range(len(self.data)):
        #    connect.execute("INSERT INTO university VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?)", data[i])
        # 提交事務
        connect.commit()
        # 斷開鏈接
        connect.close()

    def getAllData(self):
        '''
        function: 獲得數據庫文件中的全部數據
        '''
        # 鏈接數據庫
        connect = sqlite3.connect(self.dbName)
        # 建立遊標對象
        cursor = connect.cursor()
        # 讀取數據
        cursor.execute("SELECT * FROM {}".format(self.tableName))
        dataList = cursor.fetchall()
        # 斷開鏈接
        connect.close()
        return dataList

    def searchData(self, conditions, IfPrint=True):
        '''
        function: 查找特定的數據
        '''
        # 鏈接數據庫
        connect = sqlite3.connect(self.dbName)
        # 建立遊標
        cursor = connect.cursor()
        # 查找數據
        cursor.execute("SELECT * FROM {} WHERE {}".format(self.tableName, conditions))
        data = cursor.fetchall()
        # 關閉遊標
        cursor.close()
        # 斷開數據庫鏈接
        connect.close()
        if IfPrint:
            self.printData(data)
        return data

    def deleteData(self, conditions):
        '''
        function: 刪除數據庫中的數據
        '''
        # 鏈接數據庫
        connect = sqlite3.connect(self.dbName)
        # 插入多條數據
        connect.execute("DELETE FROM {} WHERE {}".format(self.tableName, conditions))
        # 提交事務
        connect.commit()
        # 斷開鏈接
        connect.close()

    def printData(self, data):
        print("{1:{0}^3}{2:{0}<11}{3:{0}<4}{4:{0}<4}{5:{0}<5}{6:{0}<5}{7:{0}^5}{8:{0}^5}{9:{0}^5}{10:{0}^5}{11:{0}^5}{12:{0}^6}{13:{0}^5}".format(chr(12288), *self.COLUMNS))
        for i in range(len(data)):
            print("{1:{0}<4.0f}{2:{0}<10}{3:{0}<5}{4:{0}<6}{5:{0}<7}{6:{0}<8}{7:{0}<7.0f}{8:{0}<8}{9:{0}<7.0f}{10:{0}<6.0f}{11:{0}<9.0f}{12:{0}<6.0f}{13:{0}<6.0f}".format(chr(12288), *data[i]))

    def run(self):
        try:
            # 建立數據庫文件
            self.creatTable()
            print(">>> 數據庫建立成功！")
            # 保存數據到數據庫
            self.insertDataS()
            print(">>> 表建立、數據插入成功！")
        except:
            print(">>> 數據庫已建立！")
        # 讀取全部數據
        if self.Read_All:
            self.printData(self.getAllData())

def get_data(fileName):
    '''
    function: 讀取得到大學排名的數據 並 將結果返回
    '''
    data = []
    # 打開文件
    f = open(fileName, 'r', encoding='utf-8')
    # 按行讀取文件
    for line in f.readlines():
        # 替換掉其中的換行符和百分號  替換百分號是爲了方便以後的排序和運算
        line = line.replace('\n', '')
        line = line.replace('%','')
        # 將字符串按照 ',' 分割爲列表
        line = line.split(',')
       
        for i in range(len(line)):
            # 使用 異常處理 避開 出現中文沒法轉換 的錯誤
            try:
                # 將空值填充爲 0
                if line[i] == '':
                    line[i] = '0'
                # 將數字轉換爲數值
                line[i] = eval(line[i])
            except:
                continue
        data.append(tuple(line))
    # EN_columns、CH_columns 分別爲 用於數據庫建立、數據的格式化輸出
    EN_columns = "Rank real, University text, Province text, Grade real, SourseQuality real, TrainingResult real, ResearchScale real, \
    ReserchQuality real, TopResult real, TopTalent real, TechnologyService real, Cooperation real, TransformationResults real"
    CH_columns =  ["排名", "學校名稱", "省市", "總分", "生涯質量", "培養結果(%)", "科研規模", "科研質量", "頂尖成果", "頂尖人才", "科技服務", "產學研合做", "成果轉化"]
    return data[1:], EN_columns, CH_columns

if __name__ == "__main__":
    # =================== 設置和獲得基本數據 ===================
    fileName = "D:\\123.csv"
    data, EN_columns, CH_columns = get_data(fileName)
    dbName = "university.db"
    tableName = "university"

    # ================= 建立一個SQL_method對象 ==================
    SQL = SQL_method(dbName, tableName, data, EN_columns, CH_columns, False)

    # =================== 建立數據庫並保存數據 ===================
    SQL.run()
   
    # =================== 在數據庫中查找數據項 ===================
    # 查找記錄並輸出結果
    print(">>> 查找數據項（University = '廣東工業大學'） :")
    SQL.searchData("University = '廣東工業大學'", True)

    # ================= 在數據庫中篩選數據項並排序 ==================
    # 將選取廣東省的數據 並 對科研規模大小排序
    print("\n>>> 篩選數據項並按照科研規模排序（Province = '廣東省'） :")
    SQL.searchData("Province = '廣東省' ORDER BY ResearchScale", True)

    # =============== 對數據庫中的數據進行從新排序操做 ================
    # 定義權值
    Weight = [0.3, 0.15, 0.1, 0.1, 0.1, 0.1, 0.05, 0.05, 0.05]
    value, sum = [], 0
    # 獲取 Province = '廣東省' 的全部數據
    sample = SQL.searchData("Province = '廣東省'", False)
    # 按照權值求出各個大學的總得分
    for i in range(len(sample)):
        for j in range(len(Weight)):
            sum += sample[i][4+j] * Weight[j]
        value.append(sum)
        sum = 0
    # 將結果經過 pandas 的 DataFrame 方法組成一個二維序列
    university = [university[1] for university in sample]
    uv, tmp = [], []
    for i in range(len(university)):
        tmp.append(university[i])
        tmp.append(value[i])
        uv.append(tmp)
        tmp = []
    df = DataFrame(uv, columns=list(("大學", "總分")))
    df = df.sort_values('總分')
    df.index = [i for i in range(1, len(uv)+1)]
    # 輸出結果
    print("\n>>> 篩選【廣東省】的大學並經過權值運算後重排名的結果：\n", df)
   
    # ===================== 在數據庫中刪除數據項 =====================
    SQL.deleteData("Province = '北京市'")
    SQL.deleteData("Province = '廣東省'")
    SQL.deleteData("Province = '山東省'")
    SQL.deleteData("Province = '山西省'")
    SQL.deleteData("Province = '江西省'")
    SQL.deleteData("Province = '河南省'")
    print("\n>>> 數據刪除成功！")
    SQL.printData(SQL.getAllData())

    # ====================== 在數據庫中刪除表 ========================
    SQL.destroyTable()
    print(">>> 表刪除成功！")
    PrintTableList(data, 10)   # 輸出前10行數據
    saveAsCsv("D:\\123.csv", data)

3、運行結果