python: 模型的統計信息
In [57]:
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
import statsmodels.api as sm
from statsmodels.graphics.mosaicplot import mosaic
%pylab inline
mpl.rcParams['font.sans-serif'] = ['SimHei'] # 指定默認字體
mpl.rcParams['axes.unicode_minus'] = False # 解決保存圖像是負號 '-' 顯示爲方塊的問題
載入和分析數據¶
In [4]:
def readData(path):
"""
使用pandas讀取數據
"""
data = pd.read_csv(path)
cols = ["age", "education_num", "capital_gain", "capital_loss", "hours_per_week", "label"]
return data[cols]
data = readData('dataset/adult.data')
In [5]:
data.hist(rwidth=0.9, grid=False, figsize=(8, 8), alpha=0.6) # 各個變量的直方圖
plt.show()
In [6]:
data.head()
Out[6]:
In [8]:
data['label_code'] = pd.Categorical(data.label).codes # 將文字變量轉化爲數字變量
In [10]:
data[['label', 'label_code']].head(8)
Out[10]:
In [18]:
def visualData(df):
"""
畫直方圖，直觀瞭解數據
"""
df.hist(
rwidth=0.9, grid=False, figsize=(8, 8), alpha=0.6, color="grey")
plt.show(block=False)
In [19]:
df = data[["age", "education_num", "capital_gain", "capital_loss", "hours_per_week", "label_code"]]
visualData(df)
In [20]:
data.describe() # 僅僅顯示數值型變量的基本統計信息，若要顯示所有變量的統計信息只需傳入參數 `include='all'`
Out[20]:
交叉報表¶
交叉報表用來描述兩個變量之間的關係。javascript
- 按四分位數劃分爲 $4$ 個區間
In [23]:
qeducation_num = pd.qcut(data['education_num'], [.25, .5, .75, 1])
qeducation_num
Out[23]:
- 計算
education_num和label的交叉報表
In [48]:
cross1 = pd.crosstab(data['label'], qeducation_num)
cross1
Out[48]:
將 cross1 圖表化css
In [65]:
props = lambda key: {"color": "0.45"} if ' >50K' in key else {"color": "#C6E2FF"}
mosaic(cross1.stack(), gap=0.05,properties=props, title='label 和 education_num 的交叉報表')
plt.show()
In [67]:
def trainModel(data):
"""
搭建邏輯迴歸模型，並訓練模型
"""
formula = "label_code ~ age + education_num + capital_gain + capital_loss + hours_per_week"
model = sm.Logit.from_formula(formula, data=data)
re = model.fit()
return re
In [70]:
def modelSummary(re):
"""
分析邏輯迴歸模型的統計性質
"""
# 總體統計分析結果
print(re.summary())
# 用f test檢驗education_num的係數是否顯著
print("檢驗假設education_num的係數等於0：")
print(re.f_test("education_num=0"))
# 用f test檢驗兩個假設是否同時成立
print("檢驗假設education_num的係數等於0.32和hours_per_week的係數等於0.04同時成立：")
print(re.f_test("education_num=0.32, hours_per_week=0.04"))
def interpretModel(re):
"""
理解模型結果
參數
----
re ：BinaryResults，訓練好的邏輯迴歸模型
"""
conf = re.conf_int()
conf['OR'] = re.params
# 計算各個變量對事件發生比的影響
# conf裏面的三列，分別對應着估計值的下界、上界和估計值自己
conf.columns = ['2.5%', '97.5%', 'OR']
print("各個變量對事件發生比的影響：")
print(np.exp(conf))
# 計算各個變量的邊際效應
print("各個變量的邊際效應：")
print(re.get_margeff(at="overall").summary())
def makePrediction(re, testSet, alpha=0.5):
"""
使用訓練好的模型對測試數據作預測
"""
# 關閉pandas有關chain_assignment的警告
pd.options.mode.chained_assignment = None
# 計算事件發生的機率
testSet["prob"] = re.predict(testSet)
print("事件發生機率（預測機率）大於0.6的數據個數：")
print(testSet[testSet["prob"] > 0.6].shape[0]) # 輸出值爲576
print("事件發生機率（預測機率）大於0.5的數據個數：")
print(testSet[testSet["prob"] > 0.5].shape[0]) # 輸出值爲834
# 根據預測的機率，得出最終的預測
testSet["pred"] = testSet.apply(lambda x: 1 if x["prob"] > alpha else 0, axis=1)
return testSet
def evaluation(re):
"""
計算預測結果的查準查全率以及f1
參數
----
re ：DataFrame，預測結果，裏面包含兩列：真實值‘lable_code’、預測值‘pred’
"""
bins = np.array([0, 0.5, 1])
label = re["label_code"]
pred = re["pred"]
tp, fp, fn, tn = np.histogram2d(label, pred, bins=bins)[0].flatten()
precision = tp / (tp + fp) # 0.951
recall = tp / (tp + fn) # 0.826
f1 = 2 * precision * recall / (precision + recall) # 0.884
print("查準率: %.3f, 查全率: %.3f, f1: %.3f" % (precision, recall, f1))
In [72]:
# 將數據分爲訓練集和測試集
trainSet, testSet = train_test_split(data, test_size=0.2, random_state=2310)
# 訓練模型並分析模型效果
re = trainModel(trainSet)
modelSummary(re)
interpretModel(re)
In [73]:
re = makePrediction(re, testSet)
evaluation(re)
相關文章
- 1. python+matplotlib統計svn信息
- 2. 統計信息
- 3. 信息的概念模型
- 4. [統計信息系列4] 列的統計信息
- 5. Python獲取阿拉丁統計信息
- 6. [統計信息系列5] 系統統計信息
- 7. SQL SERVER的統計信息
- 8. Oracle的SYSTEM統計信息
- 9. MySQL統計信息
- 10. oracle信息統計
- 更多相關文章...
- • 瀏覽器信息 - 瀏覽器信息
- • 瀏覽器 統計 - 瀏覽器信息
- • 委託模式
- • Docker容器實戰(七) - 容器眼光下的文件系統
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. No provider available from registry 127.0.0.1:2181 for service com.ddbuy.ser 解決方法
- 2. Qt5.7以上調用虛擬鍵盤(支持中文)，以及源碼修改(可拖動，水平縮放)
- 3. 軟件測試面試- 購物車功能測試用例設計
- 4. ElasticSearch（概念篇）：你知道的, 爲了搜索…
- 5. redux理解
- 6. gitee創建第一個項目
- 7. 支持向量機之硬間隔（一步步推導，通俗易懂）
- 8. Mysql 異步複製延遲的原因及解決方案
- 9. 如何在運行SEPM配置嚮導時將不可認的複雜數據庫密碼改爲簡單密碼
- 10. windows系統下tftp服務器使用
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. python+matplotlib統計svn信息
- 2. 統計信息
- 3. 信息的概念模型
- 4. [統計信息系列4] 列的統計信息
- 5. Python獲取阿拉丁統計信息
- 6. [統計信息系列5] 系統統計信息
- 7. SQL SERVER的統計信息
- 8. Oracle的SYSTEM統計信息
- 9. MySQL統計信息
- 10. oracle信息統計