期末大做業

1、boston房價預測

1. 讀取數據集

2. 訓練集與測試集劃分

3. 線性迴歸模型：創建13個變量與房價之間的預測模型，並檢測模型好壞。

4. 多項式迴歸模型：創建13個變量與房價之間的預測模型，並檢測模型好壞。

5. 比較線性模型與非線性模型的性能，並說明緣由。

 

2、中文文本分類

按學號未位下載相應數據集。

147：財經、彩票、房產、股票、

258：家居、教育、科技、社會、時尚、

0369：時政、體育、星座、遊戲、娛樂

分別創建中文文本分類模型，實現對文本的分類。基本步驟以下：

1.各類獲取文件，寫文件

2.除去噪聲，如：格式轉換，去掉符號，總體規範化

3.遍歷每一個個文件夾下的每一個文本文件。

4.使用jieba分詞將中文文本切割。

中文分詞就是將一句話拆分爲各個詞語，由於中文分詞在不一樣的語境中歧義較大，因此分詞極其重要。

能夠用jieba.add_word('word')增長詞，用jieba.load_userdict('wordDict.txt')導入詞庫。

維護自定義詞庫

5.去掉停用詞。

維護停用詞表

6.對處理以後的文本開始用TF-IDF算法進行單詞權值的計算

7.貝葉斯預測種類

8.模型評價

9.新文本類別預測

 

1、boston房價預測

# 多元線性迴歸模型
#讀取數據
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

 

# 波士頓房價數據集
data = load_boston()

# 劃分數據集
x_train, x_test, y_train, y_test = train_test_split(data.data,data.target,test_size=0.3)

# 檢測模型好壞
from sklearn.metrics import regression
y_predict = mlr.predict(x_test)

# 計算模型的預測指標
print("預測的均方偏差：", regression.mean_squared_error(y_test,y_predict))
print("預測的平均絕對偏差：", regression.mean_absolute_error(y_test,y_predict))

# 打印模型的分數
print("模型的分數：",mlr.score(x_test, y_test))

# 多元多項式迴歸模型
# 多項式化
from sklearn.preprocessing import PolynomialFeatures
poly2 = PolynomialFeatures(degree=2)
x_poly_train = poly2.fit_transform(x_train)
x_poly_test = poly2.transform(x_test)

# 創建模型
mlrp = LinearRegression()
mlrp.fit(x_poly_train, y_train)

# 預測
y_predict2 = mlrp.predict(x_poly_test)

# 檢測模型好壞
# 計算模型的預測指標
print("預測的均方偏差：", regression.mean_squared_error(y_test,y_predict2))
print("預測的平均絕對偏差：", regression.mean_absolute_error(y_test,y_predict2))
# 打印模型的分數
print("模型的分數：",mlrp.score(x_poly_test, y_test))

 

2、中文文本分類

 

import os
# 讀文件的函數（生成器）,獲取全部txt文件
def readFile(path):
    fileList = os.listdir(path)
    for className in fileList: # 類別循環層
        classPath = os.path.join(path, className) # 拼接類別路徑
        fileList = os.listdir(classPath)
        for fileName in fileList: # txt文件循環層，拿每一條新聞
            filePath = os.path.join(classPath, fileName) # 拼接文件路徑
            genInfo(filePath)
            
            
# 根據生成的文件路徑提取它的類別和文本
import numpy as np
def genInfo(path):
    classfity = path.split('\\')[-2] # 獲取類別
    with open(path,'r',encoding='utf-8') as f:
        content = f.read() # 獲取文本
    appToList(classfity, content)
    

# 類別存入列表中，文本處理後用結巴分詞存入另一個列表
import jieba
import jieba.posseg as psg 
def appToList(classfity, content):
    # 數據處理
    processed = "".join([word for word in content if word.isalpha()])
    # 結巴分詞，分詞後獲取長度>=3的有意義詞彙，去重並轉爲一個字符串
    # clear = " ".join(set([i.word for i in psg.cut(processed) if (len(i.word)>=3) and (i.flag=='nr' or i.flag=='n' or i.flag=='v' or i.flag=='a' or i.flag=='vn' or i.flag=='i')]))
    # 結巴分詞，分詞後獲取長度>=2的詞彙，並轉爲一個字符串
    clear = " ".join([i for i in jieba.cut(processed, cut_all=True, HMM=True) if (len(i)>=2)])
    # 追加到列表
    target_list.append(classfity)
    content_list.append(clear)

 

import os
import numpy as np
import sys
from datetime import datetime
import gc
path = 'C:\\Users\\Administrator\\Desktop\\0369'
# 導入結巴庫，並將須要用到的詞庫加進字典
import jieba
# 導入停用詞：
with open(r'0369\stopsCN.txt', encoding='utf-8') as f:
    stopwords = f.read().split('\n')

def processing(tokens):
    # 去掉非字母漢字的字符
    tokens = "".join([char for char in tokens if char.isalpha()])
    # 結巴分詞
    tokens = [token for token in jieba.cut(tokens,cut_all=True) if len(token) >=2]
    # 去掉停用詞
    tokens = " ".join([token for token in tokens if token not in stopwords])
    return tokens

tokenList = []
targetList = []
# 用os.walk獲取須要的變量，並拼接文件路徑再打開每個文件
for root,dirs,files in os.walk(path):
    for f in files:
        filePath = os.path.join(root,f)
        with open(filePath, encoding='utf-8') as f:
            content = f.read()
            # 獲取新聞類別標籤，並處理該新聞
        target = filePath.split('\\')[-2]
        targetList.append(target)
        tokenList.append(processing(content))

 

將content_list列表向量化後建模，將模型用於預測和評估模型

 

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB,MultinomialNB
from sklearn.model_selection import cross_val_score
from sklearn.metrics import classification_report
path = r'C:\Users\Administrator\Desktop\0369'
target_list = []
content_list = []

# 讀入文件，並將數據處理後追加到兩個列表中
readFile(path)

# 劃分訓練集測試集並創建特徵向量,爲創建模型作準備
# 劃分訓練集測試集
x_train,x_test,y_train,y_test = train_test_split(content_list,target_list,test_size=0.2,stratify=target_list)
# 轉化爲特徵向量，這裏選擇TfidfVectorizer的方式創建特徵向量。不一樣新聞的詞語使用會有較大不一樣。
vectorizer = TfidfVectorizer()
X_train = vectorizer.fit_transform(x_train)
X_test = vectorizer.transform(x_test)
# 創建模型,這裏用多項式樸素貝葉斯，由於樣本特徵的分佈大部分是多元離散值
mnb = MultinomialNB()
module = mnb.fit(X_train, y_train)

#進行預測
y_predict = module.predict(X_test)
# 輸出模型精確度
scores=cross_val_score(mnb,X_test,y_test,cv=10)
print("Accuracy:%.3f"%scores.mean())
# 輸出模型評估報告
print("classification_report:\n",classification_report(y_predict,y_test))

 

根據特徵向量提取逆文本頻率高的詞彙,將預測結果和實際結果進行對比

# 根據逆文本頻率篩選詞彙，閾值=0.8
highWord = []
cla = []
for i in range(X_test.shape[0]):
    for j in range(X_test.shape[1]):
        if X_test[i,j] > 0.8:
            highWord.append(j)
            cla.append(i)

# 查看具體哪一個詞
for i,j in zip(highWord, cla):
    print(vectorizer.get_feature_names()[i],'\t', y_test[j])

# 將預測結果和實際結果進行對比
import collections
import matplotlib.pyplot as plt
import pandas as pd
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SongTi'] # 指定默認字體  
mpl.rcParams['axes.unicode_minus'] = False # 解決保存圖像是負號'-'顯示爲方塊的問題

# 統計測試集和預測集的各種新聞個數
testCount = collections.Counter(y_test)
predCount = collections.Counter(y_predict)
print('實際：',testCount,'\n', '預測', predCount)

# 創建標籤列表，實際結果列表，預測結果列表，
nameList = list(testCount.keys())
testList = list(testCount.values())
predictList = list(predCount.values())
x = list(range(len(nameList)))
print("新聞類別：",nameList,'\n',"實際：",testList,'\n',"預測：",predictList)

# 畫圖
plt.figure(figsize=(7,5))
total_width, n = 0.6, 2
width = total_width / n
plt.bar(x, testList, width=width,label='實際',fc = 'g')
for i in range(len(x)):
    x[i] = x[i] + width
plt.bar(x, predictList,width=width,label='預測',tick_label = nameList,fc='b')
plt.grid()
plt.title('實際和預測對比圖',fontsize=17)
plt.xlabel('新聞類別',fontsize=17)
plt.ylabel('頻數',fontsize=17)
plt.legend(fontsize =17)
plt.tick_params(labelsize=17)
plt.show()