sas神經網絡：構建人工神經網絡模型來識別垃圾郵件

原文連接http://tecdat.cn/?p=14033

 

神經網絡是一種很是通用的靈活預測模型，可用於解決各類問題，包括分類，降維和迴歸。

現實世界中的一些業務應用示例包括圖像處理，醫療診斷，金融服務和欺詐檢測。此樣本說明如何使用SAS®In-Memory Statistics中的NEURAL語句來構建人工神經網絡模型來識別垃圾郵件。該示例中使用的數據集是機器學習存儲庫中的經典Spambase數據集。請注意，SAS®內存中統計信息具備直接將數據直接從URL加載到內存中的功能，而無需保存到磁盤，如示例所示。該示例還演示瞭如何執行如下任務：

1.對從不一樣點開始的幾個「淺」神經網絡進行預訓練，以免建立因爲初始權重差而無效的神經網絡。
2.從預訓練的神經網絡中選擇最佳的神經網絡，而後繼續分析以訓練更深的神經網絡做爲最終模型。
3.使用最終的神經網絡模型對驗證數據集評分。
4.使用評分結果和ASSESS語句執行模型評估。
5.根據ASSESS語句的結果繪製升力和ROC曲線。

 

data mylasr.spambase;
    infile "&base/spambase/spambase.data" device=url dsd dlm=',';
    input Make Address All _3d Our Over Remove Internet Order Mail Receive
    Will People Report Addresses Free Business Email You Credit Your Font
    _000 Money Hp Hpl George _650 Lab Labs Telnet _857 Data _415 _85
    Technology _1999 Parts Pm Direct Cs Meeting Original Project Re Edu
    Table Conference Semicol Paren Bracket Bang Dollar Pound Cap_Avg
    Cap_Long Cap_Total Class;
run;

proc imstat;

1.從不一樣點到預訓練幾個「淺」神經網絡,避免建立因初始值不佳而無效的神經網絡。
 

/*input */ input=(make--cap_total) std=std
         /*target*/ targetact=softmax targetcomb=linear error=entropy nominal=class
         /*hidden*/ hiddens=(10) act=(logistic) combine=(linear)
         /*prelim*/ numtries=5 maxiter=10 tech=congra 
         /*NLOP  */ maxfunc=1000000 linesearch=2 fconv=1e-4 lower=-20 upper=20;

2.從預訓練的神經網絡中選擇最佳的神經網絡，而後繼續分析以訓練更深層的神經網絡做爲最終模型。
 

/*NLOP  */ maxfunc=1000000 linesearch=2 fconv=1e-4 lower=-20 upper=20;

3.使用通過訓練的神經網絡模型對分數進行驗證。 ASSESS選項指定爲全部級別的得分數據添加預測機率標稱目標變量。 在此示例中，建立了兩個級別，由於名爲class的變量具備兩個值0或1。計分的數據爲存儲在臨時表中。
 

input = (make--cap_total) nominal=class temptable assess vars = (class);

 4.使用評分結果執行模型評估。 全部級別的機率都在輸出中，可是咱們僅須要事件級別的機率。 WHERE子句僅用於選擇具備事件級別的行。 剝離功能適用於刪除字符變量_NN_Level_中的空格。

 

5.根據ASSESS語句的結果繪製升力和ROC曲線。
 

proc sgplot data=rocdata;
    series x = one_minus_Specificity y = Sensitivity / lineattrs=(color=blue);
    series x = one_minus_Specificity y = one_minus_Specificity / lineattrs=(color=black);
    yaxis grid;
run;
quit;

 該模型信息表

​

分數信息表
​

提高曲線
​

ROC 曲線

 

​

 

 

---

 

參考文獻

 

1.r語言用神經網絡改進nelson-siegel模型擬合收益率曲線分析

 

2.r語言實現擬合神經網絡預測和結果可視化

 

3.python用遺傳算法-神經網絡-模糊邏輯控制算法對樂透分析

 

4.用於nlp的python：使用keras的多標籤文本lstm神經網絡分類

 

5.用r語言實現神經網絡預測股票實例

 

6.R語言基於Keras的小數據集深度學習圖像分類

 

7.用於NLP的seq2seq模型實例用Keras實現神經機器翻譯

 

8.python中基於網格搜索算法優化的深度學習模型分析糖

 

9.matlab使用貝葉斯優化的深度學習