R語言 逐步迴歸分析

逐步迴歸分析是以AIC信息統計量爲準則，經過選擇最小的AIC信息統計量，來達到刪除或增長變量的目的。

R語言中用於逐步迴歸分析的函數 step()    drop1()     add1()

#1.載入數據 首先對數據進行多元線性迴歸分析

tdata<-data.frame(
  x1=c( 7, 1,11,11, 7,11, 3, 1, 2,21, 1,11,10),
  x2=c(26,29,56,31,52,55,71,31,54,47,40,66,68),
  x3=c( 6,15, 8, 8, 6, 9,17,22,18, 4,23, 9, 8),
  x4=c(60,52,20,47,33,22, 6,44,22,26,34,12,12),
  Y =c(78.5,74.3,104.3,87.6,95.9,109.2,102.7,72.5,
       93.1,115.9,83.8,113.3,109.4)
)
tlm<-lm(Y~x1+x2+x3+x4,data=tdata)
summary(tlm)

多元線性迴歸結果分析

經過觀察，迴歸方程的係數都沒有經過顯著性檢驗

#2.逐步迴歸分析

tstep<-step(tlm)
summary(tstep)

結果分析：當用x1 x2 x3 x4做爲迴歸方程的係數時，AIC的值爲26.94

              去掉x3 迴歸方程的AIC值爲24.974；去掉x4 迴歸方程的AIC值爲25.011……

              因爲去x3能夠使得AIC達到最小值，所以R會自動去掉x3;

去掉x3以後 AIC的值都增長 逐步迴歸分析終止  獲得當前最優的迴歸方程

迴歸係數的顯著性水平有所提升 可是x2 x4的顯著性水平仍然不理想

#3.逐步迴歸分析的優化

drop1(tstep)

結果分析

若是去掉x4 AIC的值從24.974增長到25.420 是三個變量中增長最小的

 

#4.進一步進行多元迴歸分析

tlm<-lm(Y~x1+x2,data=tdata)
summary(tlm)

結果分析

全部的檢驗均爲顯著

所以所得迴歸方程爲y=52.57735+ 1.46831x1+ 0.66225x2.