統計學基礎之迴歸分析

目錄：（來源：百度百科等）

1、一元線性迴歸

2、多元線性迴歸

---

 

1、一元線性迴歸

　　一元線性迴歸是分析只有一個自變量（自變量x和因變量y）線性相關關係的方法。一個經濟指標的數值每每受許多因素影響，若其中只有一個因素是主要的，起決定性做用，則可用一元線性迴歸進行預測分析。迴歸分析是研究某一變量（因變量）與另外一個或多個變量（解釋變量、自變量）之間的依存關係，用解釋變量的已知值或固定值來估計或預測因變量的整體平均值。

　　一元線性迴歸分析預測法，是根據自變量x和因變量Y的相關關係，創建x與Y的線性迴歸方程進行預測的方法。因爲市場現象通常是受多種因素的影響，而並非僅僅受一個因素的影響。因此應用一元線性迴歸分析預測法，必須對影響市場現象的多種因素作全面分析。只有當諸多的影響因素中，確實存在一個對因變量影響做用明顯高於其餘因素的變量，才能將它做爲自變量，應用一元相關回歸分析市場預測法進行預測。

預測模型爲： 式中， x t表明t期自變量的值；  表明t期因變量的值；a、b表明一元線性迴歸方程的參數。a、b參數由下列公式求得（用表明）： 創建模型：

一、選取一元線性迴歸模型的變量 ；

二、繪製計算表和擬合散點圖 ；

三、計算變量間的迴歸係數及其相關的顯著性 ；

四、迴歸分析結果的應用

模型的檢驗：

一、經濟意義檢驗：就是根據模型中各個參數的經濟含義，分析各參數的值是否與分析對象的經濟含義相符；

二、迴歸標準差檢驗；

三、擬合優度檢驗；

四、迴歸係數的顯著性檢驗。

（待完善）

一、相關關係

二、最小二乘法

三、擬合優度檢驗

四、顯著性檢驗（與假設檢驗聯繫起來並python實現）

五、迴歸預測

六、殘差分析

---

2、多元線性迴歸

　　在迴歸分析中，若是有兩個或兩個以上的自變量，就稱爲多元迴歸。事實上，一種現象經常是與多個因素相聯繫的，由多個自變量的最優組合共同來預測或估計因變量，比只用一個自變量進行預測或估計更有效，更符合實際。所以多元線性迴歸比一元線性迴歸的實用意義更大。

　　將全部變量包括因變量都先轉化爲標準分，再進行線性迴歸，此時獲得的迴歸係數就能反映對應自變量的重要程度。這時的迴歸方程稱爲標準迴歸方程，迴歸係數稱爲標準迴歸係數，表示以下：

因爲都化成了標準分，因此就再也不有常數項 a 了，由於各自變量都取平均水平時，因變量也應該取平均水平，而平均水平正好對應標準分 0 ，當等式兩端的變量都取 0 時，常數項也就爲 0 了。多元線性迴歸與一元線性迴歸相似，能夠用 最小二乘法估計模型參數，也需對模型及模型參數進行統計檢驗  。

選擇合適的自變量是正確進行多元迴歸預測的前提之一，多元迴歸模型自變量的選擇能夠利用變量之間的 相關矩陣來解決。

 

1.創建模型

以二元線性迴歸模型爲例 ，二元線性迴歸模型以下：

相似的使用最小二乘法進行參數估計  

2.擬合優度指標

標準偏差：對y值與模型估計值之間的離差的一種度量。其計算公式爲：

3.置信範圍

置信區間的公式爲：置信區間= 其中，

 是自由度爲

 的

 統計量數值表中的數值,

 是觀察值的個數，

 是包括因變量在內的變量的個數。

 

 

1.普通最小二乘法

普通最小二乘法(Ordinary Least Square, OLS)經過最小化偏差的平方和尋找最佳函數。經過矩陣運算求解係數矩陣：

2.廣義最小二乘法

廣義最小二乘法是普通最小二乘法的拓展，它容許在偏差項存在異方差或自相關，或兩者皆有時得到有效的係數估計值。公式如，

其中，Ω是殘差項的協方差矩陣。

（待完善）

一、多重共線性

二、變量選擇與逐步迴歸