自迴歸模型（AR ）

2017/7/2 19:24:15

自迴歸模型（Autoregressive Model，簡稱 AR 模型）是最多見的平穩時間序列模型之一。接下將介紹 AR 模型的定義、統計性質、建模過程、預測及應用。

1、AR 模型的引入

考慮如圖所示的單擺系統。設 x_t 爲第 t 次擺動過程當中的擺幅。根據物理原理，第 t 次的擺幅 x_t 由前一次的擺幅 x_t-1 決定，即有 x_t=a₁x_t-1。考慮到空氣振動的影響，咱們每每假設

(1)

其中，隨機干擾 ε_t ~ N(0, σ²)。

設初始時刻 x₀=1，如今取不一樣的 a₁ 和 σ 值進行實驗。實驗結果以下圖。

咱們能夠看出，參數 a₁ 對序列的穩定性起到決定性的做用，而噪聲強度 σ² 決定了序列的波動程度。

在這裏，咱們稱模型 (1) 爲一階自迴歸模型。更通常地，能夠考慮序列值 x_t 可由前 p 個時刻的序列值及當前的噪聲表出，即

(2)

其中，a_j 爲參數，{ε_t} 爲白噪聲。爲了顯示序列值爲隨機變量，這裏使用 X_t 而不是 x_t。

2、AR 模型的定義

定義 1

若是 {ε_t} 爲白噪聲，服從 N(0,σ²)，a₀,a₁,...,a_p(a_p≠0) 爲實數，就稱 p 階差分方程

(3)

是一個 p 階自迴歸模型，簡稱 AR(p) 模型，稱 a=(a₀,a₁,...,a_p)^T 是 AR(p) 模型中的自迴歸係數。知足 AR(p) 模型 (3) 的時間序列 {X_t} 稱爲 AR(p) 序列。當 a₀=0 時，稱爲零均值 AR(p) 序列，即

(4)

須要指出的是，對於 a₀≠0 的狀況，咱們能夠經過零均值化的手段把通常的 AR(p) 序列變爲零均值 AR(p) 序列。

3、AR 序列的建模

對於給定的時間序列 {X_t}，咱們最關注的是如何對其進行建模。通常地，平穩序列的建模過程能夠用下圖中的流程圖表示。

步驟 1 對序列做白噪聲檢驗，若經檢驗斷定序列爲白噪聲，建模結束；不然轉步驟 2.

步驟 2 對序列做平穩性檢驗，若經檢驗斷定爲非平穩，則進行序列的平穩化處理，轉步驟 1；不然轉步驟 3.

步驟 3 對模型進行識別，估計其參數，轉步驟 4.

步驟 4 檢驗模型的適用性，若檢驗經過，則獲得擬合模型並可對序列作預測；不然轉步驟 3.

在這裏，對白噪聲檢驗、平穩性檢驗和平穩化處理不進行介紹。有時間寫兩篇這方面的博文。

(一) AR 模型的斷定

對於觀測到的時間序列，若經過白噪聲檢驗肯定爲非白噪聲，且經平穩性檢驗肯定爲平穩後，咱們常根據相關係數和偏相關係數來識別模型。

這一部分的主要任務是，判斷該問題是否適用 AR 模型建模，以及大體肯定階數 p。

可經過下面的代碼，計算自相關係數（Autocorrelation Function, SAF）和偏自相關係數（Partial Autocorrelation Function, PACF）。

from statsmodels.tsa.stattools import acf, pacf
# pacf 計算偏自相關係數
# acf  計算自相關係數

若是一個時間序列知足如下兩個條件

• ACF 具備拖尾性，即 ACF(k) 不會在 k 大於某個常數以後就恆等於 0。
• PACF 具備截尾性，即 PACF(k) 在 k>p 時變爲 0。

第 2 個條件還能夠用來肯定階數 p。考慮到存在隨機偏差的存在，所以 PACF 在 p 階延遲後未必嚴格爲 0 ，而是在 0 附近的小範圍內波動。具體來講

設 k 階偏自相關係數爲 a_k，若階數大於 p 大部分的偏自相關係數知足下式，則 AR 模型的階數取 p。

(5)

其中 N 表示樣本序列長度。

例如，對於模型 X_t=0.9X_t-1-0.3X_t-2+ε_t，它的 ACF 和 PACF 以下。

咱們能夠看出自相關係數呈現必定的週期性，故斷定爲拖尾；偏自相關係數 2 步後截尾。所以，咱們能夠嘗試使用 AR(2) 模型來建模。

(二) AR 模型的參數估計

AR 模型的參數估計主要有三種方法：矩估計、最小二乘估計和最大似然估計。

這裏僅介紹最小二乘估計。（實際上最大似然估計與最小二乘估計的結果同樣）

對於樣本序列 {x_t}，當 j≥p+1時，記白噪聲 ε_j 的估計爲

(6)

一般稱 爲殘差。咱們的優化目標是使得殘差平方和

(7)

達到最小。咱們稱使上式達到最小的 爲 AR(p) 模型中自迴歸係數 的估計。

記

獲得以下線性方程組

(8)

因而式 (7) 的目標函數可表示爲

(9)

上式對參數 求導並令其爲 0，可得

(10)

所以，參數 的最小二乘估計爲

(11)

此時，偏差方差的最小二乘估計

(12)

(三) AR 模型的定階

在對 AR 模型識別時，根據其樣本偏自相關係數的截尾步數，可初步獲得 AR 模型的階數 p。然而，此時創建的 AR(p) 未必是最優的。一個好的模型一般要求殘差序列方差較小，同時模型頁相對簡單，即要求階數較低。所以咱們須要一些準則來比較不一樣階數的模型之間的優劣，從而肯定最合適的階數。下面給出兩種經常使用的定階準則。

1. FPE 準則

最終預報偏差（Final Prediction Error）準則，簡稱爲 FPE 準則，其判據就是最終預報偏差最小。設 AR(p) 爲擬合模型， 是序列的各階樣本自協方差函數，其最終預報偏差可表示爲

(13)

在具體應用時，一般是分別創建從低階到高階的 AR 模型，並計算出相應的 FPE
的值，由此肯定使 FPE 達到最小的 p 值。

2. 貝葉斯信息準則

定義

(14)

使得 BIC 達到最小值的 p 即爲該準則下的最優 AR 模型的階數。

(四) AR 模型的檢驗

在模型擬合以後須要進行模型的檢驗，主要分爲兩部分

• 有效性檢驗：檢驗擬合模型對序列中信息的提取是否充分
• 顯著性檢驗：檢驗模型中的個參數是否顯著爲 0，從而判斷擬合魔心是否能夠進一步簡化。

1. 模型的有效性檢驗

一個好的擬合模型應該可以提取觀測值序列中幾乎全部的樣本相關信息，即殘差序列應該爲白噪聲序列。所以，模型的有效性檢驗即爲殘差序列的白噪聲檢驗。若是殘差序列是白噪聲，那麼理論賞其延遲任意階的自相關係數爲 0，考慮數據的誤差，那麼絕大多數應該在 0 附近的範圍內，一般在 95% 的置信水平（2倍標準差）之內。

2. 參數的顯著性檢驗

這一部分的目標是，刪除那些不顯著參數使模型結構最爲精簡。對於模型參數 a_j(j=1,...,p) 的檢驗，其原假設和備擇假設分別爲

(15)

檢驗統計量爲 t 統計量：

(16)

在給定的顯著水平 α 下，當檢驗統計量 T 大部分位於分點 t_1-α/2，或該統計量的 P 值小於 α 時，則能夠以 1-α 的置信水平拒絕原假設，
認爲模型參數顯著。反之，則不能顯著拒絕參數爲 0 的假設。

參考文獻

[1] 周永道，王會琦，呂王勇. 時間序列分析及應用. 高等教育出版社. 2015.