時間序列方法

一、時間序列基本規則法-週期因子法

• 提取時間序列的週期性特徵進行預測，參考：時間序列規則法快速入門
• 計算週期因子factors
• 計算base
• 預測=base*factors
• 觀察序列，當序列存在週期性時，能夠用週期因子法作爲baseline
• 在天池競賽-資金流入流出預測-挑戰Baseline-天池大賽-阿里雲天池，週期因子能夠取得110分+的成績，排名進500妥妥的。

 

二、線性迴歸-利用時間特徵作線性迴歸

• 提取時間的週期性特色作爲特徵，此時訓練集每條樣本爲"時間特徵->目標值"，時間序列的依賴關係被剔除，不須要嚴格依賴滑窗截取訓練樣本。常見是將時間用0-1啞變量表達，有如下若干種特徵：
• 將星期轉化爲了0-1變量，從週一至周天，獨熱編碼共7個變量
• 將節假日轉化爲0-1變量，視具體節假日數目，可簡單分爲兩類，"有假日"-"無假日"，獨熱編碼共2個變量；或賦予不一樣編碼值，如區分國慶、春節、勞動節等使用一、二、3表示
• 將月初轉化爲0-1變量，簡單分兩類表示爲"是月初"-"非月初"，共2個特徵
• 相似的月中、月初能夠轉化爲0-1變量
• 控制時間粒度，區分是weekday or weekend
• 觀察序列，當序列存在週期性時，線性迴歸也可作爲baseline
• 在天池競賽-資金流入流出預測-挑戰Baseline-天池大賽-阿里雲天池，線性迴歸能夠取得100分+的成績，應該還沒到500，多調節下特徵就能進去了。

三、傳統時序建模方法，ARMA/ARIMA等線性模型。參考：

• 寫給你的金融時間序列分析：基礎篇
• 自迴歸/滑動平均階數判斷 Identifying the orders of AR and MA terms in an ARIMA model 列舉了11條通常原則，其中提到：
• 差分方法可消除正相關但同時引入負相關
• AR項可消除正相關，MA項消除負相關
• AR項和MA項做用會相互抵消，一般包含兩種要素時可嘗試減小某項，避免過擬合

四、時間序列分解，使用加法模型或乘法模型將原始序列拆分爲4部分。

• 拆分爲4部分：長期趨勢變更T、季節變更S(顯式週期，固定幅度、長度的週期波動)、循環變更C(隱式週期，週期長不具嚴格規則的波動)和不規則變更I。參考：
• 時間序列分解法 - MBA智庫百科
• 時間序列分解
• 乘法模型中SCI均爲比例，加法模型中SCI與T有相同量綱。
• 循環變更C較爲複雜，短時間不體現或納入趨勢變化中。
• 兩類平滑方法：
• 以滑動平均做爲平滑方法提取趨勢的seasonal_decompose樸素分解。statsmodels.tsa.seasonal.seasonal_decompose
• 以魯棒局部加權迴歸做爲平滑方法的STL分解。statsmodels.tsa.seasonal.STL
• 季節性分析。數據中有季節性因素，與總體趨勢相比顯得比較弱。原文: Investigating Seasonality in a Time Series: A Mystery in Three Parts ；中文：乾貨 | 季節性的分析纔不簡單，當心不要在隨機數據中也分析出季節性
• 在天池競賽-資金流入流出預測-挑戰Baseline-天池大賽-阿里雲天池，時間序列分解方法也能取得很好的成績。(後面有機會試試這種方法)
• 【天池大數據賽題解析】資金流入流出預測（附Top4答辯ppt） - 止戰 - 博客園

五、特徵工程着手，時間滑窗改變數據的組織方式，使用xgboost/LSTM模型/時間卷積網絡等。參考：

• kaggle商品銷量預測1st的思路：特徵工程+LGBM/LSTM， 1st place solution | Kaggle
• kaggle商品銷量預測5th的思路：特徵工程+LGBM/CNN-DNN/seq2seq，5th Place Solution | Kaggle

六、轉化爲監督學習數據集，使用xgboot/LSTM模型/時間卷積網絡/seq2seq(attention_based_model)。參考：

• 如何用Python將時間序列轉換爲監督學習問題 - 雲+社區 - 騰訊雲
• Keras中帶LSTM的多變量時間序列預測 - 雲+社區 - 騰訊雲
• 時間卷積網絡(TCN) 總結：時序模型再也不是遞歸網絡(RNN) 的天下，但做爲信息粗暴提取的一種方法，請不要神話CNN !
• 算法上能夠引入注意力機制的seq2seq模型，見過純粹的seq2seq解法，結合注意力機制的還沒見過開源代碼(多是搜索不夠仔細)。
• seq2seq代碼：Kaggle-Competition-Favorita/seq2seq
• 注意力機制資料：
• 臺大-李宏毅《Attention_based_model》
• 他們只說注意力機制（Attention Mechanism）不練，仍是我來給你們擼代碼講解
• 盛源車：真正的徹底圖解Seq2Seq Attention模型
• 《Attention is All You Need》淺讀（簡介+代碼）
• 川陀學者：Attention機制詳解（二）——Self-Attention與Transformer
• The Illustrated Transformer
• Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)

七、Facebook-prophet，相似於STL分解思路，由於以爲在控制程度和可解釋性上比傳統時序模型更有優點，因此單獨列車。參考：

• 官網說明(英文)
• 官網notbook(英文)
• 中文推薦
  張戎
  的文章，從原理到使用都有介紹，很良心。張戎：Facebook 時間序列預測算法 Prophet 的研究
• 我的理解，想進一步用好，能夠好好看看論文和官網，有空擼遍python的源碼
• 理解prior_scale在代碼中如何實現控制趨勢項、季節項和節假日項
• 對於趨勢項參數changepoint_range、changepoint_prior_scale如何影響模型擬合和泛化程度
• 趨勢項中的Uncertainty-Intervals(interval_width參數)如何在預測結果使用
• 論文中的"Simulated Historical Forecasts"對應prophet的Diagnostics工具，能夠利用該工具作時間序列的交叉驗證評價模型準確程度，如何利用該工具調整模型

八、深度學習網絡，結合CNN+RNN+Attention，做用各不相同互相配合。目前也只是看了論文，有代碼的順便給出代碼連接，代碼還沒細看。

主要設計思想：

• CNN捕捉短時間局部依賴關係
• RNN捕捉長期宏觀依賴關係
• Attention爲重要時間段或變量加權
• AR捕捉數據尺度變化(沒太搞懂啥意思~)

方法：

• LSTNet： 適用於自相關圖表現出有明顯週期的時間序列，不然與傳統方法至關。LSTNet-Pytorch、LSTNet-Keras、LSTNet-Gluon(Mxnet)。
• TPA-LSTM： 改進了attention機制，側重選擇關鍵變量，而非選擇時間步；實驗效果說是對週期不明顯的時間序列也能有不錯效果。TPA-LSTM-Tensorflow

代碼

• LSTNet代碼解讀， BINGO Hong：LSTNet詳解
• TPA-LSTM注意力機制， BINGO Hong：TPA注意力機制(TPA-LSTM)

做者：BINGO Hong連接：https://zhuanlan.zhihu.com/p/67832773