Autoregressive Convolutional Neural Networks for Asynchronous Time Series

論文名稱：用於異步時間序列的自迴歸卷積神經網絡

論文摘要：

　　　　金融時間序列一般包含多個維度，不一樣維度數據的採樣頻率也不一致，例如螺紋鋼研究員一般關心螺紋鋼的因素有日頻更新的現貨螺紋鋼價格，周頻更新的螺紋鋼價格，高爐開工率和線螺採購量，而月頻更新的則有商品房銷售面積等，若是其中某些可觀測因子發生變化，投資則對將來螺紋鋼的預期也應發生變化，可是如何處理這些不一樣頻率的數據是量化模型的一個難題，一種比較簡單的方法是下降數據的採樣頻率，例如把日頻數據統一爲周頻，再基於周頻進行預測，但這種方法的缺點也很明顯，期貨自己波動就比較大，經過低頻採樣的數據只能按照低頻進行預測，若是在一週中期貨價格發生了變化，也沒法根據量化模型作出合理的應對，另外影響期貨價格的數據也並不是在週末統一更新，例如周頻發佈的螺紋鋼庫存一般在週四更新而同是周頻發佈的線螺採購量則多是週五更新，若是模型統一爲周頻則有可能錯過了最佳的投資入場點。

　　　　基於此問題，此篇論文介紹了一種能夠處理混頻時間序列的神經網絡架構，顯著-偏置卷積神經網絡，併成功用到多個混頻金融數據集中，他們發現使用這種網絡架構處理混頻數據比經典的向量自迴歸、卷積神經網絡和長短時間記憶神經網絡的效果要好，雖然次中方法還尚在研究階段，可是因爲其新穎的網絡構造方法和應用前景而值得了解。

論文介紹：

　　　　本篇paper首先介紹了顯著-偏執卷積神經網絡架構，而後嘗試利用周頻的螺紋鋼庫存數據和日頻的螺紋鋼期貨主力數據進行預測，發現這種網絡架構在處理混頻數據上具備必定的潛力。

　　　在同頻率時間序列的處理上，宏觀經濟或者計量用的較多的是自迴歸或者是向量迴歸和向量自迴歸移動平均等線性模型，這類模型的優點是模型的參數是可觀測因子的係數，經過檢測因子的統計顯著性能夠分析出因子對待預測變量的影響，於是可以顯著研究人員與經濟變量直接的因果關係。在混頻時間序列的處理上，則一般會使用狀態空間模型，即假設存在一系列不可觀測的狀態，這些不可觀測狀態每每表明的是低頻因子，再經過可觀測的高頻數據對不可觀測的狀態進行推斷，最後根據這些狀態進行預測。雖然這些傳統的經濟學模型具備良好的可解釋性，可是其簡單的線性關係在預測的準確度上每每有必定的欠缺。

　　當前在預測方面的研究熱點是深度神經網絡模型，這類模型在nlp和cv等領域都取得了較好的預測效果，可是這類模型的一個缺點是模型不具有可解釋性，將它直接應用到期貨市場上有必定的風險，由於在經濟學中強調的是變量之間的因果關係，可是期貨市場更增強調的是預測的準確性。若是在預測的時候模型可以具有可解釋性和準確性這兩個方面，那麼對於金融數據的預測將是一個突破性的發展，同時金融時間序列的預測與語言序列的特徵並不是徹底一致，這意味着直接把經典的深度學習模型應用在金融序列上仍須要進行改進。

　　在這種背景下，做者提出了顯著-偏置卷積神經網絡，這種網絡架構把傳統的經濟學自迴歸模型與深度學習相結合用於處理混頻時間序列的預測。這種模型的原理是仿照自迴歸模型保留預測變量的時間序列特徵，而該時間序列的權重再也不是簡單的固定係數，而是一個卷積神經網絡，同時此網絡也具備神經網絡的選通機制。

 

 模型原理：

　　　　在期貨預測中使用到的變量因子一般都是在不一樣時間點觀測獲得的，例如螺紋鋼期貨的收盤價在天天收盤後得到，而螺紋鋼庫存則一般在週四下午公佈，若是週四是非交易日，則沒有螺紋鋼期貨的收盤價，而庫存的發佈因爲節假日等的緣由有可能延遲發佈。這些不一樣頻率的時間序列很難利用傳統的同頻率模型進行處理。因此做者在處理這個問題時，他們首先把多維混頻的時間序列使用一種新的方法表示，以下圖所示，圖中包含了X和Y兩個不一樣頻率採樣的時間序列。因爲採樣時間徹底不同，這兩個時間序列的值能夠合併到一個維度，而後再分別使用X和Y兩個指標來表示當前列的意義，還有一個維度就是用來表示該值持續的時間間隔。例如第一列中X指示的值爲1，Y指示的值爲0代表的是當前時間序列上的值爲X= 4.0，持續時間間隔爲0.3，第二列X指示的值爲0，Y指示的值爲1，代表當前時間序列上的值爲Y=7.5，持續時間爲0.7，(這裏的持續時間代表的是一個因子的觀測時間多是不一樣的，那麼就會產生時間差，在計算這樣的的時間差的時候，好比一個因子的值發佈在週三，另一個因子的值發佈在週四，那個能夠當作這裏的時間差爲1個單位)

採用這種混頻數據格式的一個好處就是混頻數據的表示更加緊湊，每一個數據維度不須要單獨的時間表示，取而代之的是用0和1標記數據的維度，即便不一樣維度的數據長度可能不一樣，這種數據仍然能夠緊湊的用矩陣表示。

卷積神經網絡的基本原理：

　　　　　顯著-偏置神經網絡由卷積網絡堆積而成，上面標識的這種網絡能夠直接做爲輸入讀入，在這裏使用的是一維的卷積核，長度爲4，該卷積核至關於一個4維的向量，而後點乘下表中，每一列的值，由左往右進行，若是輸入的時間序列有8列則通過這一層卷積後序列原本有32個數據，通過一個filter以後，序列的數據變成了8個，若是同時有兩個filter，則序列的數據變成了16，而後再通過一層激活函數激活，則構成了深度神經網絡。

 

SOCNN應用實例

　　　　　　與經典的卷積神經網絡相比，SOCNN沒有使用pooling layer，因此輸入的 時間序列的長度可以一直保持到最後的全鏈接層。正是這種作法才部分保留了神經網絡最終輸出的可解釋性，便可以使用顯著網絡的權重對某個時間點上變量的顯著性作出分析。但另外一個方面若是選取的時間序列的長度過長的話，則包含的數據實際的維度再每一個樣本中可能不一致。

　　　　　　本文主要使用的是SOCNN預測螺紋鋼期貨主力合約的收益率，預測是基於每週發佈的螺紋鋼庫存以及主力期貨合約的日度收盤價這兩個因子，訓練樣本的長度維10個交易日，一般包含一到兩個周頻數據，數據的格式已經在圖一中展現，用於預測下個交易日期貨的收益率，使用的數據維螺紋鋼主力期貨的日收益率和庫存的周度變化率，使用的數據是螺紋鋼主力期貨的日收益率和庫存的周度變化率，數據日期從3009年3月至2017年11月，約2500個交易日。SOCNN的訓練使用簡單的交叉驗證法，約70%的樣本用於訓練，10%的樣本用於驗證集，20%的樣本用做測試集。神經網絡訓練時使用提前中止的方法，即驗證集偏差開始增大時中止，神經網絡的超參數包括隱藏層神經元數量，學習速度和主成分個數。

　結果討論：

　　　　　　本報告首先對做者提出的SOCNN瓦蓋羅解釋了原理、框架和數據組織方法。這種網絡架構主要是爲了適應混頻的金融時間序列，其主要原理是使用了多重卷積網絡對混頻時間序列進行提取，而後計算時間序列上各個節點的權重，因此構造出的神經網絡做者認爲是部分可解釋的。