DSANet:基於自雙向注意力網絡的多元時間序列預測模型

DSANet:基於自雙向注意力網絡的多元時間序列預測模型

題目：

DSANet: Dual Self-Attention Network for Multivariate Time

Series Forecasting

做者：

Siteng Huang，Donglin Wang∗，Xuehan Wu，Ao Tang

來源：

Machine Learning (cs.LG)   

CIKM ’19, November 3–7, 2019, Beijing, China

文檔連接：

https://kyonhuang.top/files/Huang-DSANet.pdf

代碼連接：

https://github.com/bighuang624/DSANet

摘要

多元時間序列預測在系統、交通、金融等領域受到普遍關注。任務的難點在於傳統的方法沒法捕捉時間步長和多個時間序列之間複雜的非線性依賴關係。近年來，遞歸神經網絡和注意機制被普遍應用於多時間步長的週期性時間模式的建模。然而，這些模型不適用於動態週期模式或非週期模式的時間序列。本文提出了一種雙關注網絡(DSANet)來進行高效的多變量時間序列預測，特別適用於動態週期或非週期序列。DSANet徹底不須要遞歸，而是利用兩個並行的卷積份量，即全局時域卷積和局部時域卷積，來捕獲全局和局部時域模式的複雜混合。此外，DSANet還使用了一個自我關注模塊來對多個系列之間的依賴關係進行建模。爲了進一步提升魯棒性，DSANet還集成了一個與非線性神經網絡並行的傳統自迴歸線性模型。對真實世界多變量時間序列數據的實驗代表，該模型是有效的，性能優於基線。

英文原文

Multivariate time series forecasting has attracted wide attention in areas, such as system, traffic, and finance. The difficulty of the task lies in that traditional methods fail to capture complicated nonlinear dependencies between time steps and between multiple time series. Recently, recurrent neural network and attention mechanism have been used to model periodic temporal patterns across multiple time steps. However, these models fit not well for time series with dynamic-period patterns or nonperiodic patterns. In this paper, we propose a dual self-attention network (DSANet) for highly efficient multivariate time series forecasting, especially for dynamic-period or nonperiodic series. DSANet completely dispenses with recurrence and utilizes two parallel convolutional components, called global temporal convolution and local temporal convolution, to capture complex mixtures of global and local temporal patterns. Moreover, DSANet employs a self-attention module to model dependencies between multiple series. To further improve the robustness, DSANet also integrates a traditional autoregressive linear model  in parallel to the non-linear neural network. Experiments on realworld multivariate time series data show that the proposed model is effective and outperforms baselines.

要點

爲了對多元時間序列進行準確、穩健的預測，咱們提出了一種雙自注意網絡(DSANet)，用於在沒有外生信息的狀況下進行高效的多元時間序列預測。在DSANet中，咱們首先將每一個單變量時間序列獨立地注入兩個並行的卷積份量，分別稱爲全局時域卷積和局部時域卷積，從而對全局和局部時域模式的複雜混合進行建模。接下來，將每一個卷積組件的學習時間序列表示輸入到一個單獨的自我注意模塊中，目的是學習不一樣序列之間的依賴關係。爲了進一步提升魯棒性，將自迴歸線性模型與DSANet的非線性注意網絡並行集成。

相關工做（基線方法）

1.統計線性方法：向量自迴歸(VAR)模型

2.非線性關係方法：LRidge、LSVR[和Gaussian process (GP)。

3.神經網絡模型：LSTM或GRU的遞歸神經網絡，遞歸跳躍層(LSTNet-S)、時間注意層(LSTNet-A)，時間模式注意機制(TPA)。

模型結構圖

圖1概述了咱們提出的DSANet。DSANet利用兩個卷積結構，即全局時域卷積和局部時域卷積，將X中的每一個單變量序列嵌入到兩個具備不一樣尺度時間信息的表示向量中。

實驗

評價指標：

1.均方根偏差(RMSE) 【偏差類，越小越好】

2.平均絕對偏差(MAE)【偏差類，越小越好】

各模型在各數據集上的性能評價指標結果：

RMSE、MAE比較結果：

結論

針對多變量時間序列預測問題，提出了一種新的深度學習框架——雙注意網絡(DSANet)。在大型真實數據集上的實驗顯示了優秀的結果。

文字來源於網絡 侵刪

翻譯：人工智能學術前沿

點「在看」給我一朵小黃花

本文分享自微信公衆號 - 人工智能學術前沿（AI_Frontier）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。