多任務、多視點學習的自加強時間序列預測

多任務、多視點學習的自加強時間序列預測

題目：

Self-boosted Time-series Forecasting with Multi-task and Multi-view Learning

做者：

Long H. Nguyen, Zhenhe Pan, Opeyemi Openiyi, Hashim Abu-gellban, Mahdi Moghadasi, Fang Jin

來源：

Machine Learning (cs.LG)   

Submitted on 17 Sep 2019

文檔連接：

arXiv:1909.08181

代碼連接：

https://github.com/KurochkinAlexey/Self-boosted-Time-series-Forecasting

摘要

時間序列預測的穩健模型在許多領域都具備重要意義，包括但不限於財務預測、氣溫和用電量。爲了提升預測性能，傳統方法一般須要額外的特徵集。可是，因爲可訪問性的限制，從不一樣數據源添加更多的特性集並不老是可行的。本文提出了一種新的自加強機制，將原時間序列分解爲多個時間序列。這些時間序列起到了附加特徵的做用，其中緊密相關的時間序列組被注入多任務學習模型，鬆散相關的時間序列組被注入多視圖學習部分，利用其互補信息。咱們使用三個真實世界的數據集來驗證咱們的模型，並展現咱們提出的方法相對於現有的最早進的基線方法的優越性。

英文原文

A robust model for time series forecasting is highly important in many domains, including but not limited to financial forecast, air temperature and electricity consumption. To improve forecasting performance, traditional approaches usually require additional feature sets. However, adding more feature sets from different sources of data is not always feasible due to its accessibility limitation. In this paper, we propose a novel self-boosted mechanism in which the original time series is decomposed into multiple time series. These time series played the role of additional features in which the closely related time series group is used to feed into multi-task learning model, and the loosely related group is fed into multi-view learning part to utilize its complementary information. We use three real-world datasets to validate our model and show the superiority of our proposed method over existing state-of-the-art baseline methods.

要點

本文提出了一種將多任務學習能力和具備協同訓練目標函數的多視點學習能力相結合的自加強預測模型。更重要的是，該模型不須要外部知識。其核心思想是將原始時間序列分解爲多個份量:固有模態函數和殘差。分解是經過信號處理中引入的經驗集成ecomposition (EEMD)算法完成的(Huang et al. 1998)，其中生成的信號能夠在時間軸上具備可變的振幅和頻率。而後將這些自生成的時間序列與原始時間序列進行聚類，分爲緊密相關組和鬆散相關組。將分解獲得的緊密相關的時間序列用於構建多任務學習模型，將分解獲得的鬆散相關的時間序列組用於多視圖學習。這種組合有助於改進模型的泛化，並能顯著提升性能

本文貢獻以下：

1. 提出了一種新的時間序列自加強預測機制。該方法首先將時間序列分解爲固有的模態函數，而後利用多任務和多視點學習範式從生成的時間序列中構建預測模型。

2. 據咱們所知，這是將EEMD方法從信號處理引入多任務、多視角學習範式來解決時間序列預測問題的第一次嘗試。

3. 經過在不一樣數據集上的大量實驗，咱們證實了咱們提出的自加強模型的優越性，並與最早進的預測技術進行了比較。這種自加強預測方法普遍適用於多變量時間序列數據。

   
   

相關工做

1.自迴歸綜合移動平均(ARIMA) 由兩個變量組成:自迴歸(AR)和移動平均(MA)模型。缺點：它只回看因變量，而不能捕獲模式的異常變化。

2.基於信號處理的方法被應用於解決時間序列預測問題。缺點：在整合最新信號處理技術的成功和多任務、多視圖學習模式方面的工做存在不足。

3.本文提出了將EEMD從信號處理的角度應用於多任務多視點深度神經網絡中，來彌補這一不足。

方法

自加強時間序列預測框架中的多任務、多視圖學習體系結構概述

特徵選擇:咱們將每一個固有模式函數做爲一個附加的特徵來訓練咱們的模型。咱們將全部與原始時間序列最類似的固有模態函數分組，並基於這些特性創建多任務模型。經過兩個時間序列之間的相關係數計算類似度。

預測模型:創建多任務模型，其中每一個任務都是所選固有模態函數的預測。其他的固有模式函數充當目標任務特定分支的附加視圖。聯合訓練算法在多任務學習和多視點學習中的應用有助於提升預測模型的性能。

預測框架圖：

實驗

基準方法:

1.ARIMA：自迴歸綜合移動平均線。(Ediger and Akar 2007).

2.RNN-GRU:使用門遞歸單元(GRU)的遞歸神經網絡。(Chung et al. 2014) 。

3.Dilated CNN：WaveNet架構的卷積神經網絡，包括三個膨脹的卷積層。各層的膨脹值分別爲一、二、4。(Borovykh, Bohte, and Oosterlee 2017).

4.Seq2seq：普遍應用於神經機器翻譯的序列到序列方法。在時間序列預測中，咱們使用了兩個長-短時間記憶網絡(LSTM)。一個是編碼器，另外一個是解碼器。(Sutskever,Vinyals, and Le 2014).

評價指標：

1.均方根偏差(RMSE) 【偏差類，越小越好】

2.平均絕對偏差(MAE)【偏差類，越小越好】

3.平均絕對百分偏差(MAPE)【偏差類，越小越好】

4.相關係數R-squared (R2)【越接近1，擬合性能越好】

數據集：

1.Electricity：電力

這是2011年到2014年，321個客戶每15分鐘記錄一次的用電量kW。咱們對每小時的消耗量進行了從新抽樣，並對每一個客戶的消耗量進行了平均。該數據用於預測每一個客戶平均耗電量的培訓模型。

2.Exchange rate: 匯率

數據集包含了從1990年到2016年八個國家的每日匯率:澳大利亞，英國，加拿大，瑞士，中國，日本，新西蘭和新加坡。

3.Air Temperature：空氣溫度

這是2004年3月到2005年2月在乎大利一個城市內的每小時溫度記錄。缺失的值被線性插值代替。

各模型在各數據集上的性能評價指標結果：

每一個數據集的平均RMSE比較結果：

結論

本文提出了一種新的自加強時間序列預測深度學習模型。該模型經過聯合訓練多任務學習和多視角學習來提升預測性能。學習特徵來自於信號處理領域中集成經驗模態分解(EEMD)方法產生的固有模態函數。多任務學習部分學習相關的固有模式函數，多視圖學習部分學習較少相關的固有模式函數。利用用電量、氣溫和匯率三個公共數據集對預測結果進行了評價。實驗結果代表，咱們提出的自加強模型在全部數據集上都優於幾種最早進的基線方法。將來的工做將繼續探索固有的模式函數選擇策略，從而消除對模型性能的負面影響，提升網絡計算的效率。

文字來源於網絡 侵刪

翻譯：人工智能學術前沿

點「在看」給我一朵小黃花

本文分享自微信公衆號 - 人工智能學術前沿（AI_Frontier）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。