訓練深度時間序列預測模型的形狀和時間失真損失

訓練深度時間序列預測模型的形狀和時間失真損失

題目：

Shape and Time Distortion Loss for Training Deep Time Series Forecasting Models

做者：

Vincent Le Guen (CEDRIC - MSDMA, EDF R&D PRISME), Nicolas Thome (CEDRIC - MSDMA)

來源：

Machine Learning (cs.LG)

Submitted on 19 Sep 2019 

文檔連接：

arXiv:1909.09020

代碼連接：

https://github.com/vincent-leguen/STDL

摘要

本文研究了非平穩信號的時間序列預測和將來多步預測問題。爲了解決這一難題，咱們引入了形狀和時間失真損失(STDL)，這是一種用於訓練深度神經網絡的新目標函數。STDL旨在準確地預測突變，並明確地結合了兩個術語來支持精確的形狀和時間變化檢測。咱們介紹了一個可微的損失函數，適用於訓練深度神經網絡，並提供了一個自定義的支持實現，以加快優化。咱們還介紹了STDL的一個變體，它提供了一個平滑的時間約束動態時間扭曲(DTW)的泛化。在各類非平穩數據集上進行的實驗代表，與標準均方偏差(MSE)損失函數訓練的模型相比，STDL具備很好的性能，而且與DTW和變量相比也有很好的性能。STDL對於模型的選擇也是不可知的，咱們強調了它對於訓練徹底鏈接的網絡和專門的週期性架構的好處，展現了它改進最早進的軌跡預測方法的能力。

英文原文

This paper addresses the problem of time series forecasting for non-stationary signals and multiple future steps prediction. To handle this challenging task, we introduce the Shape and Time Distortion Loss (STDL), a new objective function dedicated to training deep neural networks. STDL aims at accurately predicting sudden changes, and explicitly incorporates two terms supporting precise shape and temporal change detection. We introduce a differentiable loss function suitable for training deep neural nets, and provide a custom back-prop implementation for speeding up optimization. We also introduce a variant of STDL, which provides a smooth generalization of temporally-constrained Dynamic Time Warping (DTW). Experiments carried out on various non-stationary datasets reveal the very good behaviour of STDL compared to models trained with the standard Mean Squared Error (MSE) loss function, and also to DTW and variants. STDL is also agnostic to the choice of the model, and we highlight its benefit for training fully connected networks as well as specialized recurrent architectures, showing its capacity to improve over state-of-the-art trajectory forecasting approaches.

要點

本工做主要研究非平穩信號的多步預測問題，即將來數據什麼時候不能僅從過去的週期性中推斷，什麼時候可能發生突變。這包括重要的和多樣的應用領域，如調節電力消耗[63,36]，預測可再生能源生產[23]或交通流量的急劇間斷[35,34]，心電圖(ECG)分析[9]，股票市場預測[14]等。

本文的主要內容總結以下:

摘要介紹了在多步非平穩時間序列預測環境下訓練深度神經網絡的一種新的目標函數——形狀和時間失真損失(STDL)。STDL明確地將與變化檢測的形狀和時間定位錯誤相關的懲罰分爲兩個術語(第3節)。STDL的行爲如圖1所示:時間項在圖1(b)中很小(resp)。圖1 (c))。STDL結合了形狀和時間項，所以可以輸出預測(b)和(c)的損失比預期的(a)小得多。爲了用STDL訓練深度神經網絡，咱們推導出了形狀和時間項的可微損失函數(第3.1節)，以及加速優化的高效自定義支持實現(第3.2節)。咱們還引入了STDL的一個變體，它提供了時間約束動態時間扭曲(DTW)度量的平滑泛化[43,28]。在幾個合成和真實的非平穩數據集上進行的實驗代表，用STDL訓練的模型在用形狀和時間失真度量進行評估時，顯著優於用MSE損失函數進行評估的模型，而用MSE進行評估時，SDTL保持了很是好的性能。最後，咱們證實STDL能夠用於各類網絡架構，而且能夠在形狀和時間度量方面賽過爲多步和非平穩預測而專門設計的最早進的模型。

圖1:(a)非信息性預測。(b)形狀正確，延時。(c)時間正確，形狀不許確

圖1:歐幾里得損失的侷限性:在預測突變(目標藍階函數)時，(a)、(b)和(c)三種預測具備類似的歐幾里得損失，但預測技巧有很大不一樣。相反，在這項工做中提出的STDL損耗，它將形狀和時間衰減項分開，支持預測(b)和(c)，而預測(a)沒有捕捉到政權的急劇變化。

圖2:咱們提出的訓練深度預測模型的框架。

圖3:形狀和時間失真損失計算，用於分離形狀和時間偏差。

爲了說明STDL方法的相關性，咱們對來自不一樣領域的3個非平穩時間序列數據集（Synthetic、ECG5000、Traffic）進行了實驗(見圖4中的例子)。

圖4:定性預測結果。

表1:使用MSE、形狀和時間指標評估的預測結果，平均超過10次(平均標準誤差)。對於每一個實驗，最好的方法(學生t測試)用粗體表示。

表2:用Hausdorff和Ramp評分評價Seq2Seq的預測結果，平均超過10次(平均標準誤差)。對於每一個實驗，最好的方法(學生t測試)用粗體表示。

表3:與合成數據集上Seq2Seq模型的STDL糾結變量相比，平均運行超過10次(平均值±標準差)。

圖5:STDL分析結果

圖5(a): STDL的加速。圖5 (b):α的影響

表4:與MSE訓練的最早進的交通預測體系結構的比較，平均運行超過10次(平均值±標準差)。

結論

本文介紹了一種用於訓練深度多步時間序列預測模型的可微損失函數——形狀和時間失真損失(STDL)。STDL結合了兩個術語，用於描述具備突變的非平穩信號的精確形狀和時間定位。咱們展現了STDL在MSE上評估時與標準MSE損失至關，在幾個形狀和時間度量上評估時則要好得多。STDL在形狀和時間方面與MSE訓練的最早進的預測算法相比是最優的。

在將來的工做中，咱們打算將這些思想擴展到機率預測中，例如使用貝葉斯深度學習[21]來計算軌跡的預測分佈，或者將STDL損失嵌入到適合機率預測的深度狀態空間模型架構中。另外一個有趣的方向是使咱們的訓練方案適應寬鬆的監督環境，如半監督的[42]或弱監督的[16]，以便在訓練時僅使用分類標籤(如是否存在變化點)進行完整的軌跡預測。

文字來源於網絡 侵刪

翻譯：人工智能學術前沿

加關注

qq羣號：966308496

人工智能學術前沿

長按左邊二維碼

感謝您的關注

本文分享自微信公衆號 - 人工智能學術前沿（AI_Frontier）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。