論文連接：https://arxiv.org/pdf/1803.01271.pdf網絡
TCN（Temporal Convolutional Networks）
TCN特色：spa
- 可實現接收任意長度的輸入序列做爲輸入，同時將其映射爲等長的輸出序列，這方面比較像RNN。
- 計算是layer-wise的，即每一個時刻被同時計算，而非時序上串行。
- 其卷積網絡層層之間是有因果關係的，意味着不會有「漏接」的歷史信息或是將來數據的狀況發生，即使 LSTM 它有記憶門，也沒法完徹底全的記得全部的歷史信息，更況且要是該信息無用了就會逐漸被遺忘。
TCN組成： $$TCN = 1D \ FCN + causal convolutions$$ TCN結構圖： 
.net
因果卷積（Causal Convolution）
因果卷積能夠用上圖直觀表示。 即對於上一層t時刻的值，只依賴於下一層t時刻及其以前的值。和傳統的卷積神經網絡的不一樣之處在於，因果卷積不能看到將來的數據，它是單向的結構，不是雙向的。也就是說只有有了前面的因纔有後面的果，是一種嚴格的時間約束模型，所以被成爲因果卷積。orm
###膨脹卷積（Dilated Convolution） 如圖TCN結構圖(a)。單純的因果卷積仍是存在傳統卷積神經網絡的問題，即對時間的建模長度受限於卷積核大小的，若是要想抓去更長的依賴關係，就須要線性的堆疊不少的層。爲了解決這個問題，研究人員提出了膨脹卷積。 膨脹卷積（dilated convolution）是經過跳過部分輸入來使filter能夠應用於大於filter自己長度的區域。等同於經過增長零來從原始filter中生成更大的filter。 The dilated convolution operation F on element s of the sequence is defined as: $$F(s)=(x*df)(s)=\overset{k-1}{\underset{i=0}\sum}f(i) \cdot x{s-d \cdot i}$$ where d is the dilation factor, k is the filter size, and $s-d\cdot i$ accounts for the direction of the past. 越到上層，卷積窗口越大，而卷積窗口中的「空孔」越多。d是擴展係數（即評價「空孔」的多少）。blog
殘差連接（Residual Connections）
如圖TCN結構圖(b)。 殘差連接被證實是訓練深層網絡的有效方法，它使得網絡能夠以跨層的方式傳遞信息。本文構建了一個殘差塊來代替一層的卷積。如上圖所示，一個殘差塊包含兩層的卷積和非線性映射，在每層中還加入了WeightNorm和Dropout來正則化網絡。爲何要1×1卷積呢？1×1卷積是能夠用來降維的 。做者直接把較下層的特徵圖跳層鏈接到上層，對應的每一個Cell的特徵圖數量（也就是通道數channel）不一致，致使不能直接作相似Resnet的跳層特徵圖加和操做，因而，爲了兩個層加和時特徵圖數量吻合，用1×1卷積作了一個降維的操做。element
FCN 全卷積網絡
引用：get