caffe中不同層的含義和卷積的計算方式

1、ReLU激活函數     激活函數，用在各個卷積層和全連接層輸出位置。激活函數是深度網絡非線性的主要來源。通常包括：simgoid（f(x)=(1+e-x)-1）和tanh（f(x)=sinhx/coshx,圖形類似於arctanx，但是值域是[-1,1]）作爲激活函數。     用ReLU（f(x)=max(0,x)）作爲激活函數的原因是：加速收斂、解決了梯度消失問題，增加非線性 2：con

>>阅读原文<<