稀疏自編碼器一覽表

時間 2019-11-06

標籤稀疏編碼器一覽表简体版

原文原文鏈接

如下是咱們在推導sparse autoencoder時使用的符號一覽表：網絡

符號	含義
$\textstyle x$	訓練樣本的輸入特徵， $\textstyle x \in \Re^{n}$ .
$\textstyle y$	輸出值/目標值. 這裏 $\textstyle y$ 可以是向量. 在autoencoder中。 $\textstyle y=x$ .
$\textstyle (x^{(i)}, y^{(i)})$	第 $\textstyle i$ 個訓練樣本
$\textstyle h_{W,b}(x)$	輸入爲 $\textstyle x$ 時的若是輸出，當中包括參數 $\textstyle W,b$ . 該輸出應當與目標值 $\textstyle y$ 具備一樣的維數.
$\textstyle W^{(l)}_{ij}$	鏈接第 $\textstyle l$ 層 $\textstyle j$ 單元和第 $\textstyle l+1$ 層 $\textstyle i$ 單元的參數.
$\textstyle b^{(l)}_{i}$	第 $\textstyle l+1$ 層 $\textstyle i$ 單元的偏置項. 也可以看做是鏈接第 $\textstyle l$ 層偏置單元和第 $\textstyle l+1$ 層 $\textstyle i$ 單元的參數.
$\textstyle \theta$	參數向量. 可以以爲該向量是經過將參數 $\textstyle W,b$ 組合展開爲一個長的列向量而獲得.
$\textstyle a^{(l)}_i$	網絡中第 $\textstyle l$ 層 $\textstyle i$ 單元的激活（輸出）值. 另外，由於 $\textstyle L_1$ 層是輸入層，因此 $\textstyle a^{(1)}_i = x_i$ .函數
$\textstyle f(\cdot)$	激活函數. 本文中咱們使用 $\textstyle f(z) = \tanh(z)$ .
$\textstyle z^{(l)}_i$	第 $\textstyle l$ 層 $\textstyle i$ 單元所有輸入的加權和. 所以有 $\textstyle a^{(l)}_i = f(z^{(l)}_i)$ .
$\textstyle \alpha$	學習率
$\textstyle s_l$	第 $\textstyle l$ 層的單元數目（不包括偏置單元）.
$\textstyle n_l$	網絡中的層數. 一般 $\textstyle L_1$ 層是輸入層， $\textstyle L_{n_l}$ 層是輸出層.
$\textstyle \lambda$	權重衰減係數.
$\textstyle \hat{x}$	對於一個autoencoder，該符號表示其輸出值；亦即輸入值 $\textstyle x$ 的重構值. 與 $\textstyle h_{W,b}(x)$ 含義一樣.
$\textstyle \rho$	稀疏值，可以用它指定咱們所需的稀疏程度
$\textstyle \hat\rho_i$	（sparse autoencoder中）隱藏單元 $\textstyle i$ 的平均激活值.
$\textstyle \beta$	（sparse autoencoder目標函數中）稀疏值懲處項的權重.

相關文章

相關標籤/搜索

瀏覽器信息

代碼格式化

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。

最新文章

本站公眾號

歡迎關注本站公眾號,獲取更多信息

相關文章

>>更多相關文章<<