深度學習工程師筆記 01 深度網絡和深度學習

1 深度學習概論

1.1 神經網絡的分類及應用領域

廣告、用戶信息等，使用的是標準神經網絡 NN

圖像領域，圖像數據經常使用的是卷積神經網絡 CNN

音頻、中英文翻譯爲序列數據，一維序列數據經常使用的是循環神經網絡 RNN 。注：音頻是隨時間播放的，屬於一維時間序列，英語、漢語中的字母/單詞/字都是逐個出現的，也是序列數據

複雜的圖片、雷達信號，經常使用混合神經網絡結構

上圖是標準的神經網絡

卷積神經網絡Convolutional NN 

循環神經網絡 Recurrent NN

1.2 監督學習supervised learning中的數據結構分類

數據結構分爲結構化數據 Structured Data 和非結構化數據 Unstructured Data 兩種。

結構化數據也稱做行數據，可由二維表結構來邏輯表達和實現的數據，對於表結構中的每一列（實際上也是數據的特徵）都有清晰的定義。

非結構化數據是指不方便用二維表結構表達的數據，例如音頻中的音頻、圖像中的像素值、文本中的單詞，這些數據結構不規則或不完成，

非結構化數據是不方便用數據庫二維邏輯表來表現的數據，它們的特色是數據結構不規則或不完整，用二維表來表達這些內容反而會使數據存儲空間利用率低。

參考：結構化數據 和 非結構化數據

 2 神經網絡基礎

2.1 一張圖片的矩陣向量

概念：二分分類 Binary Classification：

「 是 」 和 「 非 」 的關係

如判斷一張圖片是否是貓：是 VS 不是

將圖片轉換成矩陣向量

下圖中貓是輸入的特徵 x ，其標籤爲 y 。

1 - RGB 圖片

2 - 矩陣向量

從上圖看，矩陣的向量shape值爲

img.shape = (64, 64, 3 )

將該特徵建立爲一維向量，每種顏色的像素值將會被展開並重塑（the pixel intensity values will be 「unroll」 or 「reshape」 for each color ），以下圖所示

此時的 x 可表示爲 n_x = 64 * 64 * 3 = 12288

此時 x 的數學表達式 x ∈  _，y ∈ (0,1) ；可表示爲 ( x, y )
備註：表示實數域，對任意一個正整數n，實數的n元組的全體構成了{\displaystyle \mathbb {R} }上的一個n維向量空間，用來表示。這屬於歐幾里得空間【歐幾裏空間維基百科】中的概念

 爲了數學方便，之後文件中記爲 R, 在吳恩達的文件中，寫做方式以下：

2.2 多張圖片的表達

 當由多張圖時，其實也意味着有多個訓練樣本，假若有 m 個樣本。

m training example { ( x1,y1),(x2,y2),...(xm, ym) )，其中xi爲一維列向量，i 爲1，2... m。

此時 x 爲 64*64*3 行、m 列。