Caffe學習系列(6)：Blob,Layer and Net以及對應配置文件的編寫

深度網絡(net)是一個組合模型，它由許多相互鏈接的層（layers)組合而成。Caffe就是組建深度網絡的這樣一種工具，它按照必定的策略，一層一層的搭建出本身的模型。它將全部的信息數據定義爲blobs，從而進行便利的操做和通信。Blob是caffe框架中一種標準的數組，一種統一的內存接口，它詳細描述了信息是如何存儲的，以及如何在層之間通信的。

一、blob

Blobs封裝了運行時的數據信息，提供了CPU和GPU的同步。從數學上來講, Blob就是一個N維數組。它是caffe中的數據操做基本單位，就像matlab中以矩陣爲基本操做對象同樣。只是矩陣是二維的，而Blob是N維的。N能夠是2，3，4等等。對於圖片數據來講，Blob能夠表示爲（N*C*H*W）這樣一個4D數組。其中N表示圖片的數量，C表示圖片的通道數，H和W分別表示圖片的高度和寬度。固然，除了圖片數據，Blob也能夠用於非圖片數據。好比傳統的多層感知機，就是比較簡單的全鏈接網絡，用2D的Blob，調用innerProduct層來計算就能夠了。

在模型中設定的參數，也是用Blob來表示和運算。它的維度會根據參數的類型不一樣而不一樣。好比：在一個卷積層中，輸入一張3通道圖片，有96個卷積核，每一個核大小爲11*11，所以這個Blob是96*3*11*11. 而在一個全鏈接層中，假設輸入1024通道圖片，輸出1000個數據，則Blob爲1000*1024

二、layer

層是網絡模型的組成要素和計算的基本單位。層的類型比較多，如Data,Convolution,Pooling,ReLU,Softmax-loss,Accuracy等，一個層的定義大至以下圖：

從bottom進行數據的輸入 ，計算後，經過top進行輸出。圖中的黃色多邊形表示輸入輸出的數據，藍色矩形表示層。

每一種類型的層都定義了三種關鍵的計算：setup,forward and backword

setup: 層的創建和初始化，以及在整個模型中的鏈接初始化。

forward: 從bottom獲得輸入數據，進行計算，並將計算結果送到top，進行輸出。

backward: 從層的輸出端top獲得數據的梯度，計算當前層的梯度，並將計算結果送到bottom,向前傳遞。

三、Net

就像搭積木同樣，一個net由多個layer組合而成。

現給出 一個簡單的2層神經網絡的模型定義( 加上loss 層就變成三層了)，先給出這個網絡的拓撲。

第一層：name爲mnist, type爲Data，沒有輸入（bottom)，只有兩個輸出（top),一個爲data,一個爲label

第二層：name爲ip，type爲InnerProduct, 輸入數據data, 輸出數據ip

第三層：name爲loss, type爲SoftmaxWithLoss，有兩個輸入，一個爲ip,一個爲label，有一個輸出loss,沒有畫出來。

對應的配置文件prototxt就能夠這樣寫：

name: "LogReg"
layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  data_param {
    source: "input_leveldb"
    batch_size: 64
  }
}
layer {
  name: "ip"
  type: "InnerProduct"
  bottom: "data"
  top: "ip"
  inner_product_param {
    num_output: 2
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "ip"
  bottom: "label"
  top: "loss"
}

第一行將這個模型取名爲LogReg, 而後是三個layer的定義，參數都比較簡單，只列出必須的參數。具體的參數定義可參見本系列的前幾篇文章。