深度學習面試

什麼是卷積？

對圖像（不一樣的數據窗口數據）和濾波矩陣（一組固定的權重：由於每一個神經元的多個權重固定，因此又能夠看作一個恆定的濾波器filter）作內積（逐個元素相乘再求和）的操做就是所謂的『卷積』操做，也是卷積神經網絡的名字來源。

什麼是CNN的池化

池化，簡言之，即取區域平均或最大

簡述下什麼是生成對抗網絡？

GAN之因此是對抗的，是由於GAN的內部是競爭關係，一方叫generator，它的主要工做是生成圖片，而且儘可能使得其看上去是來自於訓練樣本的。另外一方是discriminator，其目標是判斷輸入圖片是否屬於真實訓練樣本。 更直白的講，將generator想象成假幣制造商，而discriminator是警察。generator目的是儘量把假幣造的跟真的同樣，從而可以騙過discriminator，即生成樣本並使它看上去好像來自於真實訓練樣本同樣

請介紹下tensorflow的計算圖

Tensorflow是一個經過計算圖的形式來表述計算的編程系統，計算圖也叫數據流圖，能夠把計算圖看作是一種有向圖，Tensorflow中的每個節點都是計算圖上的一個Tensor, 也就是張量，而節點之間的邊描述了計算之間的依賴關係(定義時)和數學操做(運算時)

deeplearning 調參經驗？

參數初始化 下面幾種方式,隨便選一個,結果基本都差很少。可是必定要作。不然可能會減慢收斂速度，影響收斂結果，甚至形成Nan等一系列問題。 

.LSTM爲何比RNN好？

由於LSTM有進有出且當前的cell informaton是經過input gate控制以後疊加的，RNN是疊乘，所以LSTM能夠防止梯度消失或者爆炸。

9.Sigmiod、Relu、Tanh三個激活函數的缺點和不足，有沒有更好的激活函數？

sigmoid、Tanh、ReLU的缺點在121問題中已有說明，爲了解決ReLU的dead cell的狀況，發明了Leaky Relu， 即在輸入小於0時不讓輸出爲0，而是乘以一個較小的係數，從而保證有導數存在。一樣的目的，還有一個ELU

爲何引入非線性激活函數？

第一，對於神經網絡來講，網絡的每一層至關於f(wx+b)=f(w'x)，對於線性函數，其實至關於f(x)=x，那麼在線性激活函數下，每一層至關於用一個矩陣去乘以x，那麼多層就是反覆的用矩陣去乘以輸入。根據矩陣的乘法法則，多個矩陣相乘獲得一個大矩陣。因此線性激勵函數下，多層網絡與一層網絡至關。好比，兩層的網絡f(W1*f(W2x))=W1W2x=Wx。 第二，非線性變換是深度學習有效的緣由之一。緣由在於非線性至關於對空間進行變換，變換完成後至關於對問題空間進行簡化，原來線性不可解的問題如今變得能夠解了。 下圖能夠很形象的解釋這個問題，左圖用一根線是沒法劃分的。通過一系列變換後，就變成線性可解的問題了。

relu爲什麼好過sigmoid和tanh？

第一，採用sigmoid等函數，算激活函數時（指數運算），計算量大，反向傳播求偏差梯度時，求導涉及除法和指數運算，計算量相對大，而採用Relu激活函數，整個過程的計算量節省不少。

第二，對於深層網絡，sigmoid函數反向傳播時，很容易就會出現梯度消失的狀況（在sigmoid接近飽和區時，變換太緩慢，導數趨於0，這種狀況會形成信息丟失），這種現象稱爲飽和，從而沒法完成深層網絡的訓練。而ReLU就不會有飽和傾向，不會有特別小的梯度出現。

第三，Relu會使一部分神經元的輸出爲0，這樣就形成了網絡的稀疏性，而且減小了參數的相互依存關係，緩解了過擬合問題的發生（以及一些人的生物解釋balabala）。固然如今也有一些對relu的改進，好比prelu，random relu等，在不一樣的數據集上會有一些訓練速度上或者準確率上的改進。

 

轉：http://www.javashuo.com/article/p-wkwzxagp-ea.html