NLP實踐五-----nn基礎

文章目錄 激活函數 深度學習中的正則化 深度模型中的優化 1.權重初始化 2.自適應學習率算法 fastText 1. 原理 2.代碼實踐 激活函數 概念：激活函數是對某一個隱藏層的結點進行非線性激活操做，分爲如下步驟： （1）輸入該節點的值爲 x1,x2 時，在進入這個隱藏節點後，會先進行一個線性變換，計算出值 z[1]=w1x1+w2x2+b[1]=W[1]x+b[1] ，上標 1 表示第 1

>>阅读原文<<