deep learning.ai 第五課筆記 -序列模型

第一週:循環序列模型 1.循環神經網絡的反向傳播如下 2.幾種序列模型的結構 3.nlp可以用字符或者詞彙的模型,字符的模型不會出現位置字符,但是字符的模型訓練量巨大,因爲一句話可以只有10~20個單詞,但可能會有很多字符,所以現有的自然語言處理的趨勢是使用詞彙的模型 4.如果遇到梯度爆炸,比如參數爲Nan或者未知字符或者特別大出現數值溢出時,可以用梯度修剪方法,即觀察參數,如果他大於某個閾值則縮
相關文章
相關標籤/搜索