自注意力的祕密.

跟着別人學轉換器 參考地址 1,超參數文件 2,源匯詞彙文件,預處理,就是詞彙+次數的統計文件 3,加載數據,批量化數據文件,詞與id創建一一對應關係.(一批一批的處理數據) 4,(實現編碼器和解碼器的)模型文件(重點) 5,訓練代碼(模型,損失函數) 6,評估.web 1,超參數:批大小,學習速率,最大詞長度,最小詞數,隱藏節點數(或許就是神經單元數吧),塊數(加解碼塊數)svg 4,模型. 1

>>阅读原文<<