Neural Transducer, MoCha模型總結

Neural Transducer, MoCha筆記 首先，先來看看什麼是Neural Transducer。 如上圖所示，我們可以發現Neural Transducer其實就是在輸出時加了一個attention。 我們可以把n個h來作爲一個window，然後利用attention來進行輸出處理。 根據上圖也會對實際window的大小選擇起到指導作用。 接下來，我們來看看什麼是MoCha： 如上圖

>>阅读原文<<