Neural Transducer, MoCha模型總結

Neural Transducer, MoCha筆記 首先,先來看看什麼是Neural Transducer。 如上圖所示,我們可以發現Neural Transducer其實就是在輸出時加了一個attention。 我們可以把n個h來作爲一個window,然後利用attention來進行輸出處理。 根據上圖也會對實際window的大小選擇起到指導作用。 接下來,我們來看看什麼是MoCha: 如上圖
相關文章
相關標籤/搜索