「嘿，機器，你是怎麼作好翻譯的呀？」 「來，我畫給你看！」

論文做者 | 丁延卓、劉洋、欒煥博、孫茂松（清華大學）

特約記者 | 吳酈軍（中山大學）

若是有一個功能神奇的「黑箱子」，你想不想打開它，好好研究一番？神經機器翻譯就是這麼一個「黑盒」，只要給它一句中文，就能將對應的英文順利地翻譯出來，如何才能一探其中的究竟呢？清華大學的丁延卓同窗、劉洋老師、欒煥博老師和孫茂松老師在今年 ACL2017 上的工做就將這其中的奧祕「畫給你看」。

近年來，深度學習快速發展，神經機器翻譯（Neural Machine Translation）方法已經取得了比傳統的統計機器翻譯（Statistical Machine Translation）更爲準確的翻譯結果。但是，深度學習這樣的複雜而又龐大的網絡模型，就像一個摸不清的「黑箱子」，網絡中只有浮點數的傳遞，到底背後包含着怎樣的語義、邏輯，一直困擾着研究人員對於神經機器翻譯的深刻理解和分析。所以，若是可以將網絡可視化，找到網絡中神經元之間的相關關係，將極大幫助人們探究神經機器翻譯中出現的各種錯誤，同時也能幫助指導如何調試更好的模型。

而就在今年的 ACL2017 上，清華大學的丁延卓同窗、劉洋老師、欒煥博老師和孫茂松老師發表了論文「Visualizing and Understanding Neural Machine Translation」，借鑑視覺領域中的研究，首次將計算機視覺中 layer-wise relevance propagation（LRP）的方法引入到神經機器翻譯中，爲注意力機制（attention mechanism）的編碼-解碼（encoder-decoder）神經機器翻譯模型提供了可視化以及可解釋性的可能。經過分析層與層之間的相關性，將這些關係「畫」了出來。「據咱們所知，目前尚未工做是在神經機器翻譯模型的可視化上。」做者告訴咱們，現有的注意力機制被限制在只能證實源語言（source language）和目標語言（target language）之間存在關係，卻不能提供更多的信息來幫助瞭解目標語言的詞語是如何一步一步生成的；而相關性分析則可以幫助理解這個過程，而且可以分析任意神經元之間的關係。

Layer-wise relevance propagation（LRP）的方法究竟是什麼呢？其實就是一個計算相關性，並將相關性逐層向後傳播的過程。首先將網絡模型當作一個拓撲圖結構，在計算一個節點 a 和輸入的節點之間的相關性時，將 a 點的數值做爲相關性，而且計算與 a 點相連的上一層節點在生成 a 點時所佔的權重，將 a 的相關性逐層向後傳播，直到輸入層。做者用下圖的例子告訴了咱們：

▲ 圖1：Layer-wise Relevance Propagation 示例

若是要計算 v1 和 u1 之間的相關性，首先計算 v1 和 z1, z2 之間的相關性，再將 v1 和z1, z2 的相關性傳遞到 u1, 從而求得 v1 和 u1 之間的相關性。

經過這樣的計算，咱們最終能「畫」出怎樣的相關性呢？讓咱們來幾個例子（顏色越深表示相關性越強）：

▲ 圖2：目標語言單詞"visit"對應的隱變量可視化圖

▲ 圖3：錯誤分析：不相關詞語"forge"與源句子徹底不相關

圖 2 是在翻譯「我參拜是爲了祈求」時中間的隱層 c2, s2 以及輸出層 y2 和輸入句子詞語之間的相關性，能夠看到「visit」這個詞語正確的和「參拜」以及「my」的相關性更爲強烈，於是正確的翻譯出了詞語「visit」；而圖 3 則代表「forge」（鍛造）這個詞語的隱層 c9, s9 和輸入的詞語都沒有正確的相關性而且跳躍，而在生成時 y9 也沒有和輸入有正確的相關性。

「經過對翻譯中出現的不一樣錯誤的相關性的可視化的觀察，咱們的方法可以幫助模型進行改造和更好的調試。」做者告訴咱們，在將 LRP 的方法引入時其實也遇到了一些難點，好比圖像領域只是輸入圖像像素點，而機器翻譯中則是一串詞語，每一個詞語都對應着一個長度或百或千的向量，對於計算相關性形成了困難；同時模型複雜，包含各類不一樣的計算算子。而經過仔細地設計計算方法以及 GPU 的利用，也將困難一個個克服了。

「將來，咱們但願將方法用於更多不一樣的神經機器翻譯模型中，另外也但願構建基於相關性分析的更好的神經機器翻譯模型。」對於將來的研究工做，他們也更爲期待。

歡迎點擊查看論文：

Visualizing and Understanding Neural Machine Translation

關於中國中文信息學會青工委

中國中文信息學會青年工做委員會是中國中文信息學會的下屬學術組織，專門面向全國中文信息處理領域的青年學者和學生開展工做。

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。若是你研究或從事 AI 領域，歡迎在公衆號後臺點擊「交流羣」，小助手將把你帶入 PaperWeekly 的交流羣裏。

微信公衆號：PaperWeekly

新浪微博：@PaperWeekly