針對領域不變訓練的注意力對抗學習

ICASSP 2019 SLP-P17.3: ATTENTIVE ADVERSARIAL LEARNING FOR DOMAIN-INVARIANT TRAINING（針對領域不變訓練的注意力對抗學習）

   

簡介

基於注意力機制的領域不變對抗性訓練，用於抑制說話人變量與環境變量，以實現魯棒ASR。

   

基於對抗的領域不變性訓練（Adversarial Domain-Invariant Training，ADIT）

收斂：

同時，經過最小化預測三音素後驗與三音素標籤之間的交叉熵以提升F的三音素鑑別性：

基於注意力機制的、對抗的領域不變性訓練（Attentive Adversarial Domain-Inveriant Training，AADIT）

在ADIT中，領域分類損失函數 等於 深度特徵序列中每一個特徵的分類錯誤之和。然而，與無話語幀的深度特徵相比，有話語幀的深度特徵更具備領域鑑別性；與輔音相比，元音的深度特徵的領域變化性更大。爲解決這一問題，本文提出使用注意力機制動態且自動地調整深度特徵的權重，以對更具備領域鑑別性的深度特徵進行強調，這樣，能加強全部深度特徵的領域不變性。

   

本文使用了更適用於ASR的soft local(time-restricted) self-attention。local attention選擇性地將注意力集中於上下文窗（以當前時間爲中心）。

   

   

• 點積attention

• 加性attention

   

領域分類損失函數變爲：

   

參數估計可表示爲：

實驗結果與結論

與多場景LSTM聲學模型相比，single-head AADIT變好13.6%

與ADIT相比，single-head AADIT變好9.3%

   

參考文獻

ATTENTIVE ADVERSARIAL LEARNING FOR DOMAIN-INVARIANT TRAINING

Zhong Meng, Jinyu Li, Yifan Gong, Microsoft Corporation, United States