「噪聲對比估計」雜談：曲徑通幽之妙

作者丨蘇劍林 單位丨廣州火焰信息科技有限公司 研究方向丨NLP，神經網絡 個人主頁丨kexue.fm 說到噪聲對比估計，或者「負採樣」，大家可能立馬就想到了 Word2Vec。事實上，它的含義遠不止於此，噪音對比估計（NCE, Noise Contrastive Estimation）是一個迂迴但卻異常精美的技巧，它使得我們在沒法直接完成歸一化因子（也叫配分函數）的計算時，就能夠去估算出概率分佈的

>>阅读原文<<