「噪聲對比估計」雜談：曲徑通幽之妙

做者丨蘇劍林網絡 單位丨廣州火焰信息科技有限公司機器學習 研究方向丨NLP，神經網絡函數 我的主頁丨kexue.fm學習 說到噪聲對比估計，或者「負採樣」，你們可能立馬就想到了 Word2Vec。事實上，它的含義遠不止於此，噪音對比估計（NCE, Noise Contrastive Estimation）是一個迂迴但卻異常精美的技巧，它使得咱們在無法直接完成歸一化因子（也叫配分函數）的計算時，就可

>>阅读原文<<