論文筆記：Representation Learning with Contrastive Predictive Coding

對於無監督學習來說，互信息是一個非常重要的指標，它衡量了兩個隨機變量之間的相關性。在無監督學習中，利用對互信息的優化，通常我們能夠得到更加好的特徵表示。 要做什麼 特徵抽取是無監督學習的重要部分，旨在對大量的無標註數據樣本進行訓練，最後能夠得到一個編碼器E，將每一個樣本 x x x編碼爲一個好的向量表示 z z z，那麼如何衡量這個表示是否好呢？自編碼器(AutoEncoder)告訴我們, 希望編

>>阅读原文<<