信息瓶頸理論-筆記

什麼是信息瓶頸理論 信息瓶頸（英語：information bottleneck）理論是信源壓縮的率失真理論的一種拓展。通俗講： 由於沒有先驗知識，於是只好都記住，但是可以消除數據本身的冗餘（如huffman編碼）。這個是最傳統的數據壓縮，如果允許壓縮時失真，對應的是率失真理論：給定失真下可獲得的最低壓縮碼率，即在失真和壓縮碼率之間權衡。 如果有先驗知識，比如數據是帶標籤的，那消除數據本身的冗餘之

>>阅读原文<<