（PCA與信息）方差和熵

方差和熵 最近在看主成分分析(PCA)時，在對數據進行壓縮時，要求方差最大化，目的是保留數據的更多信息。根據信息論，「信息熵」用於量化信息，那麼這樣看來方差和信息熵都可以用於量化信息，那它們有是什麼不同呢？爲什麼它們可以量化信息呢？ 一條信息的信息量與其不確定性有着直接的誒關係。比如說，我們要搞清楚意見非常不確定的事，或者我們一無所知的事情，就需要了解大量的信息。所以，從這個角度來看，可以認爲信息

>>阅读原文<<