數據處理不等式：Data Processing Inequality

  我是在差分隱私下看到的，新解決方案的可用性確定小於原有解決方案的可用性，也就是說信息的後續處理只會下降所擁有的信息量。

  那麼若是這麼說的話爲何還要作特徵工程呢，這是由於該不等式有一個巨大的前提就是數據處理方法無比的強大，好比不少的樣本要分類，咱們作特徵提取後，SVM效果很好 ，可是若是用DNN之類的CNN、AuToEncoder，那麼效果反而不如原來特徵。這樣就能理解了，DNN提取能力更強，那麼原始就要有更多的信息，在新特徵下不管怎麼提取，信息就那麼多。

  信息量越多越好麼？確定不是，不然爲何PCA要作降噪和去冗餘呢？咱們的目的是有效的信息最大化。

  另一種理解就是從互信息不爲0（信息損失）來解釋。

  從而

 

  那麼如何在處理過程當中不丟失有效信息呢？這時候就須要數學上的充分統計量，也就是g是y的充分統計量。