? 我是在差分隱私下看到的，新解決方案的可用性肯定小于原有解決方案的可用性，也就是說(shuō)信息的后續(xù)處理只會(huì)降低所擁有的信息量。

? 那么如果這么說(shuō)的話(huà)為什么還要做特征工程呢，這是因?yàn)樵摬坏仁接幸粋€(gè)巨大的前提就是數(shù)據(jù)處理方法無(wú)比的強(qiáng)大，比如很多的樣本要分類(lèi)，我們做特征提取后，SVM效果很好 ，但是如果用DNN之類(lèi)的CNN、AuToEncoder，那么效果反而不如原來(lái)特征。這樣就能理解了，DNN提取能力更強(qiáng)，那么原始就要有更多的信息，在新特征下無(wú)論怎么提取，信息就那么多。

? 信息量越多越好么？肯定不是，否則為什么PCA要做降噪和去冗余呢？我們的目的是有效的信息最大化。

? 另外一種理解就是從互信息不為0（信息損失）來(lái)解釋。

? 從而

?

? 那么如何在處理過(guò)程中不丟失有效信息呢？這時(shí)候就需要數(shù)學(xué)上的充分統(tǒng)計(jì)量，也就是g是y的充分統(tǒng)計(jì)量。

總結(jié)

以上是生活随笔為你收集整理的数据处理不等式：Data Processing Inequality的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。