奧卡姆剃刀(Occam's?Razor).????奧卡姆剃刀（Occam's?Razor,?Ockham's?Razor）是由14世紀(jì)邏輯學(xué)家、圣方濟(jì)各會(huì)修士奧卡姆的威廉(William?of?Occam)提出的一個(gè)原理。這個(gè)原理稱為“如無(wú)必要，勿增實(shí)體”(Entities?should?not?be?multiplied?unnecessarily)。有時(shí)為了顯示其權(quán)威性，人們也使用它原始的拉丁文形式[引自Phil?Gibbs]：
Pluralitas?non?est?ponenda?sine?necessitate.
Frustra?fit?per?plura?quod?potest?fieri?per?pauciora.
Entia?non?sunt?multiplicanda?praeter?necessitatem.
這句話聽(tīng)起來(lái)比較像英語(yǔ)中的If?it?is?not?broken,?do?not?fix?it。但它實(shí)際表達(dá)的是The?simplest?explanation?is?usually?the?best?one[wiki]。
吳軍的數(shù)學(xué)之美系列中，我印象比較深的一句話是：一個(gè)正確的數(shù)學(xué)模型應(yīng)當(dāng)在形式上是簡(jiǎn)單的。所以一見(jiàn)到用一些算法試圖提高某一個(gè)算法的論文，尤其是沒(méi)什么特殊原因的情況下，我總是有想吐的感覺(jué)。為什么總有人來(lái)惡心我呢？Any?intelligent?fool?can?make?things?bigger,?more?complex,?and?more?violent.?It?takes?a?touch?of?genius—?and?a?lot?of?courage—?to?move?in?the?opposite?direction?[Einstein]?(任何一個(gè)有智力的笨蛋都可以把事情變得更大，更復(fù)雜，更暴力，但是向相反的方向前進(jìn)卻需要一點(diǎn)天賦和極大的勇力)。
當(dāng)然簡(jiǎn)單不是絕對(duì)的簡(jiǎn)單。Everything?should?be?made?as?simple?as?possible,?but?not?simpler?[Einstein]。這句話解釋了我們?yōu)槭裁赐枚魏瘮?shù)，而不選擇線性函數(shù)或高次函數(shù)去按擬合的原因。
Ensemble
Ensemble有幾個(gè)比較有意思的地方：
1.????如果分類器效果都比較差，它可能會(huì)較大的提高效果。
2.????如果分類器效果都比較好，一般不會(huì)提高多少
3.????如果是異種分類器Ensemble，尤其是引入了分類效果不好的分類器，會(huì)導(dǎo)致Ensemle的分類效果不如分類能力最強(qiáng)的分類器。
第一點(diǎn)說(shuō)明了，民主投票往往在參與者能力都不強(qiáng)的情況下最有意義，第二點(diǎn)說(shuō)明了，如果參與者能力都很強(qiáng)，民主意義也不太有意義(有點(diǎn)英雄所見(jiàn)略同的味道)。第三點(diǎn)最為重要，一般分類效果比較差的分類器學(xué)習(xí)速度非常快，所以我們對(duì)它的分類能力差也能容忍。而這個(gè)情況在民主決定時(shí)是正好相反的，往往得出最可笑結(jié)論的人，他的學(xué)習(xí)能力也是非常差，要在討論過(guò)程中不斷向他解釋，回答他那些毫無(wú)意義的問(wèn)題。最重要的是，如果是一群笨蛋控制了投票，民主就是一個(gè)笑話。
那么可以得出，民主應(yīng)該只在大部分人可以做出正確結(jié)論的條件下，才是最有意義的。
Transduction????在半監(jiān)督算法中，有Transductive?Learning和Instructive?Learning之分。Vapnik曾經(jīng)提出了一個(gè)哲學(xué)原則。
Vapniks?principle:?When?trying?to?solve?some?problem,?one?should?not?solve?a?more?difficult?problem?as?an?intermediate?step.????大意是：當(dāng)試圖去解決一個(gè)(些)問(wèn)題的過(guò)程中，一個(gè)人不應(yīng)該在去解決比這個(gè)更困難的問(wèn)題作為中間步驟。這句話初聽(tīng)起來(lái)似乎make?no?sense.?中間步驟怎么會(huì)比最終問(wèn)題還困難呢？舉例來(lái)說(shuō)：我想通過(guò)政治考試，但是我非常不喜歡學(xué)政治(我在這些方面還是很正常的)，老師也了解我們，給我們劃好了考試范圍，那么我當(dāng)然只背范圍中出現(xiàn)的。相反那種通過(guò)先讀《資本論》，再看《毛選》方式來(lái)通過(guò)考試的人，就違背了這個(gè)原則。
概念漂移
“You?cannot?step?twice?into?the?same?stream.?For?as?you?are?stepping?in,?other?waters?are?ever?flowing?on?to?you.”[Heraclitus][Olfa?Nasraoui]，你無(wú)法再次走入相同的河流，因?yàn)槟阍俅巫呷霑r(shí)，流過(guò)你的已經(jīng)是不同的水。
這就是過(guò)分沉湎歷史的人無(wú)法正確把握今天和未來(lái)的原因。
“In?rivers,?the?water?that?you?touch?is?the?last?of?what?has?passed?and?the?first?of?that?which?comes;?so?with?present?time.”[Leonardo?da?Vinci]，在河流中，你接觸的水是過(guò)去的結(jié)束和未來(lái)的開(kāi)始，也是當(dāng)前的時(shí)間。
今天的概念才與未來(lái)的概念最接近，而不是過(guò)去。
“No?man?ever?steps?in?the?same?river?twice,?for?it's?not?the?same?river?and?he's?not?the?same?man.”[Heraclitus]。結(jié)合起來(lái)就是物非人非，這句話在數(shù)據(jù)流學(xué)習(xí)時(shí)仍然可能成立，因?yàn)橛械膶W(xué)習(xí)算法是具有隨機(jī)性質(zhì)的。
歷史若是被看成是一種純知識(shí)，并允許來(lái)左右智力，那么它對(duì)人們而言，就是最終平衡生活收支的東西。只有循著一個(gè)強(qiáng)大，散發(fā)著活力的影響力，比如一個(gè)新的文化體系（在數(shù)據(jù)流挖掘中，它也就是采用什么框架），歷史研究對(duì)未來(lái)才是有利的——只此，只能是它被一下更高的力量引導(dǎo)和控制，而不是它本身引導(dǎo)和控制其它力量。[尼采] 參考： http://bsd.vcgood.com/showarticle.php?id=9364

總結(jié)

以上是生活随笔為你收集整理的Thinking In Machine Learning的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。