信息论的简单应用
轉(zhuǎn)載地址：http://blog.sciencenet.cn/blog-677221-669159.html
我在帖子“大將軍數(shù)學(xué)題2-答案”中，出了一道有關(guān)用老鼠檢測(cè)毒藥瓶的附加題：
?
有100只一模一樣的瓶子，編號(hào)1-100。其中99瓶是水，一瓶是看起來像水的毒藥。只要老鼠喝下一小口毒藥，一天后則死亡。現(xiàn)在，你有7只老鼠和一天的時(shí)間，如何檢驗(yàn)出哪個(gè)號(hào)碼瓶子里是毒藥？
?
這兒把它叫做‘問題1’，解決此題的方法可謂二進(jìn)制應(yīng)用的經(jīng)典：
?
首先，將瓶子的10進(jìn)制編號(hào)數(shù)改成7位的2進(jìn)制碼。然后，讓第1只老鼠喝所有2進(jìn)制碼第1位是1的瓶子中的水；讓第2只老鼠喝所有2進(jìn)制碼第2位是1的瓶子中的水；以此類推下去。這樣，每個(gè)老鼠第二天的死活情況就決定了毒水瓶子二進(jìn)制碼這一位的數(shù)字：老鼠死，對(duì)應(yīng)1，反之為0。換言之，將7只老鼠死活情況排成一排。比如說結(jié)果是“死活死死活活死”的話，毒水瓶子的二進(jìn)制標(biāo)簽就是：1011001，轉(zhuǎn)換成10進(jìn)制，得到89。
?
這道題可以有很多種在各個(gè)參數(shù)方向的擴(kuò)張和一般化。最“通-通-通-通”的解夠你研究好一陣子。比如，如果我們把題目稍加變化（問題2）：
?
有100只一模一樣的瓶子，編號(hào)1-100。其中99瓶是水，一瓶是看起來像水的毒藥。只要老鼠喝下一小口毒藥，一天后則死亡。現(xiàn)在，給你2天的時(shí)間，請(qǐng)你告訴我，你至少需要多少只老鼠，才能檢驗(yàn)出哪個(gè)號(hào)碼瓶子里是毒藥？
?
比較原來的題目，這個(gè)題目有兩個(gè)變化：一是給你的時(shí)間多了一天。因?yàn)槔鲜蠛榷舅?天之后死去，2天意味著你可以做兩次實(shí)驗(yàn)，這給了你一個(gè)時(shí)間方向（實(shí)驗(yàn)次數(shù)）的空間，有可能讓你用更少數(shù)目的老鼠，達(dá)到同樣的目的。
?
第二個(gè)改變是提問的方式。這次的問題是：你‘至少’需要多少只老鼠？回答這類問題，是只要估計(jì)一個(gè)下限，對(duì)你來說，做實(shí)驗(yàn)的小白鼠多多益善，但你的老板要花錢買它們，他得考慮經(jīng)濟(jì)效益。當(dāng)你還沒有完全把方案想清楚之前，你好歹給老板一個(gè)交代呀。這種時(shí)候，信息論能派得上一點(diǎn)用場(chǎng)。
?
剛才我說‘信息論’，實(shí)際上，我們完全用不上什么信息論的任何高深理論，用的只不過是由香農(nóng)定義的計(jì)算信息量的一個(gè)公式而已。牛刀殺雞雖然太大，但用它鋒利的小尖給開個(gè)小口也未嘗不可。
?
不僅僅是這道題，還有幾星期前科學(xué)網(wǎng)討論熱烈的“稱球問題”，都是能用此‘牛刀’而有所受益的。實(shí)際上，我認(rèn)為，許多問題的解決，都能和這‘牛刀’沾上邊。如果從‘信息’的角度來分析某些問題，可以使你更登高望遠(yuǎn)，對(duì)問題能有更深層的理解，更容易融合各學(xué)科的間隙，達(dá)到借他山之石而攻玉的效果。
?
科學(xué)（不僅限于數(shù)學(xué)）上的大多數(shù)研究，說穿了就是一個(gè)處理‘信息’的過程。擯棄無用的信息，想辦法得到有用而正確的信息，用以消除原來課題中的不確定性，得到更為確定的科學(xué)規(guī)律。
?
那么，我們首先要明白，什么是信息？
?
這是一個(gè)古老的問題，又是一個(gè)現(xiàn)代的問題，也是一個(gè)迄今為止仍然眾說紛紜、懸而未決的問題，特別是在社會(huì)所認(rèn)可的廣義信息的層面上。
?
你要是問：“什么是信息？”，人人都能列出一大串他稱之為‘信息’的東西：新聞、消息、音樂、圖片……。然而如果問：“信息是什么？”那就難以回答了。因?yàn)槟憧梢哉f：“音樂是信息”，但你不能說：“信息是音樂”；你可以說：“照片是信息”，但你不能說：“信息是照片”。要給信息下個(gè)定義是不容易的。‘信息’的定義需要從許多具體信息表現(xiàn)形式中抽象出它們的共性來。
?
中國古人理解的信息其實(shí)很簡(jiǎn)單，正如李清照的名句中所述：“不乞隋珠與和璧，只乞鄉(xiāng)關(guān)新信息。”，看來這只是通俗意義上的‘音訊’或‘消息’而已。
?
現(xiàn)代人比較考究，注重科學(xué)。因此而成天琢磨：信息到底是什么？信息是主觀的還是客觀的？是相對(duì)的還是絕對(duì)的？
?
昨天北京發(fā)大水，你將這個(gè)消息，用電話告知你南京的兩個(gè)朋友，可是，A說他早知此事，B原來不知曉，因此，這條消息對(duì)A來說，沒有增加任何信息，對(duì)B來說就增加了信息。B抱著的小狗好像也聽見了電話中的聲音，但它不懂人的語言，這對(duì)它來說也不是信息。
?
信息是模糊的還是精確的？
?
你走到樹林里，艷陽高照、和風(fēng)習(xí)習(xí)、桃紅李白、燕飛鳥鳴，大自然傳遞給我們?cè)S多信息，這些算是沒有精確度量過的、模糊的信息。
?
信息和‘知識(shí)’是一碼事嗎？也應(yīng)該不是。眾所周知，我們的信息化社會(huì)雖然充滿了信息，但其中“魚龍混雜，良莠不齊”，以至于大家都希望自己的孩子不要整天沉迷于網(wǎng)上，許多人抱怨：“信息雖發(fā)達(dá)，知識(shí)卻貧乏”。所以，信息并不等同于知識(shí)！
?
文學(xué)家、哲學(xué)家、社會(huì)學(xué)家……，各家各派都對(duì)‘信息’?有不同的理解和說法。這其中，物理學(xué)家們，是如何理解和定義信息的呢？
?
物理學(xué)家們的研究對(duì)象是物質(zhì)和物質(zhì)的運(yùn)動(dòng)，即物質(zhì)和能量。在他們看來，信息是什么呢？是否能歸類進(jìn)這兩個(gè)他們所熟悉的概念呢？
?
信息顯然不是物質(zhì)，它應(yīng)該是物質(zhì)的一種屬性，聽起來和能量有些類似，但它顯然也不是能量。物理學(xué)中的能量早就有其精確的、可度量的定義，它衡量的是物體（物質(zhì)）做功的本領(lǐng)。信息與這種‘功’似乎無直接關(guān)聯(lián)。當(dāng)然，我們又知道，信息是很有用的，個(gè)人和社會(huì)都可以利用信息來產(chǎn)生價(jià)值，這不又有點(diǎn)類似于‘做功’了嗎？對(duì)此，物理學(xué)家仍然搖頭：不一樣啊，你說的好像是精神上的價(jià)值。
?
信息屬于精神范疇嗎？那也不對(duì)啊，從科學(xué)家們的眼中看來，信息，仍然應(yīng)該是一種獨(dú)立于人類的主觀精神世界、客觀存在的東西。因此，到了最后，有人便宣稱說：
?
“組成我們的客觀世界，有三大基本要素：除了物質(zhì)和能量之外，還有信息。”
?
美國學(xué)者、哈佛大學(xué)的歐廷格（A．G．Oettinger）對(duì)這三大基本要素作了精辟的詮釋：
?
“沒有物質(zhì)什么都不存在，沒有能量什么都不會(huì)發(fā)生，沒有信息什么都沒有意義。”
?
盡管對(duì)“信息是什么？”的問題難有定論，但通過與物理學(xué)中定義的物質(zhì)和能量相類比，科學(xué)家們恍然大悟：信息的概念如此混亂，可能是因?yàn)槲覀儧]有給它一個(gè)定量的描述。科學(xué)理論需要物理量的量化，量化后才能建立數(shù)學(xué)模型。如果我們能將‘信息’量化，問題可能就會(huì)好辦多了！
?
于是，在二十世紀(jì)40年代后期，一個(gè)年輕的科學(xué)家，后來被人譽(yù)為信息和數(shù)字通訊之父的香農(nóng)，登上了科學(xué)技術(shù)的歷史舞臺(tái)。
?
香農(nóng)的兩大貢獻(xiàn)：一是信息理論、信息熵的概念；另一是符號(hào)邏輯和開關(guān)理論。香農(nóng)的信息論為明確什么是信息量概念作出了決定性的貢獻(xiàn)。感謝香農(nóng)，在定量研究的科學(xué)領(lǐng)域中，他將原來模模糊糊的信息概念，天才地給以了量化，使我們大家在解數(shù)學(xué)問題時(shí)也能‘牛刀小試’。
?
其實(shí)香農(nóng)并不是給信息量化的第一人，巨人也得站在前人的肩膀上。1928年，哈特利（R.V. H. Harley）就曾建議用N log D這個(gè)量表示信息量。1949年，控制論創(chuàng)始人維納將度量信息的概念引向熱力學(xué)。1948年，香農(nóng)認(rèn)為，信息是對(duì)事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。并把哈特利的公式擴(kuò)大到概率pi不同的情況，得到信息量的公式：
?
H=∑-pi log pi
?
如果計(jì)算中的對(duì)數(shù)log是以2為底的，那么計(jì)算出來的信息就以比特（bit）為單位。
?
根據(jù)香農(nóng)的信息概念，信息能消除不確定性，而我們?cè)诮鉀Q數(shù)學(xué)題的時(shí)候，也是要消除不確定性，得到確定的答案。并不僅僅是老鼠問題和稱球問題如此，我認(rèn)為大多數(shù)問題都多少是一個(gè)‘消除不確定性’?的過程。因此，我們?yōu)楹尾唤栌孟戕r(nóng)的工具，研究研究我們的問題有多少不確定性呢？也就是說，需要多少信息量才能解決這個(gè)問題？另外，根據(jù)題目所限制的手段，最多能夠得到多少信息量？有無可能完全解決這個(gè)問題？等等。
?
具體到老鼠和毒藥的問題。100瓶液體中1瓶有毒，每1瓶發(fā)生有毒的概率是1/100，這時(shí)候要確定毒藥瓶所需的信息量H = -(p1logp1+p2logp2+….+p100logp100)。
?
因?yàn)樗衅孔油耆嗤?#xff0c;這是一個(gè)等概率問題，p1 = p2 =…=p100 = 1/100。
?
得到H=-log（1/100）。
?
下面計(jì)算從老鼠能得到的信息量。
?
首先考慮問題1，即給定時(shí)間為1天的情況。一天后，每只老鼠或死或活，因此，能夠提供1比特的信息。7只老鼠則能提供7比特的信息。
?
再看看剛才列出的確定毒藥瓶所需的信息量H的公式：H=-log（1/100）<??-log（1/128）= 7比特。
?
因此，問題1應(yīng)該可以解決。這個(gè)可能性是信息論提供給我們的。實(shí)際上，應(yīng)該不僅僅是可能性，這種計(jì)算信息量比特?cái)?shù)的方法能啟發(fā)我們的思維。在解題時(shí)，學(xué)習(xí)別人解題的方法固然重要，而探討別人是如何想到這種方法的，可能更為重要。在《大將軍數(shù)學(xué)題2》的討論中，就有博友說，如果提到2進(jìn)制，此題就容易了。的確如此，如果不想到2進(jìn)制，對(duì)此題往往好像有點(diǎn)束手無策，不知如何下手。
?
我們?cè)賮碛懻搯栴}2。
?
所需要的信息量H的計(jì)算是和問題1一樣的。然而，從每只老鼠能得到的信息量的計(jì)算，卻可能會(huì)有所不同。這兒我用了‘可能’兩個(gè)字，是因?yàn)槲覀冞€絲毫未曾談及如何解決這個(gè)問題2。
?
問題2和問題1的差別是在于老鼠可以參加接連兩次實(shí)驗(yàn)。問題1中，只能做一次實(shí)驗(yàn)時(shí)，老鼠有兩種狀態(tài)：死或活。因此它可利用的信息量是1比特。如果能做兩次實(shí)驗(yàn)，兩次實(shí)驗(yàn)中都有生死的可能性，僅就邏輯而言，老鼠有四種可能情況：生生、生死、死生、死死。但其中的第三種情形：死生，是不可能發(fā)生的，因?yàn)樵诘谝惶斓膶?shí)驗(yàn)中死了的老鼠，不可能在第二次實(shí)驗(yàn)后又活過來。所以我們要將第一天實(shí)驗(yàn)中死了的老鼠，排除在第二次實(shí)驗(yàn)之外。所以，對(duì)問題2，老鼠有3種狀態(tài)，每種狀態(tài)的概率為1/3，因此，從一只老鼠得到的信息量
?
S=-（1/3log（1/3）+ 1/3log（1/3）+ 1/3log（1/3））= log（3）。
?
如果將這兒的對(duì)數(shù)取以3為底的話，可以說成，每只老鼠能得到的信息量是一個(gè)3進(jìn)制位（trit）。
?
多少只老鼠才能使總信息量大于log（100）呢？
?
解方程：k*log(3)>log(100)??=>??3**k>100，可得到k>=5。
?
因此，至少要5只老鼠，這便是問題2的解。
?
問題2直接所問的問題已經(jīng)有了答案：實(shí)驗(yàn)至少需要用5只老鼠。況且，理論上來說，從5只老鼠能提供的最大信息量，轉(zhuǎn)換到可能檢驗(yàn)的最多瓶子數(shù)：3**5 = 243，已經(jīng)大大地超過了100，余量很多，將這個(gè)數(shù)目提供給老板，問題不大。
?
但是無論如何，5只老鼠到底能否判定出有毒的瓶子，還需我們想出具體檢驗(yàn)的方案才成定論。
?
因此，我們繼續(xù)思考問題3（問題2的延伸）：在能做兩次實(shí)驗(yàn)的條件下，如何找出有毒的瓶子？
?
沿著剛才信息量計(jì)算的思路，問題1最優(yōu)答案用2進(jìn)制有關(guān)的實(shí)驗(yàn)方法得到；問題2中估計(jì)老鼠數(shù)目的下界時(shí)，用到了3進(jìn)制。那么，在能做兩次實(shí)驗(yàn)的條件下，找出有毒的瓶子的最佳方案是否與3進(jìn)制有關(guān)？
?
試試看吧。首先，將瓶子的號(hào)碼轉(zhuǎn)換成5位的3進(jìn)制。為什么是5？5只老鼠？對(duì)，由于同樣的原因，最大的號(hào)碼100需要用‘5位的3進(jìn)制’來表示。這100個(gè)5位3進(jìn)制碼列表如下：
?
00000，
00001，
00002，
00010，
00011，
00012，
00020，
00021，
00022，
…………
10201
?
然后，第一次實(shí)驗(yàn)：
從左到右：讓第1只老鼠喝所有3進(jìn)制碼第1位是2的瓶子中的水；讓第2只老鼠喝所有3進(jìn)制碼第2位是2的瓶子中的水；以此類推下去。這樣，每個(gè)老鼠第二天的死活情況就決定了毒水瓶子3進(jìn)制碼這一位的數(shù)字是不是2：老鼠死，2；老鼠活，1或0。
?
第一次實(shí)驗(yàn)中死去的老鼠沒有白死，它的死決定了毒水瓶3進(jìn)制碼的這位數(shù)字是2！雖然這個(gè)老鼠為2而犧牲了，但很幸運(yùn)，這一位的數(shù)字也被決定了，我們也不再需要這只老鼠。嘿嘿，我們讓這個(gè)老鼠作出了它的最大貢獻(xiàn)，要不然，就不是最優(yōu)化的方案了。
?
第一次實(shí)驗(yàn)中沒死的老鼠也沒有白白地冒險(xiǎn)，也為我們提供了信息：毒水瓶子3進(jìn)制碼的這一位的數(shù)字肯定不是2！所以，我們可以將3進(jìn)制碼這位是2的瓶子去除，因?yàn)樗鼈兛隙o毒。然后……
?
第二次實(shí)驗(yàn)：
讓沒死的老鼠喝下所有3進(jìn)制碼的該位數(shù)字為1的瓶子中的水。這個(gè)老鼠一天后的死活情況便決定了毒水瓶子3進(jìn)制碼這一位的數(shù)字是1還是0：老鼠死，1；老鼠活，0。
?
這個(gè)問題可以此類推地?cái)U(kuò)展成更一般的問題：假設(shè)有n個(gè)瓶子，其中1個(gè)瓶子中的水有毒，實(shí)驗(yàn)的小白鼠喝了毒水1天后死去，給你i天的時(shí)間，k只老鼠。問n的最大值是多少？如何實(shí)驗(yàn)，才能檢測(cè)出毒水瓶來。
?
答案：有i天的時(shí)間，你可以做i次試驗(yàn)，因?yàn)樗懒说睦鲜蟛荒芾^續(xù)試驗(yàn)，i次試驗(yàn)后，老鼠總共的可能狀態(tài)有（i+1）個(gè)：
?
第1次就死去、第2次死、第3次死、……、第i次死、一直活著。
?
能檢測(cè)的最多水瓶數(shù)n=(i+1)**k。檢測(cè)方法：將所有瓶子用k位的(i+1)進(jìn)制數(shù)編碼，然后，遵循上面所述i=2類似的過程，i天之后，根據(jù)k個(gè)老鼠的狀態(tài)，可以確定毒水瓶的(i+1)進(jìn)制數(shù)值。
?
通過用信息論解老鼠喝毒藥的這個(gè)簡(jiǎn)單練腦題，說明科學(xué)思維方法之重要性。
?
作為信息論應(yīng)用于數(shù)學(xué)題的另一個(gè)例子，再來分析“稱球”問題。
?
稱球問題是說，用天平稱k次，在n個(gè)球中找出唯一的一個(gè)重量不標(biāo)準(zhǔn)的次品球來，n最大是多少？如何找？有關(guān)這個(gè)次品球的說法，通常有3種變形：
?1.?已知次品球是更輕（或更重）；
?2.?不知次品球的輕重，找出它并確定輕重；
?3、不知次品球的輕重。
?
利用信息熵的概念，可計(jì)算出這3種情形下n的最大值，并且?guī)椭伎紭?gòu)成算法的過程：
1.?已知次品球是更輕（或更重），這時(shí)n的最大值?= 3**k；
2.?不知次品球的輕重，找出它并確定輕重，這時(shí)n的最大值?=?（3**k-3）/2；
3、不知次品球的輕重，這時(shí)n的最大值?=?（3**k-1）/2。
?
下面首先分析第1種問題。為解釋起來更為直觀，設(shè)定k=3。換言之，我們的問題是：如何用天平稱3次，從27個(gè)球中找出唯一的那個(gè)稍輕的球？
?
27個(gè)球中只有1個(gè)球稍輕，可能發(fā)生的情形為27種，每個(gè)球?yàn)榇纹返母怕适?/27。類似于上面所說老鼠試藥的問題，要確定是‘哪一只’老鼠，所需的總信息量=log27。
?
在此題中的判定手段，限制了是天平。那么，天平每稱一次，最多可以提供多少信息量呢？或者是說，可以為解題消除多少不確定性？
?
天平稱一次后，有3種結(jié)果：左輕右重（A）、左重右輕（B）、平衡（C）。因此，稱一次所消除的不確定性=log3。接連稱3次后，所消除的不確定性=3*log3= log27。
?
根據(jù)剛才的分析，這個(gè)問題中，判定輕球所需的信息量與天平稱3次能獲得的信息量剛好相等。因此，用最佳的操作方法，有可能解決這個(gè)問題。
?
既然從信息論作出的估算給了我們解決問題的希望，我們就試試看吧。
?
天平似乎與3進(jìn)制有關(guān)，我們便首先優(yōu)選3進(jìn)制。將27個(gè)球貼上3進(jìn)制碼的標(biāo)簽：
?
000、001、002、010、011、012、020、021、022、
100、101、102、110、111、112、120、121、122、
200、201、202、210、211、212、220、221、222。
?
將3進(jìn)制碼中，第1位（左）為0的9個(gè)球放天平左邊，第1位為1的9個(gè)球放天平右邊，稱1次。如果天平平衡，則次品球3進(jìn)制碼第1位是2；左輕右重，第1位是0；左重右輕，第1位是1。總而言之，稱這一次，確定了次品球3進(jìn)制碼第1位的數(shù)字。
?
接下去，繼續(xù)稱，逐次確定次品球3進(jìn)制碼各位的數(shù)字，問題解決了。這個(gè)第1類問題不難推廣到任意k的情形。
?
下面再分析第2類稱球問題：次品球不知輕重，最后需確定輕重的情況，具體來說就是，天平稱3次，要找出12個(gè)球中那個(gè)唯一的又‘不知輕重’的次品球。
?
將兩個(gè)問題對(duì)比一下，共同之處是都用天平，因此，天平稱3次能提供的最大信息量仍然是log27。不同之處是如何計(jì)算找出次品球所需要的信息量。
?
因?yàn)楝F(xiàn)在要找出的次品球‘不知輕重’，因此，對(duì)每個(gè)球來說，不確定性增多了，這也是能判定的球的數(shù)目大大減少了（從27變到12）的原因。
?
現(xiàn)在，考慮這12個(gè)球，其中一個(gè)是或輕或重的次品的各種可能性。如果這個(gè)球是‘輕’的次品，記為-，‘重’的次品，記為+，因此，可能的次品分布情況：
?
1+、1-、2+、2-、……、12+、12-。
?
共24種情形，所需要的信息量則為log24。這個(gè)值小于天平稱3次所能提供的最大值，所以，可能有解，那我們就試試看吧。有人說，你用什么信息論扯了半天，最后還是要一個(gè)一個(gè)地列舉，那你這信息論不是多余的嗎？科學(xué)定律是客觀的，但各人的觀點(diǎn)卻是見仁見智的，我不需要去強(qiáng)人所難，也并非想比較解稱球問題各種方法孰好孰壞，孰優(yōu)孰劣，只是想將信息論用于分析此題，如此而已。
?
將12個(gè)球作如下編碼：
?
（000+，000-）、（001+，001-）、（010+，010-）、（011+，011-）、
（100+，100-）、（101+，101-）、（110+，110-）、（111+，111-）、
（200+，200-）、（201+，201-）、（210+，210-）、（211+，211-）、
?
這兒，除了抽取了部分3進(jìn)制的編碼之外，還對(duì)每個(gè)球都給貼上了（+、-）兩個(gè)標(biāo)簽，以表明此球‘或輕或重’而成為次品的兩種可能性，也可等效于另一層編碼。
?
然后，將第1位為0的4個(gè)球（第1行）放天平左邊，第1位為1的4個(gè)球（第2行）放天平右邊，稱第1次。
?
1?如果天平左輕右重，這也許是第1行中的某個(gè)球輕了、或是第2行中某球重了而造成的：
000-、001-、010-、011-、100+、101+、110+、111+。
?
2?反之，如果天平左重右輕，也許是第1行中的某個(gè)球重、或是第2行中某球輕而造成的：
000+、001+、010+、011+、100-、101-、110-、111-。
?
3?如果天平平衡，則次品球在第3行的‘毫不知輕重’的4個(gè)球（200、201、210、211）中。雖然是4個(gè)球，仍然有8種可能性：
200+、200-、201+、201-、210+、210-、211+、211-。
?
前面兩種情形類似，都是將次品球限制到了 ‘半知輕重’的8個(gè)球中。所謂半知輕重，是因?yàn)樵撉蛴幸粋€(gè)已經(jīng)確定的附加標(biāo)簽（+或-）。
?
比如說，編碼為（000-）的球是個(gè)‘半知輕重’的球，而編碼為（000）的球是個(gè)‘毫不知輕重’的球。對(duì)（000-）來說，盡管尚未確定此球是否是次品，但有一點(diǎn)是明確的：如果它是次品的話，它只能是更輕的次品。而球（000）則有‘輕重’兩種次品的可能性。
?
因此，‘半知輕重’球比‘毫不知輕重’球少了一半的不確定性。判定所需的信息量也成為一半。
?
天平不平衡的情形，問題成為，“稱2次從這4個(gè)半知的‘輕球’，及4個(gè)半知的‘重球’中找出次品球”的問題。
?
為此，取2個(gè)輕球加1個(gè)重球放天平的一邊，另2個(gè)輕球加1個(gè)重球放天平的另一邊。稱第2次之后便將問題歸為稱1次從3個(gè)半知輕重球中找出次品的問題。
?
這個(gè)問題在David J.C. MacKay信息論的書中有敘述，借他的圖表貼在下面。其中稱球的過程看得很清楚，所以不再贅述。
?
指出一點(diǎn)：在天平平衡的情形，稱第2次時(shí)，需要用到稱第1次后確定的標(biāo)準(zhǔn)球，即天平上的8個(gè)球。標(biāo)準(zhǔn)球是能夠提供信息的，每個(gè)標(biāo)準(zhǔn)球在每次稱量中最多能提供1比特的信息。
?
?
下面再對(duì)第3類稱球問題稍加分析，就是，天平稱3次，要找出13個(gè)球中那個(gè)唯一的又‘不知輕重’的次品球的問題。
?
類似于第2類問題，將13個(gè)球作如下編碼：
（000+，000-）、（001+，001-）、（010+，010-）、（011+，011-）、
（100+，100-）、（101+，101-）、（110+，110-）、（111+，111-）、
（200+，200-）、（201+，201-）、（210+，210-）、（211+，211-）、（222+，222-）、
?
與第2類問題不同的是天平平衡的情況。這時(shí)需要從5個(gè)球，10種狀態(tài)中找出次品：
（200+，200-）、（201+，201-）、（210+，210-）、（211+，211-）、（222+，222-）
?
將5球中的3個(gè)放在天平一邊，3個(gè)標(biāo)準(zhǔn)球放另一邊。天平不平衡情形的最后一次稱法與第2類問題同，不同的又是天平平衡時(shí)的情形。
?
天平平衡的情形，留下了2個(gè)不知輕重的球。因?yàn)槲覀冇袠?biāo)準(zhǔn)球可用，取2個(gè)待定球中的任何一個(gè)與標(biāo)準(zhǔn)球比較，如果不平衡，此球則為次品，并知其輕重；如果平衡，另1球?yàn)榇纹?#xff0c;但不能判定其輕重。
?
讀者可能注意到了，在上面兩個(gè)用信息熵方法解數(shù)學(xué)題的例子中，我們經(jīng)常說：“使用最佳方案”，只有使用最優(yōu)化的操作方法，才能達(dá)到信息論所預(yù)期的上限。這兒所說的最佳方案，與信息論中的“最大信息熵原理”有關(guān)。
?
什么是最大信息熵原理？它來自于熱力學(xué)及統(tǒng)計(jì)物理中的熵增加原理。要講清楚這個(gè)問題需要太多篇幅，在此只簡(jiǎn)單地科普一下。
?
用通俗的話來說，最大信息熵原理就是當(dāng)你對(duì)一個(gè)隨機(jī)過程不夠了解時(shí)，你對(duì)概率分布的猜測(cè)要使得信息熵最大。熵最大就是事物可能的狀態(tài)數(shù)最多，復(fù)雜程度最大。換句話說，對(duì)隨機(jī)事件的預(yù)測(cè)要在滿足全部約束條件下，保留各種可能性。
?
比如，你的女朋友叫你猜猜她的生日是哪一個(gè)月？如果你曾經(jīng)看過她出生不久的照片，是秋天，那你可以猜測(cè)她生日是夏季的幾率比較大；如果你對(duì)此完全沒有概念，你就最好是對(duì)一年中的每一個(gè)月都一視同仁，給予相同的可能性。
?
另一個(gè)例子是買股票投資的時(shí)候，專家會(huì)建議你買各種類型的不同股票。
?
“不要把雞蛋放在一個(gè)籃子里！”投資專家說。這句話的意思，其實(shí)就是警告你要遵循最大熵原理，對(duì)難以預(yù)測(cè)的股票市場(chǎng)，最好的策略是盡可能多地保留各種可能性，才能降低預(yù)測(cè)的風(fēng)險(xiǎn)。
?
在本文中所舉的老鼠毒藥問題中，盡量讓每個(gè)老鼠試喝相等數(shù)目瓶子的水；在稱球問題中，盡可能使天平‘左、右、下’的球的數(shù)目相等，這都是考慮最大信息熵原理而選擇的最優(yōu)策略。
總結(jié)
- 上一篇： java编程语言视频教程,详细说明
- 下一篇： The processing instr