《复杂》读书笔记(part3)--熵
學習筆記
學習書目：《復雜》- 梅拉妮·米歇爾
文章目錄
- 信息
- 熱、能量、熵
- 統計力學
- 微觀態與宏觀態
- 香農信息
信息
我認為，熵增定律—熱力學第二定律—在自然界的定律中具有至高無上的地位……如果你的理論被發現違背了熱力學第二定律，你就一點希望都沒有，結局必然是徹底崩塌。 ——愛丁頓爵士
之前的Blog我們提到蟻群搭橋、相互維系的金融市場、干細胞發育成特定器官，這些都是自組織的例子。與通常情形中的有序消退無序增長相反，這里是有序從無序中產生的。
復雜系統科學最關注的問題就是這種逆熵的自組織系統。
不過，在研究自組織系統之前，我們先聊一聊，啥是有序和無序?
許多復雜系統學家用信息的概念來度量有序和無序、復雜性和簡單性。免疫學家科恩曾說，復雜系統比簡單系統更能接收、存儲和利用信息。經濟學家哈克寫道，進化不僅只會用DNA耍把戲，對所有能處理和存儲信息的系統也可以。
但是，信息到底是啥呢?
專業點說，信息描述了一大類現象，從在萬維網上通過光纖傳送的信號，到大腦中在神經元之間傳遞的微小分子。復雜系統子無一例外都涉及以各種形式交流和處理信息。
熱、能量、熵
對于信息的科學研究始自熱力學，熱力學描述能量以及其與物質的相互作用。能量大致上可以定義為系統做功的潛力。
打個比方，假設我們的車在路上拋錨了，我把車推到最近的加油站。用物理學的話講，我做的功等于我推車的力的大小乘以到加油站的距離。在推車的過程中，我體內儲存的能量轉化成了車的動能，而轉化的能量就等于所做的功加上輪子與地面摩擦消耗的熱量以及我自己體溫升高所耗費的熱量。
這個熱量損失可以用熵度量。熵是對不能轉化成功的能量的度量。熵一詞源自另一個古希臘詞匯trope, 意思是轉化。
在19世紀末，有兩條關于能量的定律(熱力學定律)被發現了,這些定律所針對的是封閉系統(這種系統沒有與外界的能量交換).
第一定律：能量守恒。宇宙中的總能量守恒。能量可以從一種形式轉化成另一種形式，比如從體內儲存的能量轉化成推車的動能加上消耗的熱能。但是能量既不能被創生也不能被消滅。
第二定律：熵總是不斷增加直至最大。系統總的熵會不斷增加，直至可能的最大值；除非通過外部做 功，否則它自身永遠也不會減少。
我們可能會注意到，房間不會自己變干凈，飲料如果潑到地上，永遠也不會回到杯子里。要想將無序變成 有序，就得額外做功。
熱力學第二定律被認為是定義了“時間之箭”，因為它證明了存在時間上不可逆的過程, 未來可以定義為熵增的時間方向。有趣的是，熱力學第二定律是唯一區分過去和未來的基本物理定律。其他物理定律在時間上都是可逆的。
為什么第二定律會與眾不同呢？
這個問題很深奧。就像物理學家羅斯曼所指出的那樣，為什么第二定律能區分過去和現在， 而其他自然定律卻不能？這也許是物理學中最大的謎團。
西拉德是第一個將熵與信息聯系起來的人，這個關聯后來成了信息論的基礎和復雜系統的關鍵思想。西拉德認為記錄和觀察信息的測量行為需要能量，因此必然會產生一定的熵。
然而50年后，數學家班尼特證明，從理論上來說上可以進行任何計算而不用耗費，也就是說測量可以不耗費能量。他還提到了物理學家蘭道在20世紀60年代做出的一項發現：并不是測量行為，而是擦除記憶的行為，必然會增加熵。擦除記憶是不可逆的，如果被擦除了，那么一 旦信息沒有了，不進行額外的測量就無法恢復。
統計力學
在前面我將熵定義為，對無法做功而只能轉換成熱的能量的測量。這個熵的概念最初是有克勞休斯于1865年定義的。
數十年后，科學界開始出現一種新的關于熱的觀念：系統是由分子組成，而熱則是分子運動(或者說動能)的產物。這種新觀念主要歸功于玻爾茲曼 ，他創建了一門新學科，現在被稱為統計力學。
統計力學認為宏觀尺度上的屬性(例如熱)是由微觀屬性產生的(例如無數分子的運動).
想象一下我們房間里充滿運動的空氣分子。經典力學分析是確定每個分子的位置和速度，以及作用在分子上的力，并根據這些確定每個分子未來的位置和速度。而統計力學的方法則不關心各個分子具體的位置、速度以及未來的變化，而是去預測大量分子整體上的平均位置和速度。
微觀態與宏觀態
經典力學試圖用牛頓定律分析所有的單個微觀對象，而熱力學則只給出了宏觀 現象(熱、能量和熵)的定律，沒有說明微觀分子是這些宏觀現象的源頭。統計力學則在兩個極端之間搭建了一座橋梁，解釋了宏觀現象是如何從對大量微觀對象的整體上的統計產生。
在充滿空氣的房間中，在任意時刻每個分子都有特定的位置和速度，只是無法具體測量。在統計力學的術語中，特定分子集合在某一時刻的位置和速度稱為那個時刻的微觀狀態。對于充滿了隨機飛舞的分子的房間，最可能的微觀狀態類型就是空氣分子均勻地充滿整個房間。而最不可能的微觀狀態就是空氣分子緊緊地聚到一個地方。這看上去顯而易見，但是玻爾茲曼注意到這是因為分子均勻分布的微觀狀態比聚到一起的微觀狀態要多得多。
系統的宏觀狀態就是微觀狀態的類型，例如房間里分子聚集到一起(我們窒息)相對分子均勻分布(我們能呼吸，)一個宏觀狀態能對應許多不同的微觀狀態。溫度也是宏觀狀態，它與許多不同的微觀狀態相對應，各微觀狀態的分子平均速度恰好對應相同的溫度。
玻爾茲曼將熱力學第二定律解釋為封閉系統更有可能處于可能性大的宏觀狀態。玻爾茲曼將宏觀狀態的熵定義為其對應的微觀狀態的數量。
以老|虎|機為例，我們都知道老|虎|機中有很多圖片，如果我們轉老|虎|機得到的圖片沒有不同，則我們賺錢，如果圖片存在不同，則我們輸錢。現在假設我們的老|虎|機中有下面5張圖片，“櫻桃”、“蘋果”、“梨子”、“檸檬”、“橙子”。這樣就總共有125種可能的組合(微觀狀態)，其中有5種對應于所有圖片都相同(我們贏)的宏觀狀態，120種對應于圖片不完全相同(我們輸)的宏觀狀態。后一種宏觀狀態的玻爾茲曼熵明顯高于前一種。
玻爾茲曼熵遵守熱力學第二定律。除非做功，否則玻爾茲曼熵會一直增加，直到到達最大可能熵的宏觀狀態。
香農信息
香農的信息定義中有一個發送者向接收者發送信息，發送者說的每個詞都是香農意義上的信息，電話并不理解所說的詞，而只是傳送編碼聲音的電脈沖，香農對信息的定義中完全忽略信息的意義，而只考慮發送者向接收者發送信息的速度。與玻爾茲曼的思想類似，香農將宏觀狀態（這里是發送者）的信息定義為可以由發送者發送的可能微觀狀態（可能信息的集合）的數量的函數。
人們有時候將香農的信息量定義描述為接收者在接收信息時體驗到的平均驚奇度，其中驚奇意指接收者對于發送源將要傳送的信息的不確定度。
總體上，根據香農的理論，信息可以是通信的任何單位，可以是一個字母、一個詞、一句話，甚至是一個比特(0 或1)。發送源的熵(信息量)用信息的可能性定義，而與信息的意義無關。
總結
以上是生活随笔為你收集整理的《复杂》读书笔记(part3)--熵的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 第一次参加数学建模竞赛如何夺取一等奖
- 下一篇： 《复杂》读书笔记(part5)--复杂性