計算機科學導論

第一章

1.1 信息

1.1.1 信息的定義

1.維納的信息定義

1948年，美國數學家、控制論的奠基人維納(Nobert Wiener)在《控制論——關于在動物和機器中控制與通信的科學》中指出“信息是信息，不是物質也不是能量。"后來在《人有人的用處》中，他又提出“信息是人們在適應外部世界并使這種適應反作用于外部的過程中，同外界世界進行互相交換的內容的名稱。”

2.信息使差異類的定義

1975年，意大利學者朗高指出“信息是反映事物的形式、關系和差別的東西。信息存在于客體間的差別之中，而不是存在于客體之中。“
英國學者阿希貝認為，信息的本性在于事物本身具有變異度。

3.鐘義信的信息定義

北京郵電大學鐘義信教授分別在本體論和認識論層次上提出了信息定義體系。

本體論層次：
信息指事物運動的狀態及其變化方式的自我表述。
認識論層次：
信息指認識主體所感知或所表述的事物運動的狀態和方式，包括這種狀態或方式的形式、含義和效用。

信息是被反映的事物屬性。

4.香農的信息定義

假定事物狀態可以用一個以經典集合論為基礎的概率模型來描述，則__信息就是用來消除不確定性的東西__，或信息是事物運動狀態或存在方式的不確定性描述。

5.種加屬差定義

被定義的概念(屬概念)=鄰近的種概念+屬差
例：人是能制造生產工具的動物。
“人是動物”是距離“人”這一概念最近的“種概念”，而會“制造生產工具”是人和“其它動物”的屬差。
簡單地說，種加屬差就是一個信息相加的運算，是一種事物的定義方式，在數學界中表示為集合的交集。

總的來說，一切客觀存在都有信息。信息是一般是指事物釋放出來的消息、情報、指令、數據或信號，它是人們認識客觀世界的媒介。

1.1.2 信息的種類

按照不同的分類標準，信息可以分成不同的種類。
如：按照信息所依附的載體，可以將信息分為文獻信息、口頭信息、電子信息、生物信息等。
如：按照攜帶信息的性質，可以將信息分為連續信息、半連續信息和離散信息。

1.1.3 信息的度量

一條信息的信息量大小和它的不確定性有直接的關系。可以認為，信息量的度量就等于其不確定性的大小。
而不確定性的大小能夠度量，因此信息是可以度量的。
度量信息的自信息量和信息熵：
信息熵的基本假設：

①信息是可以用一組符號來編碼。
②信息的產生和傳輸時可以用概率論和隨機過程來描述的。
③從概率角度看，同樣的信息包含同樣的信息量。

自信息量是指一個事件本身所包含的信息量，它是由事物的不確定性所決定的。
假設離散隨機變量X~p(x_i)的數學模型為
$$X～\begin{array}{cccc}{x}_1& x_2& ...& x_n\\ p(x_1)& p(x_2)& ...& p(x_n)\end{array}$$
其中$$x_i\ge 0,i=1,2,?,n,且\sum _{i=1}^{n}p(x_i)=1$$
隨機變量X產生的事件x(i)的自信息量定義為：$$I(x_i)=?lo{g}_{2}p(x_i)=lo{g}_2(1/p(x_i))（比特，即bit，常用單位）$$
或者：$$I(x_i)=?lnp(x_i)=ln(1/p(x_i))（奈特，即nat,1nat\approx 1.443bit）$$
或者：$$I(x_i)=?lgp(x_i)=lg(1/p(x_i))（哈特，即nat,1nat\approx 3.322bit）$$
離散隨機變量X~p(x_i)的信息熵是從平均意義上對信息不確定性的度量，也稱為平均自信息量，定義為$$H(x_i)=?\sum _{i=1}^{n}p(x_i)lo{g}_{2}p(x_i)$$
其中，隨機變量X由n個事件x_i構成，事件x_i出現的概率為p(x_i)，這個公式和熱力學中熵的計算方式一樣，故也稱為信息熵。從該式可以看出，當各個事件出現的概率相等，即"不確定度"最高時，信息熵最大。

總結

以上是生活随笔為你收集整理的计算机科学导论总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。