計(jì)算機(jī)科學(xué)導(dǎo)論

第一章

1.1 信息

1.1.1 信息的定義

1.維納的信息定義

1948年，美國(guó)數(shù)學(xué)家、控制論的奠基人維納(Nobert Wiener)在《控制論——關(guān)于在動(dòng)物和機(jī)器中控制與通信的科學(xué)》中指出“信息是信息，不是物質(zhì)也不是能量。"后來(lái)在《人有人的用處》中，他又提出“信息是人們?cè)谶m應(yīng)外部世界并使這種適應(yīng)反作用于外部的過(guò)程中，同外界世界進(jìn)行互相交換的內(nèi)容的名稱。”

2.信息使差異類的定義

1975年，意大利學(xué)者朗高指出“信息是反映事物的形式、關(guān)系和差別的東西。信息存在于客體間的差別之中，而不是存在于客體之中。“
英國(guó)學(xué)者阿希貝認(rèn)為，信息的本性在于事物本身具有變異度。

3.鐘義信的信息定義

北京郵電大學(xué)鐘義信教授分別在本體論和認(rèn)識(shí)論層次上提出了信息定義體系。

本體論層次：
信息指事物運(yùn)動(dòng)的狀態(tài)及其變化方式的自我表述。
認(rèn)識(shí)論層次：
信息指認(rèn)識(shí)主體所感知或所表述的事物運(yùn)動(dòng)的狀態(tài)和方式，包括這種狀態(tài)或方式的形式、含義和效用。

信息是被反映的事物屬性。

4.香農(nóng)的信息定義

假定事物狀態(tài)可以用一個(gè)以經(jīng)典集合論為基礎(chǔ)的概率模型來(lái)描述，則__信息就是用來(lái)消除不確定性的東西__，或信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性描述。

5.種加屬差定義

被定義的概念(屬概念)=鄰近的種概念+屬差
例：人是能制造生產(chǎn)工具的動(dòng)物。
“人是動(dòng)物”是距離“人”這一概念最近的“種概念”，而會(huì)“制造生產(chǎn)工具”是人和“其它動(dòng)物”的屬差。
簡(jiǎn)單地說(shuō)，種加屬差就是一個(gè)信息相加的運(yùn)算，是一種事物的定義方式，在數(shù)學(xué)界中表示為集合的交集。

總的來(lái)說(shuō)，一切客觀存在都有信息。信息是一般是指事物釋放出來(lái)的消息、情報(bào)、指令、數(shù)據(jù)或信號(hào)，它是人們認(rèn)識(shí)客觀世界的媒介。

1.1.2 信息的種類

按照不同的分類標(biāo)準(zhǔn)，信息可以分成不同的種類。
如：按照信息所依附的載體，可以將信息分為文獻(xiàn)信息、口頭信息、電子信息、生物信息等。
如：按照攜帶信息的性質(zhì)，可以將信息分為連續(xù)信息、半連續(xù)信息和離散信息。

1.1.3 信息的度量

一條信息的信息量大小和它的不確定性有直接的關(guān)系。可以認(rèn)為，信息量的度量就等于其不確定性的大小。
而不確定性的大小能夠度量，因此信息是可以度量的。
度量信息的自信息量和信息熵：
信息熵的基本假設(shè)：

①信息是可以用一組符號(hào)來(lái)編碼。
②信息的產(chǎn)生和傳輸時(shí)可以用概率論和隨機(jī)過(guò)程來(lái)描述的。
③從概率角度看，同樣的信息包含同樣的信息量。

自信息量是指一個(gè)事件本身所包含的信息量，它是由事物的不確定性所決定的。
假設(shè)離散隨機(jī)變量X~p(x_i)的數(shù)學(xué)模型為
$$X～\begin{array}{cccc}{x}_1& x_2& ...& x_n\\ p(x_1)& p(x_2)& ...& p(x_n)\end{array}$$
其中$$x_i\ge 0,i=1,2,?,n,且\sum _{i=1}^{n}p(x_i)=1$$
隨機(jī)變量X產(chǎn)生的事件x(i)的自信息量定義為：$$I(x_i)=?lo{g}_{2}p(x_i)=lo{g}_2(1/p(x_i))（比特，即bit，常用單位）$$
或者：$$I(x_i)=?lnp(x_i)=ln(1/p(x_i))（奈特，即nat,1nat\approx 1.443bit）$$
或者：$$I(x_i)=?lgp(x_i)=lg(1/p(x_i))（哈特，即nat,1nat\approx 3.322bit）$$
離散隨機(jī)變量X~p(x_i)的信息熵是從平均意義上對(duì)信息不確定性的度量，也稱為平均自信息量，定義為$$H(x_i)=?\sum _{i=1}^{n}p(x_i)lo{g}_{2}p(x_i)$$
其中，隨機(jī)變量X由n個(gè)事件x_i構(gòu)成，事件x_i出現(xiàn)的概率為p(x_i)，這個(gè)公式和熱力學(xué)中熵的計(jì)算方式一樣，故也稱為信息熵。從該式可以看出，當(dāng)各個(gè)事件出現(xiàn)的概率相等，即"不確定度"最高時(shí)，信息熵最大。

總結(jié)

以上是生活随笔為你收集整理的计算机科学导论总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。