熵（續(xù)）

信息熵

信息熵和熱力學熵的假設(shè)相同，因此有類似結(jié)論不足為奇，畢竟數(shù)學上都是同一個微分方程。

信息熵：編碼方案完美時，最短平均編碼長度的是多少。

交叉熵：編碼方案不一定完美時（由于對概率分布的估計不一定正確），平均編碼長度的是多少。平均編碼長度=最短平均編碼長度+一個增量

$$H(p,q)=?\sum _{x}p(x)\log q(x)$$

相對熵：編碼方案不一定完美時，平均編碼長度相對于最小值的增加值。（即上面那個增量）

$$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=?\sum _{i}P(i)\log \frac{Q(i)}{P(i)}$$

參考：

https://www.zhihu.com/question/41252833

如何通俗的解釋交叉熵與相對熵?

復變函數(shù)

1.復球面表示。

2.條件嚴格性。

點域：連續(xù)<可導（可微）<可解析

區(qū)域：連續(xù)<可導（可微）=可解析

由于復平面的存在，極限$z\to z_0$中，趨向于點$z_0$的路徑有無窮多種，必須所有路徑的極限都存在且一致，才可以說極限$z\to z_0$存在。

3.函數(shù)可微的充要條件：Cauchy-Riemann Equations

若$f(x+iy)=u(x,y)+iv(x,y)$可導，則：

1）$u(x,y)$和$v(x,y)$在點$(x,y)$可導。

2）

$$\frac{?u}{?x}=\frac{?v}{?y},\frac{?u}{?y}=?\frac{?v}{?x}$$

4.復數(shù)在場論描述中的應用。

復數(shù)求導

信號處理領(lǐng)域，很多需要求導的函數(shù)往往是不解析的。比如一系列的二乘loss：MSE、LS、WLS等。這些函數(shù)都包含$\mid e(k){\mid }^2=z{z}^{?}$的成分。然而，這個函數(shù)是不可導的。

$$z{z}^{?}=x^2+y^2$$

所以

$$\frac{?u}{?x}=2x,\frac{?v}{?x}=0$$

上式顯然不滿足Cauchy-Riemann Equations，因此函數(shù)不可導。

上述結(jié)論我們也可以另一個角度觀察。

假設(shè)$f(z)$解析，則$f(z)$可展開為z的Taylor級數(shù)。而這個展開式不包含$z^{?}$。即一個解析的復變函數(shù)只和z有關(guān)，而和$z^{?}$無關(guān)。

因為實函數(shù)必須同時依賴z和$z^{?}$，否則虛部無法被消掉。因此，實函數(shù)$f(z)$都是不解析的。

所以，Cauchy-Riemann Equations也可以寫成$f(z^{?})=0$。

參考：

https://mp.weixin.qq.com/s/SUWUAMQjSuB5Gs06SPliTQ

復數(shù)求導在信號處理中的應用

Hermite矩陣

復數(shù)矩陣通常不能直接轉(zhuǎn)置，而必須進行共軛轉(zhuǎn)置。共軛轉(zhuǎn)置也叫做Hermite轉(zhuǎn)置，用$A^H$表示。

如果$A=A^H$，則A被稱為Hermite矩陣。

Charles Hermite，1822～1901，19世紀下半葉法國最著名的數(shù)學家，代數(shù)學領(lǐng)域的宗師級人物。Henri Poincaré的導師。他首先證明了e是超越數(shù)。以他的名字命名的數(shù)學術(shù)語竟達10項之多。
Hermite雖然不是如某些地攤文學所言，一遇考試就跪。但是的確不太擅長考試，大學（他考的大學類似國內(nèi)的清北的地位）入學成績排在第68位，完全沒有學神的風范。相比之下，Poincaré的入學成績可是排第一位的。盡管就成就而言，Hermite絕不遜于Poincaré。

平穩(wěn)離散時間隨機過程

Toeplitz矩陣

Toeplitz矩陣（diagonal-constant matrix），指矩陣中每條自左上至右下的斜線上的元素相同。

Otto Toeplitz，1881～1940，德國猶太裔數(shù)學家。University of Breslau博士（1905），先后執(zhí)教于G?ttingen University（在David Hilbert手下供職）、University of Kiel和Bonn University。1939年，為了躲避元首的迫害，逃亡耶路撒冷，次年去世。

廣義平穩(wěn)離散時間隨機過程的相關(guān)矩陣是Hermite矩陣，也是Toeplitz矩陣。反之，如果相關(guān)矩陣是Toeplitz矩陣，則該離散時間隨機過程，一定是廣義平穩(wěn)的。

離散時間隨機過程的相關(guān)矩陣是非負定的，并且?guī)缀蹩偸钦ǖ摹?#xff08;等于零，只有在無噪聲且觀測向量線性相關(guān)的情況下，才會出現(xiàn)。）

白噪聲

$$E[v(n)v^{?}(n?k)]=\{\begin{array}{ll}{\sigma }_v^2,& k=0\\ 0,& k?=0\end{array}$$

線性差分方程

時間隨機過程本身是由時間序列組成的，因此也可以使用《機器學習（二十四）》中提到的ARIMA模型。該模型的關(guān)鍵是求解線性差分方程。這通常要使用“信號與系統(tǒng)”課程中的z變換（離散域的拉普拉斯變換）求解。考慮到“信號與系統(tǒng)”是一個很大的課程。這里僅對本人關(guān)心的要點，做一個簡要記錄。

絕對可積->收斂域

z變換：$f(z)\to F(z)$

z逆變換：$F(z)\to f(z)$

系統(tǒng)函數(shù)：$H(z)=\frac{R(z)}{E(z)}$。其中，E是激勵信號，R是系統(tǒng)響應。

E的收斂域：$\mid z\mid >1$

差分算子->特征方程->特征根

H的平穩(wěn)條件：H的特征根滿足$\mid z\mid \le 1$

特征根是正實數(shù)，且$\mid z\mid <1$：自相關(guān)函數(shù)為阻尼曲線，僅有幅變。

特征根是負實數(shù)或者復數(shù)，且$\mid z\mid <1$：自相關(guān)函數(shù)為正弦阻尼曲線，不僅有幅變，還有相變。

選擇ARIMA的階數(shù)

如前所述，ARIMA(p,d,q)除了一些參數(shù)之外，還包括p，d，p這三個階數(shù)的超參數(shù)。

AIC信息準則即Akaike information criterion，是衡量統(tǒng)計模型擬合優(yōu)良性(Goodness of fit)的一種標準，由于它為日本統(tǒng)計學家赤池弘次創(chuàng)立和發(fā)展的，因此又稱赤池信息量準則。AIC方法主要使用了KL散度。

MDL(minimum description length,最小描述長度) 原理是Rissane在研究通用編碼時提出的。其基本原理是選擇總描述長度最小的模型。

參考：

https://mp.weixin.qq.com/s/66lY17sOO83Q-xhvQi72dw

周期性時間序列的預測

功率譜

隨機過程（設(shè)時間序列為$u(n)$）二階統(tǒng)計：

時域——自相關(guān)函數(shù)：

$$r_N(n?k)=E[u_N(n)u_N^{?}(k)]\text{\hspace{1em}(1)}$$

其中，$u_N^{?}(k)$是$u_N(k)$的復共軛。

頻域：

$$U_N(\omega )=\sum _{n=?N}^N{u}_N(n)e^{?j\omega n}\text{\hspace{1em}(2)}$$

$$S(\omega )=\underset{N\to \infty }{\lim }\frac{1}{N}E[\mid U_N(\omega ){\mid }^2]=\sum _{l=?\infty }^{+\infty }r(l)e^{?j\omega l}\text{\hspace{1em}(3)}$$

其中，$S(\omega )$就是功率譜密度（power spectral density, PSD），也稱為功率譜（power spectrum）。

自相關(guān)函數(shù)和功率譜密度組成了傅立葉變換對，這種關(guān)系又被稱為EWK（Einstein-Wiener-Khintchine）關(guān)系。

Einstein最早提出idea，Wiener證明了一個特例，Khintchine做了擴展證明。

Aleksandr Yakovlevich Khinchin，1894～1959，蘇聯(lián)數(shù)學家。莫斯科州立大學畢業(yè)，并留校任教，直到去世。蘇聯(lián)概率學派的重要人物。蘇聯(lián)科學院院士。概率論中，著名的Khintchine inequality就是他的成果。

在頻域上，我們有Nyquist頻率，相應的在時域上，我們也有Nyquist間隔：在這個間隔之外，$S(\omega )$是周期性的。

離散時間隨機過程的功率譜密度是非負實函數(shù)。

$$S_o(\omega )=\mid H(e^{j\omega })\mid S(\omega )\text{\hspace{1em}(4)}$$

其中，H為系統(tǒng)函數(shù)，$S_o$輸出信號的功率譜密度。

功率譜密度的Cramér表示：

$$u(n)=\frac{1}{2\pi }{\int }_{?\pi }^{\pi }{e}^{j\omega n}\mathrm{d}Z(\omega )\text{\hspace{1em}(5)}$$

其中，$\mathrm{d}Z(\omega )$被稱為增量過程（increment process）。

Harald Cramér，1893～1985，瑞典數(shù)學家、統(tǒng)計學家。Stockholm University博士（1917）、教授、校長、瑞典高等教育系統(tǒng)大臣。被譽為“統(tǒng)計理論的巨人”。

由公式2和5，可得：

$$U_N(\omega )=\frac{1}{2\pi }{\int }_{?\pi }^{\pi }\sum _{n=?N}^N{e}^{(?j(\omega ?v)n)}\mathrm{d}Z(v)\text{\hspace{1em}(6)}$$

我們定義：

$$K_N(\omega )=\sum _{n=?N}^N{e}^{j\omega n}=\frac{\sin ((2N+1)\omega /2)}{\sin (\omega /2)}\text{\hspace{1em}(7)}$$

則公式6可改寫為：

$$U_N(\omega )=\frac{1}{2\pi }{\int }_{?\pi }^{\pi }{K}_N(\omega ?v)\mathrm{d}Z(v)\text{\hspace{1em}(8)}$$

這里的K被稱作Dirichlet Kernel。參見《數(shù)學狂想曲（一）》的相關(guān)章節(jié)。

一般來說，在公式8中，$U_N(\omega )$是已知的，而$\mathrm{d}Z(\omega )$是未知的。從數(shù)學上來說，這個積分方程可看做第一類Fredholm積分方程的一個例子。

Erik Ivar Fredholm，1866～1927，瑞典數(shù)學家。Uppsala University博士（1898）+Stockholm University教授。不知道是不是瑞典的保險業(yè)比較發(fā)達，他和Cramér居然都當過兼職的精算師。。。瑞典皇家科學院院士。

Uppsala University是瑞典，也是北歐最古老的大學，始建于1477年。

功率譜密度的估計方法主要包括參數(shù)法和非參數(shù)法兩大類。

參數(shù)法包括：

1.模型辨識法。基本就是上面提到的ARIMA或者其變種。

2.最小方差無失真響應法（MVDR）。

3.特征分解法。將相關(guān)矩陣R分解為兩個子空間：信號子空間和噪聲子空間。

非參數(shù)法包括：

1.周期圖法。

2.多窗口法。

一般來說，隨機過程的功率譜包含兩個分量：確定性分量和連續(xù)分量。前者是增量過程$\mathrm{d}Z(\omega )$的一階矩，后者是$\mathrm{d}Z(\omega )$的二階中心矩。

參數(shù)法一般在知道相關(guān)物理規(guī)律時使用，它具有較高的精確度。而非參數(shù)法由于只依賴增量過程的一階矩和二階中心矩，因此適用范圍更廣泛，即使不知道系統(tǒng)的物理規(guī)律也可以使用。（有些類似萬能擬合的GMM）

參考：

https://www.zhihu.com/question/29520851

功率譜密度如何理解？

高階統(tǒng)計

上面討論的基本都是一階和二階統(tǒng)計量，實際上我們還可以使用更高階的統(tǒng)計量。使用高階統(tǒng)計量的學科，一般被稱為高階統(tǒng)計學（higher-order statistics）。

Moment

Moment（矩）的定義為：

$${\mu }_n={\int }_{?\infty }^{\infty }(x?c{)}^{n}f(x)\mathrm{d}x$$

其中，當c=0時，被稱作Raw Moment。當c為均值時，被稱作Central Moment。如果用${\mu }_n/{\sigma }^n$替換${\mu }_n$，就是所謂的Normalised Moment了。

1階Raw Moment，常稱為Mean。2階Central Moment，常稱為Variance。3階Normalised Moment，常稱為Skewness。4階Normalised Moment，常稱為kurtosis。

Cumulants

Cumulants（累積量）的思想最早是Thorvald Thiele提出的，后來被Ronald Fisher和John Wishart發(fā)揚光大。

Thorvald Nicolai Thiele，1838～1910，丹麥天文學家。哥本哈根大學博士。哥本哈根天文臺臺長（1978～1907）。曾研究過三體問題。被Ronald Fisher譽為“最偉大的統(tǒng)計學家”。

John Wishart，1898～1956，蘇格蘭數(shù)學家和農(nóng)業(yè)統(tǒng)計學家。Edinburgh University本科+Cambridge University碩士+University College London博士。導師是Karl Pearson，和Ronald Fisher也有過合作。Royal Society of Edinburgh會員。Cambridge University統(tǒng)計實驗室首任主任。

蘇格蘭人的自我意識真是強，足球有自己的協(xié)會，就連皇家學會也有自己的。

總結(jié)

以上是生活随笔為你收集整理的数学狂想曲（十）——复变函数, 平稳离散时间随机过程, 功率谱的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。