高階統(tǒng)計

Cumulants（續(xù)）

在介紹Cumulants之前，我們首先看一下Moment-generating function：

$$M_X(t):=E\left[e^{tX}\right],t\in \mathbb{R}$$

可以看出，MGF和《數(shù)學狂想曲（二）》中提到的隨機變量的特征函數(shù)（Characteristic function, CF）的形式非常類似。

而cumulant-generating function則是MGF的對數(shù)，即：

$$K(t)=\log E\left[e^{tX}\right]$$

對上式進行Maclaurin展開，可得：

$$K(t)=\sum _{n=1}^{\infty }{\kappa }_n\frac{t^n}{n!}=\mu t+{\sigma }^2\frac{t^2}{2}+?$$

這里的${\kappa }_n$就是Cumulants了。

由MGF和CF的關系易知，使用CF的對數(shù)的Maclaurin展開，也可以求Cumulants。

Cumulants有如下性質(zhì)：

$$cum({\lambda }_1{x}_1,\dots ,{\lambda }_k{x}_k)=\sum _{i=1}^k{\lambda }_{i}cum(x_1,\dots ,x_k)\text{\hspace{1em}(1)}$$

其中，${\lambda }_i$為常數(shù)。

$$cum(x_1,\dots ,x_k)=cum(x_{i_1},\dots ,x_{i_k})\text{\hspace{1em}(2)}$$

其中，$(i_1,\dots ,i_k)$為$(1,\dots ,k)$的任意一種排列。

$$cum(x_0+y_0,z_1,\dots ,z_k)=cum(x_0,z_1,\dots ,z_k)+cum(y_0,z_1,\dots ,z_k)\text{\hspace{1em}(3)}$$

如果$\alpha$為常數(shù)，則：

$$cum(\alpha +z_1,\dots ,z_k)=cum(z_1,\dots ,z_k)\text{\hspace{1em}(4)}$$

如果$x_i$與$y_i$相互獨立，則：

$$cum(x_1+y_1,\dots ,x_k+y_k)=cum(x_1,\dots ,x_k)+cum(y_1,\dots ,y_k)\text{\hspace{1em}(5)}$$

參考

https://www.zhihu.com/question/25344430

隨機變量的矩和高階矩有什么實在的含義？

https://www.zhihu.com/question/43469699

信號的矩和高階累積量的定義是什么？

http://www.doc88.com/p-1127198771359.html

高階累積量與高階譜讀書筆記

https://wenku.baidu.com/view/7c4931085727a5e9856a6139.html

高階譜分析

https://wenku.baidu.com/view/136b666c561252d380eb6e8c.html

高階統(tǒng)計量的定義與性質(zhì)

最速降線

約翰·伯努利在1696年提出最速降線的問題（problem of brachistochrone），向全歐洲數(shù)學家征求解答。這個問題最早由伽利略在1630年提出：“一個質(zhì)點在只受重力的作用下，從一個給定點A到不在它垂直下方的另一點B，問沿著什么曲線下滑（忽略摩擦力）所需時間最短？”

然而伽利略自己給出的答案是錯誤的：他認為這條曲線是過AB的圓弧。這條曲線也不是連接AB兩點的直線，盡管AB間線段最短，但小球滾下來的時間不是最短。

伯努利把此問題發(fā)布在Acta Eruditorum上，他還這么說：

“我，約翰·伯努利，想找到世界上最出色的數(shù)學家。對聰明人而言，沒有什么能比一道誠實而富有挑戰(zhàn)性的難題更有吸引力，其可能的解決方案將會成為一個永恒的紀念碑。按照帕斯卡，費馬等人設定的例子，請允許我代表整個數(shù)學界將這個尤其能在今天考驗大家的數(shù)學技巧和思維耐力的問題展示在最優(yōu)秀的數(shù)學家面前。如果有人能把答案遞交與我，我會將其公開，并授予其應得的獎賞。”

伯努利原定的截止期限是1696年年底，可是他只受到了一份來自他的老師萊布尼茲的解答。萊布尼茲要求伯努利將截止期限延長到來年復活節(jié)（大致在3月下旬到4月下旬之間），以便讓歐洲數(shù)學家們有更多時間來充分解決此道難題。約翰·伯努利親自把最速降線問題抄了一份，裝進信封寄給在英國的牛頓。

1697年1月29日，牛頓正在造幣局里忙著改鑄新幣的工作。下午4點回到家里，他看到了郵箱里伯努利寄來的問題。盡管牛頓非常疲憊，他立即徹夜未眠的投入研究，在凌晨4點時得到問題的解答。他將他的解答寄給好友兼皇家協(xié)會主席查爾斯，隨后皇家協(xié)會以匿名的形式發(fā)表在Philosophical Transactions上。

要知道，此時的牛頓已經(jīng)56歲，工作重點是皇家鑄幣廠監(jiān)管。即使如此，在忙了一天的本職工作后，牛頓還是用幾個小時就解決了許多歐洲數(shù)學家都無法解出的難題。約翰·伯努利本人也花了兩個星期的時間才完成解答。

1697年復活節(jié)的截止期限，伯努利共收到了5份答案，他自己和其老師萊布尼茲，第三份是他的哥哥雅可布·伯努利，洛必達是第四個，最后是一份匿名答案。伯努利在閱讀最后一份解答時立即認出它的作者，他驚嘆道：

“從利爪上認出了這頭獅子（recognizes a lion from his claw mark）”

在給查爾斯的信里，牛頓還寫道：我不喜歡在數(shù)學上被外國人糊弄（I do not love to be dunned and teased by foreigners about mathematical things）。

除了牛頓之外，雅可布·伯努利也是約翰·伯努利最想擊敗的對手。事實上，三個人雖然都正確回答了該問題，然而所用的方法竟然全都不同。下面提到的變分法，主要是雅可布·伯努利的貢獻。

言歸正傳，最速降線的正確答案是——擺線（Cycloid）：一個圓在一條定直線上滾動時，圓周上一個定點的軌跡，又稱圓滾線、旋輪線。

伽利略雖然在最速降線問題上給出了錯誤的答案，然而他本人對于擺線還是研究頗深的。事實上，擺線的名字就是他起的（1599年）。

他還發(fā)現(xiàn)了以下結(jié)論：

1.擺線弧的長度等于旋轉(zhuǎn)圓的直徑的4倍。

2.擺線弧下方所圍成的面積是旋轉(zhuǎn)圓的面積的3倍。

在沒有微積分的時代，他是如何發(fā)現(xiàn)這些結(jié)論的呢？答案：做實驗。

是的，你沒看錯，就是實驗。他用一根繩子附在擺線度量出這條繩子的長度再與旋轉(zhuǎn)圓的直徑作比較，得到了第一個事實；在一塊薄板上畫出擺線所圍成的圖形，再把這個圖形切下來，稱一下它的重量，然后在同樣的薄板上畫出旋轉(zhuǎn)圓，再把旋轉(zhuǎn)圓切下來，稱一下重量，他發(fā)現(xiàn)了第二條事實。

注意，伽利略雖然發(fā)現(xiàn)了擺的等時性，然而他用的擺是圓擺。直到惠更斯改進鐘擺，鐘擺和擺線才有了關系。這從擺線的英文名可以看的很清楚。伽利略顯然采用的是圓滾線的定義。

泛函 & 變分

歷史上對于最速降線的研究催生了泛函數(shù)（Functionals）和變分法（Calculus of Variations）的概念。

這里就以最速降線為例，說明一下泛函和變分的含義。

首先建立坐標系，水平方向為x軸，豎直方向為y軸。

則質(zhì)點下落速率與下落高度間的關系為：

$$v=\sqrt{2gh}?\frac{\mathrm{d}s}{\mathrm{d}t}=\sqrt{2gy}$$

所以：

$$T={\int }_{t_1(A)}^{t_2(B)}\mathrm{d}t={\int }_A^B\frac{\mathrm{d}s}{\sqrt{2gy}}={\int }_A^B\frac{\sqrt{1?y^{\prime 2}}}{\sqrt{2gy}}\mathrm{d}x$$

顯然，這是一個路徑積分。

上式可改寫為以下形式：

$$T=T[y(x)]={\int }_A^B\frac{\sqrt{1?y^{\prime 2}}}{\sqrt{2gy}}\mathrm{d}x={\int }_A^{B}F(x,y,y^{\prime })\mathrm{d}x$$

注意，這里的$T[y(x)]$不能理解為復合函數(shù)：

1.復合函數(shù)的變換是$x\to y\to T$。其中，x、y、T都是數(shù)值。換句話說，就是數(shù)值的傳遞。

2.在這個問題中，y的具體值，意義不大，如何到達y的路徑才是關鍵。而路徑其實可以表達為一個函數(shù)，即y是x的函數(shù)，而T是x的函數(shù)的函數(shù)（也被稱為“泛函”）。

**泛函求極值的方法和過程，被稱作變分法。**上述最速降線問題，實際上就是在一個泛函集合上求極值的問題。

對于任意定值$x\in [x_0,x_1]$，可取函數(shù)$y(x)$與另一可取函數(shù)$y_0(x)$之差$y(x)?y_0(x)$，稱為函數(shù)$y(x)$在$y_0(x)$處的變分或者叫函數(shù)的變分，記作$\delta y$，其中$\delta$稱為變分算子，那么：

$$\delta y=y(x)?y_0(x)$$

從上面的定義可以看出函數(shù)的變分$\delta y$與函數(shù)的增量$\Delta y$之間的區(qū)別：

1.函數(shù)的變分$\delta y$是兩個不同的函數(shù)$y(x)$和$y_0(x)$在自變量x固定時的差，這是函數(shù)發(fā)生了改變。

2.函數(shù)的增量$\Delta y$是自變量x的增量使得函數(shù)$y(x)$產(chǎn)生的增量，函數(shù)依然是原來的函數(shù)。

被積函數(shù)F被稱為泛函的核。

核的三要素：

1.自變量x。可以有多個自變量。

2.函數(shù)y。也可以是多個。

3.y的導數(shù)。可以是多個，也可以是高階導數(shù)。

最速降線問題由于只涉及y的一階導數(shù)，因此又被稱為一階變分問題。

這類問題是最簡單的變分問題，它的極值通常符合Euler–Lagrange equation：

$$F_y?\frac{d}{dx}{F}_y^{\prime }=0$$

泛函極值問題的求解方法，除了變分法之外，常見的還有動態(tài)規(guī)劃和最優(yōu)控制。

教程：

《變分法基礎》，老大中著。

老大中，北京理工大學宇航學院發(fā)射與推進工程系副教授。

參考：

https://zhuanlan.zhihu.com/yueaptx

一個變分法方面的專欄

https://blog.csdn.net/shenziheng1/article/details/54808173

泛函與變分初步（Euler-lagrange條件）

https://www.cnblogs.com/MagicXYoung/p/4906606.html

泛函與變分基礎

https://blog.csdn.net/theonegis/article/details/86217916

變分法入門介紹

https://zhuanlan.zhihu.com/p/41573146

變分法理解1——泛函簡介

https://zhuanlan.zhihu.com/p/41810184

變分法理解2——基本方法

總結(jié)

以上是生活随笔為你收集整理的数学狂想曲（十一）——高阶统计, 最速降线, 泛函 变分的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。