高階統計

Cumulants（續）

在介紹Cumulants之前，我們首先看一下Moment-generating function：

$$M_X(t):=E\left[e^{tX}\right],t\in \mathbb{R}$$

可以看出，MGF和《數學狂想曲（二）》中提到的隨機變量的特征函數（Characteristic function, CF）的形式非常類似。

而cumulant-generating function則是MGF的對數，即：

$$K(t)=\log E\left[e^{tX}\right]$$

對上式進行Maclaurin展開，可得：

$$K(t)=\sum _{n=1}^{\infty }{\kappa }_n\frac{t^n}{n!}=\mu t+{\sigma }^2\frac{t^2}{2}+?$$

這里的${\kappa }_n$就是Cumulants了。

由MGF和CF的關系易知，使用CF的對數的Maclaurin展開，也可以求Cumulants。

Cumulants有如下性質：

$$cum({\lambda }_1{x}_1,\dots ,{\lambda }_k{x}_k)=\sum _{i=1}^k{\lambda }_{i}cum(x_1,\dots ,x_k)\text{\hspace{1em}(1)}$$

其中，${\lambda }_i$為常數。

$$cum(x_1,\dots ,x_k)=cum(x_{i_1},\dots ,x_{i_k})\text{\hspace{1em}(2)}$$

其中，$(i_1,\dots ,i_k)$為$(1,\dots ,k)$的任意一種排列。

$$cum(x_0+y_0,z_1,\dots ,z_k)=cum(x_0,z_1,\dots ,z_k)+cum(y_0,z_1,\dots ,z_k)\text{\hspace{1em}(3)}$$

如果$\alpha$為常數，則：

$$cum(\alpha +z_1,\dots ,z_k)=cum(z_1,\dots ,z_k)\text{\hspace{1em}(4)}$$

如果$x_i$與$y_i$相互獨立，則：

$$cum(x_1+y_1,\dots ,x_k+y_k)=cum(x_1,\dots ,x_k)+cum(y_1,\dots ,y_k)\text{\hspace{1em}(5)}$$

參考

https://www.zhihu.com/question/25344430

隨機變量的矩和高階矩有什么實在的含義？

https://www.zhihu.com/question/43469699

信號的矩和高階累積量的定義是什么？

http://www.doc88.com/p-1127198771359.html

高階累積量與高階譜讀書筆記

https://wenku.baidu.com/view/7c4931085727a5e9856a6139.html

高階譜分析

https://wenku.baidu.com/view/136b666c561252d380eb6e8c.html

高階統計量的定義與性質

最速降線

約翰·伯努利在1696年提出最速降線的問題（problem of brachistochrone），向全歐洲數學家征求解答。這個問題最早由伽利略在1630年提出：“一個質點在只受重力的作用下，從一個給定點A到不在它垂直下方的另一點B，問沿著什么曲線下滑（忽略摩擦力）所需時間最短？”

然而伽利略自己給出的答案是錯誤的：他認為這條曲線是過AB的圓弧。這條曲線也不是連接AB兩點的直線，盡管AB間線段最短，但小球滾下來的時間不是最短。

伯努利把此問題發布在Acta Eruditorum上，他還這么說：

“我，約翰·伯努利，想找到世界上最出色的數學家。對聰明人而言，沒有什么能比一道誠實而富有挑戰性的難題更有吸引力，其可能的解決方案將會成為一個永恒的紀念碑。按照帕斯卡，費馬等人設定的例子，請允許我代表整個數學界將這個尤其能在今天考驗大家的數學技巧和思維耐力的問題展示在最優秀的數學家面前。如果有人能把答案遞交與我，我會將其公開，并授予其應得的獎賞。”

伯努利原定的截止期限是1696年年底，可是他只受到了一份來自他的老師萊布尼茲的解答。萊布尼茲要求伯努利將截止期限延長到來年復活節（大致在3月下旬到4月下旬之間），以便讓歐洲數學家們有更多時間來充分解決此道難題。約翰·伯努利親自把最速降線問題抄了一份，裝進信封寄給在英國的牛頓。

1697年1月29日，牛頓正在造幣局里忙著改鑄新幣的工作。下午4點回到家里，他看到了郵箱里伯努利寄來的問題。盡管牛頓非常疲憊，他立即徹夜未眠的投入研究，在凌晨4點時得到問題的解答。他將他的解答寄給好友兼皇家協會主席查爾斯，隨后皇家協會以匿名的形式發表在Philosophical Transactions上。

要知道，此時的牛頓已經56歲，工作重點是皇家鑄幣廠監管。即使如此，在忙了一天的本職工作后，牛頓還是用幾個小時就解決了許多歐洲數學家都無法解出的難題。約翰·伯努利本人也花了兩個星期的時間才完成解答。

1697年復活節的截止期限，伯努利共收到了5份答案，他自己和其老師萊布尼茲，第三份是他的哥哥雅可布·伯努利，洛必達是第四個，最后是一份匿名答案。伯努利在閱讀最后一份解答時立即認出它的作者，他驚嘆道：

“從利爪上認出了這頭獅子（recognizes a lion from his claw mark）”

在給查爾斯的信里，牛頓還寫道：我不喜歡在數學上被外國人糊弄（I do not love to be dunned and teased by foreigners about mathematical things）。

除了牛頓之外，雅可布·伯努利也是約翰·伯努利最想擊敗的對手。事實上，三個人雖然都正確回答了該問題，然而所用的方法竟然全都不同。下面提到的變分法，主要是雅可布·伯努利的貢獻。

言歸正傳，最速降線的正確答案是——擺線（Cycloid）：一個圓在一條定直線上滾動時，圓周上一個定點的軌跡，又稱圓滾線、旋輪線。

伽利略雖然在最速降線問題上給出了錯誤的答案，然而他本人對于擺線還是研究頗深的。事實上，擺線的名字就是他起的（1599年）。

他還發現了以下結論：

1.擺線弧的長度等于旋轉圓的直徑的4倍。

2.擺線弧下方所圍成的面積是旋轉圓的面積的3倍。

在沒有微積分的時代，他是如何發現這些結論的呢？答案：做實驗。

是的，你沒看錯，就是實驗。他用一根繩子附在擺線度量出這條繩子的長度再與旋轉圓的直徑作比較，得到了第一個事實；在一塊薄板上畫出擺線所圍成的圖形，再把這個圖形切下來，稱一下它的重量，然后在同樣的薄板上畫出旋轉圓，再把旋轉圓切下來，稱一下重量，他發現了第二條事實。

注意，伽利略雖然發現了擺的等時性，然而他用的擺是圓擺。直到惠更斯改進鐘擺，鐘擺和擺線才有了關系。這從擺線的英文名可以看的很清楚。伽利略顯然采用的是圓滾線的定義。

泛函 & 變分

歷史上對于最速降線的研究催生了泛函數（Functionals）和變分法（Calculus of Variations）的概念。

這里就以最速降線為例，說明一下泛函和變分的含義。

首先建立坐標系，水平方向為x軸，豎直方向為y軸。

則質點下落速率與下落高度間的關系為：

$$v=\sqrt{2gh}?\frac{\mathrm{d}s}{\mathrm{d}t}=\sqrt{2gy}$$

所以：

$$T={\int }_{t_1(A)}^{t_2(B)}\mathrm{d}t={\int }_A^B\frac{\mathrm{d}s}{\sqrt{2gy}}={\int }_A^B\frac{\sqrt{1?y^{\prime 2}}}{\sqrt{2gy}}\mathrm{d}x$$

顯然，這是一個路徑積分。

上式可改寫為以下形式：

$$T=T[y(x)]={\int }_A^B\frac{\sqrt{1?y^{\prime 2}}}{\sqrt{2gy}}\mathrm{d}x={\int }_A^{B}F(x,y,y^{\prime })\mathrm{d}x$$

注意，這里的$T[y(x)]$不能理解為復合函數：

1.復合函數的變換是$x\to y\to T$。其中，x、y、T都是數值。換句話說，就是數值的傳遞。

2.在這個問題中，y的具體值，意義不大，如何到達y的路徑才是關鍵。而路徑其實可以表達為一個函數，即y是x的函數，而T是x的函數的函數（也被稱為“泛函”）。

**泛函求極值的方法和過程，被稱作變分法。**上述最速降線問題，實際上就是在一個泛函集合上求極值的問題。

對于任意定值$x\in [x_0,x_1]$，可取函數$y(x)$與另一可取函數$y_0(x)$之差$y(x)?y_0(x)$，稱為函數$y(x)$在$y_0(x)$處的變分或者叫函數的變分，記作$\delta y$，其中$\delta$稱為變分算子，那么：

$$\delta y=y(x)?y_0(x)$$

從上面的定義可以看出函數的變分$\delta y$與函數的增量$\Delta y$之間的區別：

1.函數的變分$\delta y$是兩個不同的函數$y(x)$和$y_0(x)$在自變量x固定時的差，這是函數發生了改變。

2.函數的增量$\Delta y$是自變量x的增量使得函數$y(x)$產生的增量，函數依然是原來的函數。

被積函數F被稱為泛函的核。

核的三要素：

1.自變量x。可以有多個自變量。

2.函數y。也可以是多個。

3.y的導數。可以是多個，也可以是高階導數。

最速降線問題由于只涉及y的一階導數，因此又被稱為一階變分問題。

這類問題是最簡單的變分問題，它的極值通常符合Euler–Lagrange equation：

$$F_y?\frac{d}{dx}{F}_y^{\prime }=0$$

泛函極值問題的求解方法，除了變分法之外，常見的還有動態規劃和最優控制。

教程：

《變分法基礎》，老大中著。

老大中，北京理工大學宇航學院發射與推進工程系副教授。

參考：

https://zhuanlan.zhihu.com/yueaptx

一個變分法方面的專欄

https://blog.csdn.net/shenziheng1/article/details/54808173

泛函與變分初步（Euler-lagrange條件）

https://www.cnblogs.com/MagicXYoung/p/4906606.html

泛函與變分基礎

https://blog.csdn.net/theonegis/article/details/86217916

變分法入門介紹

https://zhuanlan.zhihu.com/p/41573146

變分法理解1——泛函簡介

https://zhuanlan.zhihu.com/p/41810184

變分法理解2——基本方法

總結

以上是生活随笔為你收集整理的数学狂想曲（十一）——高阶统计, 最速降线, 泛函 变分的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。