數(shù)學(xué)最重要的魅力在于幫助我們提出解決問(wèn)題的思路或途徑。

而機(jī)器學(xué)習(xí)在一定程度上正是數(shù)學(xué)和工程的完美結(jié)合，畢竟用數(shù)學(xué)里面的概率論、隨機(jī)分析等工具研究AI早已不是什么新鮮事情。例如機(jī)器學(xué)習(xí)的四個(gè)基本原則性的問(wèn)題，即泛化性、穩(wěn)定性、可計(jì)算性和可解釋性就可以用數(shù)學(xué)工程手段來(lái)解決。

在近期的一次學(xué)術(shù)報(bào)告中，北京?學(xué)的張志華教授對(duì)機(jī)器學(xué)習(xí)和數(shù)學(xué)工程的內(nèi)在關(guān)系進(jìn)行了闡述。在報(bào)告中，他提到：統(tǒng)計(jì)為求解問(wèn)題提供了數(shù)據(jù)驅(qū)動(dòng)的建模途徑；概率論、隨機(jī)分析、微分方程、微分流形等工具可以引入來(lái)研究 AI 的數(shù)學(xué)機(jī)理等等。

除此之外，張志華教授還回顧了機(jī)器學(xué)習(xí)發(fā)展的?個(gè)重要階段，以及重點(diǎn)強(qiáng)調(diào)機(jī)器學(xué)習(xí)和人工智能之間并不能畫(huà)等號(hào)，畢竟機(jī)器學(xué)習(xí)實(shí)際上是研究算法的學(xué)科，而人工智能旨在模擬人的思維和行為。

在回答現(xiàn)場(chǎng)觀(guān)眾問(wèn)題的時(shí)候，他也提到機(jī)器學(xué)習(xí)就是統(tǒng)計(jì)學(xué)的一個(gè)分支，機(jī)器學(xué)習(xí)比統(tǒng)計(jì)學(xué)更接地氣。

機(jī)器學(xué)習(xí)發(fā)展現(xiàn)狀的認(rèn)識(shí)

機(jī)器學(xué)習(xí)與人工智能有著本質(zhì)上的不同，前者的重點(diǎn)不在模擬人的思維和行為，主要是想通過(guò)經(jīng)驗(yàn)和交互的方式改善性能，是基于規(guī)則的學(xué)習(xí)。機(jī)器學(xué)習(xí)實(shí)際上是研究算法的學(xué)科，算法是基于數(shù)據(jù)型算法，然后反饋到數(shù)據(jù)中去。 ? ?可以簡(jiǎn)單地把機(jī)器學(xué)習(xí)的過(guò)程看作這樣一個(gè)思路，然后可以基于此看看機(jī)器學(xué)習(xí)發(fā)展的歷程：

傳統(tǒng)方法：基于規(guī)則學(xué)習(xí)

第一個(gè)歷程是基于規(guī)則的學(xué)習(xí)，它的目的就是為了建立規(guī)則，有規(guī)則它就可以做預(yù)測(cè)。但是重點(diǎn)不是怎么形成規(guī)則，而是數(shù)據(jù)到表示，即通過(guò)認(rèn)知的手段，把人對(duì)數(shù)據(jù)的認(rèn)識(shí)過(guò)程，用計(jì)算機(jī)記錄下來(lái)，從而成一種形式化的方式，自然而然就有一種規(guī)則和邏輯的方式去做預(yù)測(cè)。它主要代表有兩個(gè)，一個(gè)是專(zhuān)家系統(tǒng)，包括知識(shí)庫(kù)和推理機(jī)，其中重點(diǎn)就是知識(shí)庫(kù)。另外一個(gè)是句法模式識(shí)別，模式識(shí)別的目的也是怎么樣把一個(gè)對(duì)象通過(guò)一種形式化的方式表示出來(lái)。

但這一階段也暴露出一些問(wèn)題，其一便是基于規(guī)則學(xué)習(xí)的方法雖然對(duì)于淺層推理比較有效，但遇上深層推理需求，如果形成規(guī)則過(guò)多，在其中搜索就容易出現(xiàn)“維數(shù)災(zāi)難”問(wèn)題。

為了解決問(wèn)題，學(xué)界提出用一個(gè)強(qiáng)大的非線(xiàn)性學(xué)習(xí)模型來(lái)弱化數(shù)據(jù)到表示過(guò)程的作用，基于這樣的理論，機(jī)器學(xué)習(xí)發(fā)展至第二個(gè)階段。

統(tǒng)計(jì)機(jī)器學(xué)習(xí)黃金發(fā)展的十年

第二階段是90年代中期到2005年左右十年的時(shí)間。在這一階段為了解決維數(shù)災(zāi)難，出現(xiàn)了一個(gè)數(shù)學(xué)理論：即將基于規(guī)則的方式，換成一個(gè)非線(xiàn)性模型，或者用計(jì)算的手段運(yùn)作模型，然后反過(guò)來(lái)可以弱化數(shù)據(jù)到表示的過(guò)程。

這一階段的神經(jīng)網(wǎng)絡(luò)（80 年代就已經(jīng)出現(xiàn)神經(jīng)網(wǎng)絡(luò)模型）則進(jìn)入了相對(duì)比較低落的時(shí)期，表現(xiàn)平平，發(fā)展遇冷。主要原因在當(dāng)時(shí)的機(jī)器學(xué)習(xí)方法比神經(jīng)網(wǎng)絡(luò)要更為簡(jiǎn)單，性能也要更好，自然而然地就取代了神經(jīng)網(wǎng)絡(luò)。

但隨著統(tǒng)計(jì)方法發(fā)展到一定階段，大家發(fā)現(xiàn)“數(shù)據(jù)到表示”這件事情還是繞不過(guò)去。而應(yīng)對(duì)這一問(wèn)題的一個(gè)簡(jiǎn)單的思路就是通過(guò)學(xué)習(xí)的途徑來(lái)求解表示問(wèn)題，從而弱化研究者對(duì)于領(lǐng)域背景知識(shí)高度掌握的要求，也就是通過(guò)一個(gè)自動(dòng)化的方式來(lái)解決這一問(wèn)題。

基于深度表示的學(xué)習(xí)

大模型+大數(shù)據(jù)+大計(jì)算使得這種思路變得可行。機(jī)器學(xué)習(xí)也進(jìn)入了第三階段。AlexNet 網(wǎng)絡(luò)的提出為問(wèn)題帶來(lái)了突破性進(jìn)展，很多做計(jì)算機(jī)視覺(jué)的人在網(wǎng)絡(luò)方面不停跟進(jìn)，這些發(fā)展主要是基于視覺(jué)識(shí)別的。

其后在機(jī)器翻譯、自然語(yǔ)言處理的方向，自然而然也想到深度學(xué)習(xí)既然可以解決視覺(jué)問(wèn)題，當(dāng)然就可以把深度學(xué)習(xí)的方法拿到機(jī)器學(xué)習(xí)上來(lái)，所以現(xiàn)在在機(jī)器學(xué)習(xí)里面它的主要的模型也是基于深度學(xué)習(xí)。雖然模型可能不是卷積神經(jīng)網(wǎng)絡(luò)，但是核心仍包含LSTM這類(lèi)算法。但是不管怎么樣，相對(duì)于機(jī)器學(xué)習(xí)在視覺(jué)識(shí)別上的應(yīng)用，其在自然語(yǔ)言處理上的效果或者它的作用遠(yuǎn)遠(yuǎn)沒(méi)有那么好。

在上述時(shí)期，用深度學(xué)習(xí)的目的還不是為了表示，而是為了非線(xiàn)性的擬合。在自然語(yǔ)言處理領(lǐng)域，個(gè)人理解目前為止還沒(méi)有找到一種非常有效的，像卷積神經(jīng)網(wǎng)絡(luò)一樣有效的處理圖像的網(wǎng)絡(luò)，所以導(dǎo)致自然語(yǔ)言處理效果沒(méi)有像處理圖像那么強(qiáng)大。

這整個(gè)過(guò)程，我們都知道是在一個(gè)有監(jiān)督的框架里去做的，本質(zhì)上就是把數(shù)據(jù)到表示用一個(gè)模型和計(jì)算的方式來(lái)處理。而表示到預(yù)測(cè)、決策也是通過(guò)模型計(jì)算的，整個(gè)從數(shù)據(jù)到預(yù)測(cè)的過(guò)程可以看作是端到端的優(yōu)化學(xué)習(xí)過(guò)程。

深度學(xué)習(xí)目前現(xiàn)狀：無(wú)監(jiān)督問(wèn)題突出

深度學(xué)習(xí)發(fā)展到現(xiàn)在，主要講是有監(jiān)督的學(xué)習(xí)。但是現(xiàn)在很多問(wèn)題是無(wú)監(jiān)督的，就是無(wú)監(jiān)督的問(wèn)題遠(yuǎn)遠(yuǎn)比有監(jiān)督的問(wèn)題要多，而且要復(fù)雜。那么一個(gè)簡(jiǎn)單的思想就是要把無(wú)監(jiān)督的問(wèn)題轉(zhuǎn)換成與有監(jiān)督類(lèi)似的學(xué)習(xí)過(guò)程。比如有一個(gè)優(yōu)化的過(guò)程，我們想用機(jī)器學(xué)習(xí)的方法來(lái)解決，在統(tǒng)計(jì)里面，現(xiàn)在假設(shè)X要生成Y，那么如果X是連續(xù)的，可以假設(shè)X是符合高斯分布的。如果X來(lái)自高斯假設(shè)很強(qiáng)，但是可以說(shuō)X是來(lái)自什么？是一個(gè)高斯混合體。如果X是一個(gè)連續(xù)的向量，那它總是可以用一個(gè)高斯混合體去逼近它，這是沒(méi)有任何問(wèn)題的。

但是時(shí)候發(fā)現(xiàn)X是一個(gè)抽象的數(shù)學(xué)意識(shí)，并沒(méi)有具體的物理意義，那么自然神經(jīng)網(wǎng)絡(luò)這些技術(shù)可以對(duì)具體圖像進(jìn)行處理，對(duì)語(yǔ)言進(jìn)行處理，但能否對(duì)數(shù)學(xué)意義上的X去進(jìn)行處理呢? 現(xiàn)在發(fā)展比如有一個(gè)生成對(duì)抗網(wǎng)絡(luò)，它就是解決這樣的問(wèn)題。它不僅可以處理一個(gè)抽象數(shù)學(xué)意義上的X，還可以生成我們從未制造過(guò)的圖像或者語(yǔ)言。它的核心算法是通過(guò)多個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈來(lái)進(jìn)行非監(jiān)督學(xué)習(xí)。

強(qiáng)化學(xué)習(xí)目前的復(fù)興是因?yàn)樯疃葘W(xué)習(xí)

另一個(gè)發(fā)展方向是強(qiáng)化學(xué)習(xí)，強(qiáng)化學(xué)習(xí)是什么呢？它利用規(guī)則與環(huán)境交互或者獎(jiǎng)賞，然后形成一個(gè)學(xué)習(xí)優(yōu)化問(wèn)題。

對(duì)于強(qiáng)化學(xué)習(xí)，不是最近才發(fā)明出來(lái)的。其主要的數(shù)學(xué)手段是馬爾可夫決策過(guò)程。它通過(guò)馬爾可夫決策過(guò)程去描述問(wèn)題，描述問(wèn)題之后要去解問(wèn)題，發(fā)現(xiàn)問(wèn)題最優(yōu)解，最后把它定成貝爾曼方程。我們?nèi)デ蠼庳悹柭匠痰臅r(shí)候發(fā)現(xiàn)其可以用不動(dòng)點(diǎn)定理來(lái)描述。那么有了不動(dòng)點(diǎn)定理支撐，現(xiàn)在主要是有兩個(gè)思路，第一個(gè)思路是基于Value，也就是用Value迭代找到最優(yōu)值。另外一種就是Policy迭代，因?yàn)楸举|(zhì)上不是找Value，是找Policy，所以就直接在Policy方面去做迭代。

現(xiàn)在很多實(shí)際問(wèn)題實(shí)際上假設(shè)環(huán)境是未知的，也就是說(shuō)對(duì)卷積概率是不會(huì)知道的。這時(shí)候發(fā)展就是一個(gè)所謂的Q-Learning，實(shí)際上Q-Learning定義了一個(gè)新的函數(shù)叫Q函數(shù)。那么在Q-Learning基礎(chǔ)上，就發(fā)展出來(lái)深度Q網(wǎng)絡(luò)，目前現(xiàn)在主要做的比如像Policy的梯度方法，這是強(qiáng)化學(xué)習(xí)或者深度強(qiáng)化學(xué)習(xí)目前發(fā)展的一個(gè)主要結(jié)點(diǎn)。

機(jī)器學(xué)習(xí)的技術(shù)路線(xiàn)

機(jī)器學(xué)習(xí)有三個(gè)問(wèn)題。一個(gè)是有監(jiān)督、無(wú)監(jiān)督和強(qiáng)化學(xué)習(xí)。原來(lái)認(rèn)為機(jī)器學(xué)習(xí)是統(tǒng)計(jì)的分支，現(xiàn)在認(rèn)為機(jī)器學(xué)習(xí)就是現(xiàn)代統(tǒng)計(jì)學(xué)。機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)有各種微妙的關(guān)系，比如機(jī)器學(xué)習(xí)是分類(lèi)問(wèn)題，而統(tǒng)計(jì)是回歸問(wèn)題，分類(lèi)和回歸其實(shí)也沒(méi)有太本質(zhì)的區(qū)別。

第二，機(jī)器學(xué)習(xí)往往會(huì)形成優(yōu)化問(wèn)題。剛才說(shuō)要形成優(yōu)化過(guò)程，它跟其他的優(yōu)化理論是什么區(qū)別？一個(gè)優(yōu)化理論的學(xué)者，可能更純粹就關(guān)注找到最優(yōu)值。但是對(duì)于機(jī)器學(xué)習(xí)的學(xué)者來(lái)說(shuō)，最重要的可能是要找到預(yù)測(cè)數(shù)據(jù)。

現(xiàn)在看來(lái)，現(xiàn)代的機(jī)器學(xué)習(xí)它主要成功就在于表示，就是深度學(xué)習(xí)是一個(gè)表示，它不是單純的是一個(gè)非線(xiàn)性模型，而主要是一個(gè)非線(xiàn)性的表示。當(dāng)然提到機(jī)器學(xué)習(xí)，我們知道它的另一個(gè)重要目的是預(yù)測(cè)，而預(yù)測(cè)是通過(guò)模型得出的。

但是深度學(xué)習(xí)也遇到很多挑戰(zhàn)，第一個(gè)是需要大量的數(shù)據(jù)。大家網(wǎng)絡(luò)是非常多，所以往往導(dǎo)致過(guò)參數(shù)化的問(wèn)題。另外就是在做表述是基于多層的表述，所以問(wèn)題是高度的非凸化的。

另外，現(xiàn)在機(jī)器學(xué)習(xí)要關(guān)注的重點(diǎn)問(wèn)題有四個(gè)方面。第一個(gè)是可預(yù)測(cè)性、第二個(gè)可計(jì)算性、第三個(gè)是穩(wěn)定性、第四個(gè)就是可解釋性。可能現(xiàn)在認(rèn)為主要重點(diǎn)就是在穩(wěn)定性和泛化性方面，因?yàn)橛X(jué)得神經(jīng)網(wǎng)絡(luò)可以沒(méi)有可解釋性。

最后，張志華教授就機(jī)器學(xué)習(xí)和數(shù)學(xué)工程之間的關(guān)系給出了這樣的闡述：

統(tǒng)計(jì)為求解問(wèn)題提供了數(shù)據(jù)驅(qū)動(dòng)的建模途徑；

概率論、隨機(jī)分析、微分方程、微分流形等工具可以引入來(lái)研究 AI 的數(shù)學(xué)機(jī)理；

無(wú)論從統(tǒng)計(jì)角度還是從數(shù)學(xué)角度來(lái)研究 AI，其實(shí)際性能最后都要通過(guò)計(jì)算呈現(xiàn)出來(lái)：

1.數(shù)值分析，即求解連續(xù)數(shù)學(xué)問(wèn)題的算法；

2.離散算法，即求解離散結(jié)構(gòu)問(wèn)題的算法；

3.大規(guī)模計(jì)算架構(gòu)

— — — — — — E N D — — — — — —

往期文章：

Numpy處理tick級(jí)別數(shù)據(jù)技巧

真正賺錢(qián)的期權(quán)策略曲線(xiàn)是這樣的

多品種歷史波動(dòng)率計(jì)算

如何實(shí)現(xiàn)全市場(chǎng)自動(dòng)盯盤(pán)

AI是怎樣看懂研報(bào)的

真格量化策略debug秘籍

真格量化對(duì)接實(shí)盤(pán)交易

常見(jiàn)高頻交易策略簡(jiǎn)介

如何用撤單函數(shù)改進(jìn)套利成交

Deque提高處理隊(duì)列效率

策略編程選Python還是C++

如何用Python繼承機(jī)制節(jié)約代碼量

十大機(jī)器學(xué)習(xí)算法

如何調(diào)用策略附件數(shù)據(jù)

如何使用智能單

如何掃描全市場(chǎng)跨月價(jià)差

如何篩選策略最適合的品種

活用訂單類(lèi)型規(guī)避頻繁撤單風(fēng)險(xiǎn)

真格量化回測(cè)撮合機(jī)制簡(jiǎn)介

如何調(diào)用外部數(shù)據(jù)

如何處理回測(cè)與實(shí)盤(pán)差別

如何利用趨勢(shì)必然終結(jié)獲利

常見(jiàn)量化策略介紹

期權(quán)交易“七宗罪”

波動(dòng)率交易介紹

推高波動(dòng)率的因素

波動(dòng)率的預(yù)測(cè)之道

真格量化可訪(fǎng)問(wèn)：

https://quant.pobo.net.cn

真格量化微信公眾號(hào)，長(zhǎng)按關(guān)注：

遇到了技術(shù)問(wèn)題？歡迎加入真格量化Python技術(shù)交流QQ群 ?726895887

總結(jié)

以上是生活随笔為你收集整理的“机器学习就是现代统计学”的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。