機(jī)器學(xué)習(xí)與數(shù)學(xué)分析

機(jī)器學(xué)習(xí)概述

什么是機(jī)器學(xué)習(xí)

1.對(duì)于某給定的任務(wù)T，在合理的性能度量方案P的前提下，某計(jì)算機(jī)程序可以自主學(xué)習(xí)任務(wù)T和經(jīng)驗(yàn)E；隨著提供合適、優(yōu)質(zhì)、大量的經(jīng)驗(yàn)E，該程序?qū)τ谌蝿?wù)T的性能逐步提高。

2.這里最重要的是機(jī)器學(xué)習(xí)的對(duì)象：
（1）、任務(wù)Task.T，一個(gè)或者多個(gè)。
（2）、經(jīng)驗(yàn)Experience.E。
（3）、性能Performance.P。

3.隨著任務(wù)的不斷執(zhí)行，經(jīng)驗(yàn)的累積會(huì)帶來計(jì)算機(jī)性能的提升。

簡易表述

機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支。
我們使用計(jì)算機(jī)設(shè)計(jì)一個(gè)系統(tǒng)，使它能夠根據(jù)提供的訓(xùn)練數(shù)據(jù)按照一定的方式來學(xué)習(xí)。
隨著訓(xùn)練次數(shù)的增加，該系統(tǒng)可以在性能上不斷學(xué)習(xí)和改進(jìn)。
通過參數(shù)優(yōu)化的學(xué)習(xí)模型，能夠用于預(yù)測相關(guān)問題的輸出。

思考：如何設(shè)計(jì)無人駕駛機(jī)動(dòng)車？

無人駕駛汽車

汽車的無人駕駛模塊已經(jīng)成熟：全自動(dòng)公共交通工具已經(jīng)出現(xiàn)在了世界上的多個(gè)城市。

問題：如何設(shè)計(jì)自動(dòng)駕駛系統(tǒng)？

人類的學(xué)習(xí)

1.如何從完全“無知”到掌握知識(shí)

2.有監(jiān)督學(xué)習(xí)

3.無監(jiān)督學(xué)習(xí)

4.增強(qiáng)學(xué)習(xí)

機(jī)器學(xué)習(xí)的內(nèi)涵與外延

機(jī)器學(xué)習(xí)可以解決什么

給定數(shù)據(jù)的預(yù)測問題：
1.數(shù)據(jù)清洗/特征選擇
2.確定算法模型/參數(shù)優(yōu)化
3.結(jié)果預(yù)測
……

不能解決什么

大數(shù)據(jù)存儲(chǔ)/并行計(jì)算
做一個(gè)機(jī)器人
……

機(jī)器學(xué)習(xí)的一般流程

數(shù)據(jù)收集——>數(shù)據(jù)清洗——>特征工程——>數(shù)據(jù)建模

機(jī)器學(xué)習(xí)方法

different assumption on data
different scalability profiles at training time
different latencies at prediction time
different model sizes （embedability in mobile devices）

思考：機(jī)器如何發(fā)現(xiàn)新詞

頻數(shù)：Count（X）

凝固程度

X=A.B
P（A）P（B） VS P（X）

自由程度

aXb
信息熵H（a）、H（b）

凝固程度和自由程度缺一不可，還需要調(diào)參。

問題：給定某長文本，如何利用上述參數(shù)設(shè)計(jì)可行算法？

機(jī)器學(xué)習(xí)的角度看數(shù)學(xué)

理解HMM框架

概率計(jì)算問題

1.給定模型和觀測序列O={o1,o2,……ot}，計(jì)算模型λ下觀測序列O出現(xiàn)的概率P（O|λ）
2.前向-后向算法——?jiǎng)討B(tài)規(guī)劃。

學(xué)習(xí)問題

1.已知觀測序列O={o1,o2,……ot}，估計(jì)模型的參數(shù)，使得在該模型下觀測序列P（O|λ）最大。
2.最大似然估計(jì)（給定狀態(tài)序列），Baum-Welch算法（狀態(tài)序列未知）——EM算法。

預(yù)測問題

1.即解碼問題：已知模型和觀測序列O={o1,o2,……ot}，求對(duì)給定觀測序列條件概率P（O|λ）最大的狀態(tài)序列I。
2.Viterbi算法——?jiǎng)討B(tài)規(guī)劃。

數(shù)學(xué)分析

問題分析

導(dǎo)數(shù)與梯度

導(dǎo)數(shù)

1.簡單的說，導(dǎo)數(shù)就是曲線的斜率，是曲線變化快慢的反應(yīng)。

2.二階導(dǎo)數(shù)是斜率變化快慢的反應(yīng)，表征曲線的凸凹性。二階導(dǎo)數(shù)連續(xù)的曲線，往往稱之為“光順”的。

3.根據(jù)可以得到函數(shù)f(x)=ln x的導(dǎo)數(shù)，進(jìn)一步根據(jù)換底公式、反函數(shù)求導(dǎo)等，得到其它初等函數(shù)的導(dǎo)數(shù)。

常用函數(shù)的導(dǎo)數(shù)

方向?qū)?shù)

梯度

積分應(yīng)用

Taylor展式的應(yīng)用

Taylor公式的應(yīng)用

概率論基礎(chǔ)

概率論

古典概型

解：

概率公式

頻率學(xué)派與貝葉斯學(xué)派

貝葉斯公式

常見概率分布

兩點(diǎn)分布

二項(xiàng)分布 Bernoulli distribution

考察Taylor展式

泊松分布

均勻分布

指數(shù)分布

指數(shù)分布的無記憶性

正態(tài)分布

二元正態(tài)分布

總結(jié)

Sigmoid/Logistic函數(shù)的引入

Sigmoid函數(shù)的導(dǎo)數(shù)

總結(jié)

以上是生活随笔為你收集整理的机器学习——01、机器学习的数学基础1 - 数学分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。