機器學習與數學分析

機器學習概述

什么是機器學習

1.對于某給定的任務T，在合理的性能度量方案P的前提下，某計算機程序可以自主學習任務T和經驗E；隨著提供合適、優質、大量的經驗E，該程序對于任務T的性能逐步提高。

2.這里最重要的是機器學習的對象：
（1）、任務Task.T，一個或者多個。
（2）、經驗Experience.E。
（3）、性能Performance.P。

3.隨著任務的不斷執行，經驗的累積會帶來計算機性能的提升。

簡易表述

機器學習是人工智能的一個分支。
我們使用計算機設計一個系統，使它能夠根據提供的訓練數據按照一定的方式來學習。
隨著訓練次數的增加，該系統可以在性能上不斷學習和改進。
通過參數優化的學習模型，能夠用于預測相關問題的輸出。

思考：如何設計無人駕駛機動車？

無人駕駛汽車

汽車的無人駕駛模塊已經成熟：全自動公共交通工具已經出現在了世界上的多個城市。

問題：如何設計自動駕駛系統？

人類的學習

1.如何從完全“無知”到掌握知識

2.有監督學習

3.無監督學習

4.增強學習

機器學習的內涵與外延

機器學習可以解決什么

給定數據的預測問題：
1.數據清洗/特征選擇
2.確定算法模型/參數優化
3.結果預測
……

不能解決什么

大數據存儲/并行計算
做一個機器人
……

機器學習的一般流程

數據收集——>數據清洗——>特征工程——>數據建模

機器學習方法

different assumption on data
different scalability profiles at training time
different latencies at prediction time
different model sizes （embedability in mobile devices）

思考：機器如何發現新詞

頻數：Count（X）

凝固程度

X=A.B
P（A）P（B） VS P（X）

自由程度

aXb
信息熵H（a）、H（b）

凝固程度和自由程度缺一不可，還需要調參。

問題：給定某長文本，如何利用上述參數設計可行算法？

機器學習的角度看數學

理解HMM框架

概率計算問題

1.給定模型和觀測序列O={o1,o2,……ot}，計算模型λ下觀測序列O出現的概率P（O|λ）
2.前向-后向算法——動態規劃。

學習問題

1.已知觀測序列O={o1,o2,……ot}，估計模型的參數，使得在該模型下觀測序列P（O|λ）最大。
2.最大似然估計（給定狀態序列），Baum-Welch算法（狀態序列未知）——EM算法。

預測問題

1.即解碼問題：已知模型和觀測序列O={o1,o2,……ot}，求對給定觀測序列條件概率P（O|λ）最大的狀態序列I。
2.Viterbi算法——動態規劃。

數學分析

問題分析

導數與梯度

導數

1.簡單的說，導數就是曲線的斜率，是曲線變化快慢的反應。

2.二階導數是斜率變化快慢的反應，表征曲線的凸凹性。二階導數連續的曲線，往往稱之為“光順”的。

3.根據可以得到函數f(x)=ln x的導數，進一步根據換底公式、反函數求導等，得到其它初等函數的導數。

常用函數的導數

方向導數

梯度

積分應用

Taylor展式的應用

Taylor公式的應用

概率論基礎

概率論

古典概型

解：

概率公式

頻率學派與貝葉斯學派

貝葉斯公式

常見概率分布

兩點分布

二項分布 Bernoulli distribution

考察Taylor展式

泊松分布

均勻分布

指數分布

指數分布的無記憶性

正態分布

二元正態分布

總結

Sigmoid/Logistic函數的引入

Sigmoid函數的導數

總結

以上是生活随笔為你收集整理的机器学习——01、机器学习的数学基础1 - 数学分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。