監督學習的可行性依賴于下面的關鍵問題：

由N個獨立同分布的樣本(X1，D1),(X2,D2),…,(Xn,Dn)

組成的訓練樣本是否包含了構造具有良好泛化性能的機器學習的足夠信息？

計算考慮：

神經網絡模型（例如單層多層感知器）必須是可控變量，使得它能夠被自由地調整以達到對從未出現過的數據的最好測試性能。另一個可控變量是用于訓練的樣本數量。為了增加監督訓練過程的實際真實性，Bottou通過考慮一個新的可控變量來介紹結算代價。這個新的可控變量就是最優精確度。

小規模學習問題

只考慮小規模學習問題時，機器學習設計者可以得到以下三個變量：

訓練樣本個數，N。

逼近網絡函數族F的容許大小K。

引入的計算誤差δ可以是0。

大規模學習問題

大規模學習問題的主動預算約束是計算時間。在處理第二類學習問題時，面對更復雜的這種，因為現在必須對計算時間T負責。

在大規模學習問題中，通過調整如下可提供變量來最小化：

樣本個數，N。

逼近網絡函數的容許大小K。

計算誤差δ，它不再是0。

做這樣的最小化分析是極為困難的，因為計算時間T實際上依賴于所有三個變量N，為了解釋著以依賴性，我們給誤差分配一個小的值來減少最優化誤差。為了實現這一減少，遺憾的是，我們必須調整另外兩個變量，他們中的任一個都將具有對逼近和估計誤差的不良影響。

?

一般來說，在機器學習問題的研究中出現三種誤差：

1.逼近誤差，這是在給定訓練樣本的固定大小N后，由訓練神經網絡或者機器學習所招致的誤差。

2.估計誤差，這是在機器的訓練完成后，用以前沒有出現過的數據測試其性能所招致的誤差；從效果上而言，估計誤差是泛化誤差的另一個途徑。

3.最優化誤差，這是對于預先給定的計算時間T來說，訓練機器的計算精度所引起的。

????在小規模學習問題中，我們發現主動預算約束是訓練樣本大小，其隱含意義在于最優化誤差實際上通常是0。因此結構風險最小化的Vapnik理論對于處理小規模學習問題來說是足夠的。另一方面，在大規模學習問題中，主動預算約束是可用的計算時間T，此時最優化誤差自身起著關鍵的作用。特別地，學習過程的計算精確度以及因此而來的最優化誤差收到用于求解學習問題的最優化算法類型的巨大影響。

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—小规模和大规模学习问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。