目錄

• 簡介
• • 離線學習
• 在線學習
• • 在線學習算法的分類
  • 在線學習算法的優化
• 對比
• 總結
• 參考文獻

簡介

機器學習領域中，可將機器學習算法分為在線學習和離線學習。需要根據數據選擇不同的線性可分和線性不可分的核函數。

離線學習

離線學習也通常稱為批學習，是指對獨立數據進行訓練，將訓練所得的模型用于預測任務中。將全部數據放入模型中進行計算，一旦出現需要變更的部分，只能通過再訓練(retraining)的方式，這將花費更長的時間，并且將數據全部存在服務器或者終端上非常占地方，對內存要求高。

正是由于這個問題，傳統的離線學習不能直接用于在線學習場景：

離線需要多次傳遞訓練數據，由于數據量的二次時間復雜度，導致處理效率很低

離線需要分別在訓練集和驗證集上訓練和選擇，但在線學習不將訓練與選擇分離，不分割訓練數據

在批量學習設置中，通常假設數據是根據獨立同分布設置的，但是在在線學習設置中，對訓練數據的假設是寬松或幾乎沒有的。

離線學習的缺點：
1、 模型訓練過程低效
2、 訓練過程不易拓展于大數據場景。
3、 模型無法適應動態變化的環境

在線學習

在線學習也稱為增量學習或適應性學習，是指對一定順序下接收數據，每接收一個數據，模型會對它進行預測并對當前模型進行更新，然后處理下一個數據。這對模型的選擇是一個完全不同，更復雜的問題。需要混合假設更新和對每輪新到達示例的假設評估。換句話說，你只能訪問之前的數據，來回答當前的問題。

The main objective of online learning algorithms is to minimize the regret
在線學習算法的主要目標是使regret最小化

在網絡異常檢測中，網絡異常通常包括各種網絡故障、流量的異常表現和擁塞等，各種網絡攻擊層出不窮，數據是原數據中從未出現過的，因此要求新的在線學習方法能夠自動地偵測當前要鑒別的流數據是原來數據中存在的還是新生成的 。在線學習算法具有實現簡單、可拓展性強和算法性能優越等特點，適合用于海量數據處理。

在線學習算法的分類

根據模型是線性還是非線性模型，將在線學習算法分為兩大類，在線線性學習算法和基于核的在線學習算法。

在線線性學習算法在線核學習算法

感知器算法	基于核的感知器算法
稀疏在線學習算法	基于核的在線梯度下降算法
無	固定緩沖區的核在線學習算法

以上是針對單任務的在線學習問題，比如自然語言處理、生物基因序列以及圖片視頻搜索等適合使用多任務學習。多任務可利用多個任務之間的相關性避免模型欠擬合，從而提高算法的泛化能力。主要包括有：

• 基于多任務的在線學習算法
• 基于Group Lasso的在線學習算法

在線學習算法的優化

• 通過"損失函數+正則化向"的優化框架
• 還可以通過在線學習與深度學習相結合

對比

離線學習與在線學習對比的流程圖如下：

總結

在線學習與當前研究熱點深度學習有待更加深入有效的融合，在線學習的分布式實現有待進一步探索和研究，在線學習是否能與強化學習結合，有待進一步探索。

參考文獻

1.劉成昊.在線學習算法研究與應用.浙江大學博士學位論文，2017.
2.潘志松等.在線學習算法綜述,數據采集與處理,2016.
3.X.Zhang el.a survey on online kernal selection for online kernal learning,WIREs Data Mining Knowl Discov. 2018
4.機器學習中的在線學習與離線學習
5.在線學習與離線學習
6.Online Machine Learning - Introduction,overview and examples

總結

以上是生活随笔為你收集整理的在线学习(Online learning)与离线学习（Offline learning）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。