深度學習：Sota的定義

• Sota
• The end to end（非端到端模型）
• End to end（端到端模型）
• Benchmark、Baseline
• 并發、并行、串行
• 遷移學習
• 微調
• 進程、線程
• 監督學習
• 非監督學習
• 半監督學習
• 泛化（Generalization）
• 正則化（Regularization）
• 吞吐量

Sota

Sota實際上就是State of the arts 的縮寫，指的是在某一個領域做的Performance最好的model，一般就是指在一些benchmark的數據集上跑分非常高的那些模型。

SOTA model：并不是特指某個具體的模型，而是指在該項研究任務中，目前最好/最先進的模型。
SOTA result：指的是在該項研究任務中，目前最好的模型的結果/性能/表現。

The end to end（非端到端模型）

傳統機器學習的流程往往由多個獨立的模塊組成，比如在一個典型的自然語言處理（Natural Language Processing）問題中，包括分詞、詞性標注、句法分析、語義分析等多個獨立步驟，每個步驟是一個獨立的任務，其結果的好壞會影響到下一步驟，從而影響整個訓練的結果，這是非端到端的。

End to end（端到端模型）

從輸入端到輸出端會得到一個預測結果，將預測結果和真實結果進行比較得到誤差，將誤差反向傳播到網絡的各個層之中，調整網絡的權重和參數直到模型收斂或者達到預期的效果為止，中間所有的操作都包含在神經網絡內部，不再分成多個模塊處理。由原始數據輸入，到結果輸出，從輸入端到輸出端，中間的神經網絡自成一體（也可以當做黑盒子看待），這是端到端的。

Benchmark、Baseline

Benchmark和baseline都是指最基礎的比較對象。你論文的motivation來自于想超越現有的baseline/benchmark，你的實驗數據都需要以baseline/benckmark為基準來判斷是否有提高。唯一的區別就是baseline講究一套方法，而benchmark更偏向于一個目前最高的指標，比如precision，recall等等可量化的指標。舉個例子，NLP任務中BERT是目前的SOTA，你有idea可以超過BERT。那在論文中的實驗部分你的方法需要比較的baseline就是BERT，而需要比較的benchmark就是BERT具體的各項指標。

并發、并行、串行

我中午12：00開始吃飯，吃到一半，女朋友打來一個電話，我需要等到我吃完飯才可以接電話，這說明我不支持并行與并發，我的運作方式屬于串行，串行有一個執行單元（只有一個執行任務單元的cpu核）。

我中午12:00開始吃飯，吃到一半，女朋友打來一個電話，我可以接起電話，跟女朋友打完電話繼續吃飯，這說明我支持并發與串行，

我中午12:00開始吃飯，吃到一半，女朋友打來一個電話，我可以一邊接電話一邊吃飯，這說明我支持并行與并發。（并行有多個任務執行單元，多個任務可以同時執行）

所謂并發，是指我有沒有同時處理多個任務的能力，不一定要同時。

遷移學習

遷移學習通俗來講，就是運用已有的知識來學習新的知識，核心是找到已有知識和新知識之間的相似性，用成語來說就是舉一反三。由于直接對目標域從頭開始學習成本太高，我們故而轉向運用已有的相關知識來輔助盡快地學習新知識。比如，已經會下中國象棋，就可以類比著來學習國際象棋；已經會編寫Java程序，就可以類比著來學習C#；已經學會英語，就可以類比著來學習法語；等等。世間萬事萬物皆有共性，如何合理地找尋它們之間的相似性，進而利用這個橋梁來幫助學習新知識，是遷移學習的核心問題。

微調

微調其實講的是利用原有模型參數（“知識”）初始化現有模型，在此基礎上繼續train自己的model（“再加工”）。說人話就是把現成的模型略加修改然后再作少量training，主要用于樣本數量不足的情形。

進程、線程

一個進程包括多個線程。

不同進程之間數據很難共享。

同一個進程下的不同線程數據很容易共享。

進程比線程消耗更多計算機資源。

進程之間互不影響，但是一個進程掛掉，他所在的整個進程都會掛掉。

進程可以拓展到多機，適合多核與分布式。

進程使用的內存地址可以限定使用量。

監督學習

是使用足夠多的帶有label的數據集來訓練模型，數據集中的每個樣本都帶有人工標注的label。通俗理解就是，模型在學習的過程中，“老師”指導模型應該向哪個方向學習或調整。

非監督學習

是指訓練模型用的數據沒有人工標注的標簽信息，通俗理解就是在“沒有老師指導”的情況下，靠“學生”自己通過不斷地探索，對知識進行歸納和總結，嘗試發現數據中的內在規律或特征，來對訓練數據打標簽。

半監督學習

是在只能獲取少量的帶label的數據，但是可以獲取大量的的數據的情況下訓練模型，讓學習器不依賴于外界交互，自動地利用未標記樣本來提升學習性能，半監督學習是監督學習和非監督學習的相結合的一種學習方法。

泛化（Generalization）

模型的泛化能力通俗易懂的說就是模型在測試集（其中的數據模型以前沒有見過）中的表現，也就是模型舉一反三的能力，但是這些數據必須滿足與iid（獨立同分布）并在同一個分布中。
舉個例子：一張圖片模型之前沒有見過，但是這張圖片與TrainDataSet在同一分布，并滿足iid，模型可以很好的預測這張圖，這就是模型的泛化，在測試集中，模型預測新數據的準確率越高，就可以說是模型的泛化能力越好。

正則化（Regularization）

正則化即為對學習算法的修改，旨在減少泛化誤差而不是訓練誤差。正則化的策略包括：

約束和懲罰被設計為編碼特定類型的先驗知識。

偏好簡單模型。

其他形式的正則化，如：集成的方法，即結合多個假說解釋訓練數據。

吞吐量

首先在書面解釋時，速率是額定或標稱的，但是實際傳輸時，其實不穩定的，吞吐量就是取平均值。假設你從學校騎電動車回家，這條公路限速80km/h，這就可以理解成“帶寬”，也就是“最高傳輸速率”。所騎電動車廠家宣稱最高時速30km/h，這可以理解成“速率”，也就是“額定速率或標稱速率”。但是你不可能全程以30km/h速度行駛，可能會碰到紅燈或者堵車，這時你的速度就會放慢了，這條路的長度除以你行駛時間所得平均行駛速度，就可以理解成“吞吐量”。

import torch import torchvision from torch.utils import data from torchvision import transforms from d2l import torch as d2l from torch import nn %matplotlib inline d2l.use_svg_display()

總結

以上是生活随笔為你收集整理的深度学习常见名词概念：Sota、Benchmark、Baseline、端到端模型、迁移学习等的定义的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。