本節課主要是對視頻分類的發展進行了介紹，包括任務與背景，分類方法，前沿進展等。課程地址為：https://aistudio.baidu.com/aistudio/course/introduce/1340?directly=1&shared=1。

文章目錄

• • 1. 任務與背景
  • 2. 視頻分類方法
  • • 2.1 雙流網絡方法
    • 2.2 靜態圖像特征聚合
    • 2.3 3D卷積方法
  • 3. 前沿進展
  • • 3.1 高效視頻網絡
    • 3.2 運動增強的RGB分類
    • 3.3 快慢信息結合網絡
    • 3.4 光流表示學習
    • 3.5 時序金字塔網絡

1. 任務與背景

這里首先給出了什么是視頻分類的定義：將一段視頻分類到預先制定類別集合中的某一個或多個。

然后給出了視頻分類的發展歷程：分為前深度學習時代和深度學習時代。

---

2. 視頻分類方法

視頻與圖像不同，它由空間維度和時間維度組成。包括靜態圖像特征，運動特征，音頻特征，外部特征等。由于其特征之多和復雜，視頻處理可以看作是CV皇冠上的明珠。
目前主要的方法有：雙流網絡，靜態圖像特征聚合，3D卷積。

2.1 雙流網絡方法

借鑒人類大腦處理視覺信息的方式，研究人員設計了全新的網絡結構，實現靜態圖像特征和運動信息統一，互補的提取和分類，主要論文有以下三篇。

NIPS-2014CVPR-2016ECCV-2016

---

2.2 靜態圖像特征聚合

方法主要是提取視頻不同時刻多幀圖像的特征，聚合生成視頻級特征，進而分類。

主要代表論文有以下4篇：
首先是用CNN+LSTM提取靜態圖像特征并構建時序關系，然后進行分類。

CVPR-2015ICMR-2016

然后也有學者對視頻圖像和光流進行特征提取，也有的學者使用Attention進行最后分類：

---

2.3 3D卷積方法

3D卷積是從水平、垂直和時序三個方向同時提取視頻時空特征，但是計算量太大。

后來又學者借鑒殘差結構，降低了3D卷積的計算復雜度，處理時先在圖像空間卷積，再在時間維度卷積。

后來學者又進行了改進，提出了圖像+視頻聯合預訓練的方法。

---

3. 前沿進展

最新的視頻處理方法主要有：高效視頻網絡，運動增強的RGB分類，快慢信息結合網絡，光流表示學習，時序金字塔網絡。

3.1 高效視頻網絡

這是本次課程論文復現里的一篇：ECO網絡。

---

3.2 運動增強的RGB分類

這篇論文也是開創性的，避免了光流的計算。

---

3.3 快慢信息結合網絡

這篇論文設計了兩條通道，快速與慢速通道，降低了計算量。

---

3.4 光流表示學習

這篇論文主要工作是把光流信息用網絡學習了出來。

---

3.5 時序金字塔網絡

這也是本次課程需要復現的論文之一，

最后是未來展望：

總結

以上是生活随笔為你收集整理的百度顶会论文复现（3）：视频分类综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。