本節(jié)課主要是對視頻分類的發(fā)展進(jìn)行了介紹，包括任務(wù)與背景，分類方法，前沿進(jìn)展等。課程地址為：https://aistudio.baidu.com/aistudio/course/introduce/1340?directly=1&shared=1。

文章目錄

• • 1. 任務(wù)與背景
  • 2. 視頻分類方法
  • • 2.1 雙流網(wǎng)絡(luò)方法
    • 2.2 靜態(tài)圖像特征聚合
    • 2.3 3D卷積方法
  • 3. 前沿進(jìn)展
  • • 3.1 高效視頻網(wǎng)絡(luò)
    • 3.2 運(yùn)動增強(qiáng)的RGB分類
    • 3.3 快慢信息結(jié)合網(wǎng)絡(luò)
    • 3.4 光流表示學(xué)習(xí)
    • 3.5 時序金字塔網(wǎng)絡(luò)

1. 任務(wù)與背景

這里首先給出了什么是視頻分類的定義：將一段視頻分類到預(yù)先制定類別集合中的某一個或多個。

然后給出了視頻分類的發(fā)展歷程：分為前深度學(xué)習(xí)時代和深度學(xué)習(xí)時代。

---

2. 視頻分類方法

視頻與圖像不同，它由空間維度和時間維度組成。包括靜態(tài)圖像特征，運(yùn)動特征，音頻特征，外部特征等。由于其特征之多和復(fù)雜，視頻處理可以看作是CV皇冠上的明珠。
目前主要的方法有：雙流網(wǎng)絡(luò)，靜態(tài)圖像特征聚合，3D卷積。

2.1 雙流網(wǎng)絡(luò)方法

借鑒人類大腦處理視覺信息的方式，研究人員設(shè)計(jì)了全新的網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)靜態(tài)圖像特征和運(yùn)動信息統(tǒng)一，互補(bǔ)的提取和分類，主要論文有以下三篇。

NIPS-2014CVPR-2016ECCV-2016

---

2.2 靜態(tài)圖像特征聚合

方法主要是提取視頻不同時刻多幀圖像的特征，聚合生成視頻級特征，進(jìn)而分類。

主要代表論文有以下4篇：
首先是用CNN+LSTM提取靜態(tài)圖像特征并構(gòu)建時序關(guān)系，然后進(jìn)行分類。

CVPR-2015ICMR-2016

然后也有學(xué)者對視頻圖像和光流進(jìn)行特征提取，也有的學(xué)者使用Attention進(jìn)行最后分類：

---

2.3 3D卷積方法

3D卷積是從水平、垂直和時序三個方向同時提取視頻時空特征，但是計(jì)算量太大。

后來又學(xué)者借鑒殘差結(jié)構(gòu)，降低了3D卷積的計(jì)算復(fù)雜度，處理時先在圖像空間卷積，再在時間維度卷積。

后來學(xué)者又進(jìn)行了改進(jìn)，提出了圖像+視頻聯(lián)合預(yù)訓(xùn)練的方法。

---

3. 前沿進(jìn)展

最新的視頻處理方法主要有：高效視頻網(wǎng)絡(luò)，運(yùn)動增強(qiáng)的RGB分類，快慢信息結(jié)合網(wǎng)絡(luò)，光流表示學(xué)習(xí)，時序金字塔網(wǎng)絡(luò)。

3.1 高效視頻網(wǎng)絡(luò)

這是本次課程論文復(fù)現(xiàn)里的一篇：ECO網(wǎng)絡(luò)。

---

3.2 運(yùn)動增強(qiáng)的RGB分類

這篇論文也是開創(chuàng)性的，避免了光流的計(jì)算。

---

3.3 快慢信息結(jié)合網(wǎng)絡(luò)

這篇論文設(shè)計(jì)了兩條通道，快速與慢速通道，降低了計(jì)算量。

---

3.4 光流表示學(xué)習(xí)

這篇論文主要工作是把光流信息用網(wǎng)絡(luò)學(xué)習(xí)了出來。

---

3.5 時序金字塔網(wǎng)絡(luò)

這也是本次課程需要復(fù)現(xiàn)的論文之一，

最后是未來展望：

總結(jié)

以上是生活随笔為你收集整理的百度顶会论文复现（3）：视频分类综述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。