在近些年的視頻理解研究中，Facebook AI Research 貢獻了許多精彩的工作。近日，FAIR視頻團隊在 ICCV 相關(guān)研討會上開源了視頻識別檢測代碼庫 PySlowFast，并同時發(fā)布了預(yù)訓(xùn)練的模型庫。同時，該團隊表示，他們還將實時將他們的前沿工作添加至此代碼庫。

項目地址：https://github.com/facebookresearch/SlowFast

Tutorial 地址（附 PPTT 資源）：https://alexanderkirillov.github.io/tutorials/visual-recognition-iccv19/

視頻與動作理解儼然已成為當(dāng)今最火熱的研究方向之一，然而在開源社區(qū)中找到一個簡潔、高效、易于修改的視頻理解代碼庫仍不是一件簡單的事情。更重要的是，復(fù)現(xiàn)當(dāng)今前沿的 (state-of-the-art) 的深度學(xué)習(xí)模型一直是一件令研究者頭疼的事情。

這些視頻理解模型往往動輒幾十 GFlops，需要訓(xùn)練數(shù)天，而復(fù)現(xiàn)出一個模型需要反復(fù)的實驗調(diào)參，讓每個細節(jié)都正確。這往往會耗費大量的時間和資源，讓很多研究者望而卻步。

Facebook AI Research 在 CVPR、ICCV 等國際會議發(fā)布了眾多研究工作，并贏得了 CVPR 2019 行為檢測挑戰(zhàn)賽的冠軍。而后，在今年的 ICCV 上，FAIR 推出了他們的視頻理解代碼庫：PySlowFast。

PySlowfast 是一個基于 PyTorch 的代碼庫，讓研究者可以輕而易舉地復(fù)現(xiàn)從基礎(chǔ)至前沿的視頻識別 (Video Classification) 和行為檢測 (Action Detection) 算法。

不但如此，PySlowFast 代碼庫同時開源了大量預(yù)訓(xùn)練模型 (pretrain models)，讓研究者省去了反復(fù)訓(xùn)練模型的煩惱，可以直接使用 FAIR 預(yù)訓(xùn)練的前沿 (cutting edge performance) 模型。

pySlowFast開源的模型的可視化檢測結(jié)果

自開源后，PySlowFast 就一度蟬聯(lián) GitHub 趨勢榜前十。以下對此開源項目進行了簡要介紹。 根據(jù)研討會教程和開源代碼庫信息，PySlowFast 既提供視頻理解基線（baseline）模型，還提供了當(dāng)今前沿的視頻理解算法復(fù)現(xiàn)。其算法不單單囊括視頻視頻（video classification），同時也包括行為檢測（Action Classification）算法。

與當(dāng)今開源社區(qū)中各種視頻識別庫復(fù)現(xiàn)出參差不齊的性能相比，使用 PySlowFast 可輕而易舉地復(fù)現(xiàn)出當(dāng)今前沿的模型。

視頻識別（Kinetics）

表 1：PySlowFast 在視頻分類數(shù)據(jù)庫 Kinetics 400 上的性能)（節(jié)選自 https://github.com/facebookresearch/SlowFast/blob/master/MODEL_ZOO.md）

PySlowFast 不單單可以用于視頻分類，同時也可用于視頻理解，并提供贏得了 2019 年 CVPR ActivityNet Challenge Winner 的視頻檢測模型。

行為檢測（AVA）

此外，PySlowFast 預(yù)留了接口，可通過簡單的編輯支持多模態(tài)視頻理解、視頻自監(jiān)督學(xué)習(xí)等等任務(wù)。該團隊稱，PySlowFast 將被積極維護，實時更新其團隊和業(yè)界的前沿算法，同開源其預(yù)訓(xùn)練模型，使代碼庫成為視頻理解領(lǐng)域的基線標桿。

通過以下教程，讀者們可以簡單試用下 PySlowFast 代碼庫。在完成安裝后，通過下載 MODEL_ZOO 提供的預(yù)訓(xùn)練模型和相應(yīng)的配置文件，運行如下代碼，就可以測試（Test）模型在不同視頻數(shù)據(jù)庫上的性能：

pythontools/run_net.py\--cfgconfigs/Kinetics/C2D_8x8_R50.yaml\DATA.PATH_TO_DATA_DIRpath_to_your_dataset\NUM_GPUS2\

我們可以發(fā)現(xiàn)，通過此代碼庫可以輕易復(fù)現(xiàn)出前沿的高性能模型，同時讀者們也可以嘗試通過簡單的修改來實現(xiàn)自己的模型，并用多臺 GPU 進行訓(xùn)練得到前沿的性能。

?

總結(jié)

以上是生活随笔為你收集整理的Facebook开源算法代码库，轻松复现前沿视频理解模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。