1.7 視頻的深度分段網絡

下面介紹另外一個工作，是我們和 CUHK、ETH 聯合開展的，這個工作考 慮視頻的分段特性，我們知道視頻可以分 成很多段，每一段有不同的內容。我們 開發了一個深度模型，對不同的段分別 提取深度特征，然后利用一個 Segment Consensus 模塊對這些特征進行融合。在 融合的時候，我們發現并不是所有這些 段對識別的貢獻都是一樣的，有些區域 貢獻比較大，有些區域不重要。因此在 融合的時候，我們設計了一個加權機制， 根據各段重要性進行加強，這個加權系 數是學習得到的，可以與識別網絡聯合 做 End-to-End 的聯合優化。

基于這個方法，我們參見了 ActivityNet 2016 競賽。ActivityNet 包含 200 多個類別， 600 多個小時的視頻，內容比較復雜，數據 量比較大。另外，這個數據庫是 untrimmed 的，就是說視頻里面可能包含和類別不相 關的時間段。我們的方法取得了 93% 的識 別率，在所有方法中排名第一。

我們看到伴隨著深度模型在視頻分析 識別中的廣泛應用，在行為分類任務上 取得了重要進展，在多個公開數據庫的 識別率都有大幅的提升。但是另一方面， 由于視頻的復雜性，很多問題離最終解 決還有很大距離。這就要求我們開展研 究工作，在方法上有進一步的進展。

（本文根據喬宇研究員在中國人工智能學會首 期“人工智能前沿講習班”的現場報告整理）

中國科學院深圳先進技術研究院研究員，集成所副所長。擔任廣東省“機器視覺與虛擬現實”重點實驗室常 務副主任 , 深圳市“機器視覺與模式識別”重點實驗室副主任。2011 年獲得中國科學院“百人計劃”擇優支持， 廣東省科技創新領軍人才，深圳鵬程學者長期特聘教授。從事計算機視覺、深度學習和模式識別的研究。已 在包括 PAMI、T-IP、T-SP、IJCV、CVPR、ICCV、ECCV、AAAI 等會議和期刊上發表學術論文 150 余篇 , 帶領 團隊多次在 ChaLearn、LSun、THUMOUS、ACTIVITYNet 等國際評測中取得第一，獲 ImageNet 2016 場景分類 任務第二名。

總結

以上是生活随笔為你收集整理的中国人工智能学会通讯——基于视频的行为识别技术 1.7 视频的深度分段网络...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。