CCF-BDCI 視頻版權檢測

隨著移動互聯網的發展和智能手機的普及，短視頻已經成為重要的信息傳播媒介，與此同時也帶來了大量針對版權長視頻的侵權行為。為了保護視頻制作公司及原創者權益，需要通過自動化方式進行針對短視頻的侵權行為檢測。當前的侵權行為出現多樣化及規模化特點，侵權視頻多經過復合變換，要求算法模型中圖像特征具有一定魯棒性，并且有較快執行速度和并發能力。

賽題介紹

本次競賽將考察經過復合變換后的短視頻關聯到對應長視頻的算法效果，其中不僅要找到短視頻的原始長視頻，還要計算出對應的時間段。過程中可能包括視頻解碼抽幀、視頻或圖像特征及指紋、視頻相似檢索等相關算法及技術方案。除了考察視頻特征的魯棒性外，也需要算法模型有一定的實時及并發能力。

比賽鏈接：

https://www.datafountain.cn/competitions/354

refer版權庫視頻

query侵權視頻

對于query侵權視頻，可能會進行如下變換操作：

賽題的任務需要根據query找到refer，并且找到query中侵權部分與refer中對應的關系。如下圖橙色部分為侵權部分，需要確定query視頻中q_start和q_end位置，以及refer視頻中的r_start和r_end位置。

Top1?恒揚數據

視頻版權監測賽題的核心任務是在兩個視頻中找出內容相同，畫面相似的視頻片段（即拷貝片段），拷貝片段長度是幾十秒至幾分鐘的視頻圖像。所謂內容相同是指指觀看者看到的語義信息相同。畫面相似包括不同形式的圖像變形，如畫面剪裁，飽和度改變，加字幕和LOGO，視頻剪輯等處理。

競賽任務有三個數據集：參考集，訓練集和測試集。參考集是版權視頻，有205個視頻文件，平均時長為40分鐘。訓練集和測試集都是2至4分鐘的視頻片段，其中的拷貝片段只有1分鐘，嵌入在片段的頭部或中部。競賽要求為每個查詢視頻（訓練集或測試集）包含的拷貝片段找到參考集對應的視頻文件和兩個拷貝關系片段的開始時間和結束時間。

賽題的挑戰和難點在于視頻的變形程度，本次比賽中最難的變形是某些視頻做了大幅度的裁剪：比如原視頻有兩個主持人，被裁成了一個，還有的視頻把整個人的畫面裁成只剩一只手等等。

參考集提取到視頻特征向量后構建視頻版權庫，訓練集和測試集的圖片特征向量在版權庫里面查找最近鄰的圖片特征向量（L2距離計算），返回前top-k個近鄰值，然后通過視頻匹配算法得到最終的匹配結果，該思路涉及到三個主要的算法：圖片特征提取算法，搜索算法，視頻匹配算法。

特征提取算法：提出一個卷積層特征+Gaussian_R-MAC的特征提取方法，增加中央部分的圖像權重，這種方法能夠有效解決裁剪和畫面質量下降等變形；

視頻匹配算法：根據每個侵權視頻的圖片在版權庫中搜索返回的top-k最近鄰進行視頻匹配。

針對裁剪嚴重這一類情況，最初的思路是，只捕捉畫面中央部分的特征，應該能大大提升算法的識別能力。但是通過實踐證明只捕捉中央部分是行不通的，而應該改為加強圖片中央部分特征的權重，同時降低周圍區域特征的權重。最終在原算法的基礎上引入二維高斯分布+RMAC算法，一舉將成績提升10幾個百分點，分數直升95分。

Top2?博云視覺

此次參賽的視頻檢索方案的核心思想和算法流程是基于博云視覺團隊在2019年剛剛完成的CDVA國際標準而制定的。在此基礎上，博云視覺團隊針對這次比賽對其進行了一定的改進?？傮w來說，博云視覺團隊對查詢視頻和參考視頻進行了關鍵幀識別、基于關鍵幀的CDVS手工設計特征和深度特征提取，并基于這些特征進行視頻的檢索匹配，最終生成具有匹配得分的視頻對集合。

為了精準對齊視頻對的幀序列時間節點，博云視覺團隊設計了基于CDVS特征的時序節點濾波方法，該方法以CDVS特征為基礎，融合幀排序、時間節點噪聲抑制、對雙視頻序列進行相關濾波從而得到視頻對的對齊節點，完成精準的時序匹配。

下面詳細介紹該算法方案中使用到的相關技術，CDVS是“面向視覺搜索的緊湊描述子”，是類似于sift的手工特征，該特征可用于單張圖像的檢索和匹配。其提取包括5個流程，興趣點的選擇與局部特征描述，局部特征選擇，局部特征描述子壓縮，局部特征位置點壓縮，最后進行局部特征描述子聚合。博云視覺團隊設計的CDVS特征基于GPU，單機每秒可提取200張圖像特征，特征大小為可伸縮的，可以實現512byte到16K不同特征大小的交叉匹配。

CDVA是“面向視頻分析的緊湊描述子”，旨在對視頻進行匹配、檢索任務，是CDVS圖像搜索的拓展。博云視覺團隊首先使用顏色直方圖完成視頻關鍵幀的快速定位，此后基于關鍵幀，結合NIP深度特征和CDVS手工設計特征實現精準的幀級視頻對匹配，從而快速地完成視頻序列匹配任務。同時，從上圖(右下)可以看到，深度特征對圖像的旋轉角度非常敏感，(紅色曲線為深度特征在兩個數據集上的檢索性能，橫軸為旋轉角度，)當旋轉一定角度后，深度特征檢索性能明顯下降；

Top3?小賈的老梁

構建參考視頻幀級特征庫，之后使用短視頻的幀特征在特征庫中進行檢索通過匹配策略找到長視頻，再逐幀比對特征確定侵權段，方案由特征提取、被侵權視頻檢索，被侵權視頻段定位三部分組成。在特征提取階段中，老梁團隊采用Hessian Affine特征提取+SIFT描述子提取局部特征，然后采用Fisher vector將局部特征編碼為二進制的全局特征。之前的工作證明，用該方式提取特征具有很好的區分度和魯棒性。

其次，為了排除同時處理多個參考長視頻對檢測定位精度的影響，老梁將整個版權檢測過程分為兩個階段：在第一階段中，他采用求帶權二部圖的最大匹配的方式，找到與查詢短視頻能在一對一幀匹配的約束下，匹配權重和最大的長視頻。之后在該長視頻中，通過找到在密集匹配約束下的最長遞增子序列來精確定位侵權段，即在該階段匹配幀對時，不僅要求其滿足一對一的約束關系，同時要滿足匹配在時間上的順序性和密集性。

然后，使用求帶權二部圖的最大匹配的思路尋找被侵權視頻，即在一對一的幀匹配的限定條件下，對檢索到的參考視頻集中的每個參考視頻段，求其與查詢視頻段形成的帶權二分圖中的最大匹配。將匹配權重和最大的參考視頻作為被侵權視頻。

Top4 葫蘆兄弟

根據賽題任務要求，賽題具體任務為根據query視頻找到對應的refer視頻，并且找到query視頻中qstart與qend時間與對應refer視頻中的rstart與rend時間。因此賽題任務具體可以分為兩個子任務：

（1）?視頻對應：根據query視頻找到對應的refer視頻；

（2）?視頻時間軸對應：找到query視頻中qstart與qend時間與對應refer視頻中的rstart與rend時間；

根據問題子任務的對應關系，問題整體的解決思路如下：

在現有的圖像檢索技術中CNN特征是非常有效的特征，其利用GPU加速可使提取速度增快，且對圖像的內容語義進行編碼，是非常適合用于圖像檢索的特征。在query視頻與refer視頻的對應任務中就是利用視頻關鍵幀的CNN特征完成檢索過程，具體過程步驟如下：

（1）對query視頻關鍵幀提取ResNet18網絡的卷積特征，并進行L2正則化；對refer視頻關鍵幀提取ResNet18網絡的卷積特征，并進行L2正則化；

（2.1 最初版）對于每一個query視頻關鍵幀，利用其CNN特征在refer視頻關鍵幀中搜索得到最相似的refer視頻關鍵幀，且關鍵幀之間的相似度大于閾值；

（2.2 改進版）對于每一個query視頻關鍵幀，利用其CNN特征在refer視頻關鍵幀中搜索得到最相似Top100的refer視頻關鍵幀，且關鍵幀之間的相似度小于閾值。進而將query視頻關鍵幀與refer視頻關鍵幀進行ORB關鍵點匹配進行二次篩選；

（3）對于同一個query視頻，將該視頻的關鍵幀搜索得到的refer視頻關鍵幀進行篩選，利用refer視頻次數以及關鍵幀相似度兩個角度篩選得到；

利用上述步驟，就可以完成找到query視頻與refer視頻的對應關系。在具體實踐步驟中使用了HNSW庫來完成CNN特征的近似搜索，最終在訓練集上query視頻與refer視頻的對應準確率為2650/3000。

Top5?顏值均值98方差100

算法流程具體主要分為三個部分：視頻解幀、特征提取、以及檢索比對算法設計。

在視頻解幀方面，主要介紹北航團隊針對比賽數據設計的視頻幀采樣方案，也包含了部分觀察比賽數據特點方面的探索。

在特征提取方面，將簡單介紹北航團隊針對視頻中部分噪音的針對性圖像處理方案，以及為了節約計算成本和計算資源而采用的特征提取方案。

檢索比對工作在得到每段視頻的所有幀特征之后開始進行。檢索比對工作主要分為三個部分，對于每段查詢視頻：首先，確認其涉嫌抄襲的refer集；其次，需確認其抄襲的片段在查詢視頻中的起始點；最后，確認抄襲片段在檢索視頻中的起始點。具體流程如下：

總結

前五名的思路大體類似，具體在特征提取提取方式上有一些差異：

• Top1：使用CNN淺層特征 + RMAC

• Top2：深度局部特征CVDS

• Top3：SIFT +?匹配二分圖

• Top4：CNN +?關鍵幀匹配

• Top5：CNN + 相似度矩陣

完整的Top5隊伍的分享講義，

關注作者公眾號并回復【視頻版權】

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎下載（pdf更新到25集）本站qq群1003271085，加入微信群請回復“加群”獲取一折本站知識星球優惠券，請回復“知識星球”喜歡文章，點個在看

讓我知道你在看

總結

以上是生活随笔為你收集整理的【数据挖掘】视频版权检测优胜解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。