视频浓缩摘要简介
視頻摘要,就是以自動或者半自動的方式,通過分析視頻的結(jié)構(gòu)和內(nèi)容存在的時空冗余,從原始視頻中提取有意義的片段,將它們以某種特點的方式重新組合成緊湊的、能夠充分表現(xiàn)視頻語義內(nèi)容的濃縮視頻。
?
一、靜態(tài)視頻摘要:
靜態(tài)的視頻摘要,也稱之為視頻概要(video summary),是以一系列從原始視頻流中抽取出來的靜態(tài)語義單元來表現(xiàn)視頻的內(nèi)容。靜態(tài)語義單元是諸如關(guān)鍵幀、標(biāo)題、幻燈片等可以概括表示視頻鏡頭內(nèi)容的靜態(tài)特征信息。目前的靜態(tài)視頻摘要的研究主要是基于關(guān)鍵幀選取方法來展開的。通過將多個關(guān)鍵幀組合成視頻摘要,允許用于通過少量的關(guān)鍵幀快速瀏覽原始視頻的內(nèi)容,并提供快速檢索。關(guān)鍵幀的選取主要利用顏色、運動矢量等視覺特征去區(qū)分幀間的差異性。但差異性的區(qū)分計算依賴閾值的選擇,選擇過程中計算了較大、實時性較差。基于關(guān)鍵幀的視頻摘要結(jié)果簡單,觀看方便。但由于其以靜態(tài)圖像為結(jié)果的表達(dá)形式,很難準(zhǔn)確地表達(dá)視頻的內(nèi)在語義,且對“對象”動態(tài)特征的描述不夠全面,所以僅僅適用于視頻的精彩瞬間生成,無法適應(yīng)需要進(jìn)行“對象”特征分析的場合。
靜態(tài)視頻濃縮摘要流程圖
靜態(tài)視頻濃縮摘要通過描述原始視頻中的每幀圖像特征(如,顏色、紋理、視覺顯著性等),通過對相鄰幀間的特征差異分析,抽取出原始視頻的關(guān)鍵幀,對關(guān)鍵幀進(jìn)行聚類,形成表達(dá)不同主題場景的視頻片段,最后根據(jù)視頻片段的信息進(jìn)行組合,生成一段短的摘要視頻。
這種方式的優(yōu)點是摘要視頻的濃縮比較高,摘要生成算法與場景無關(guān),較為成熟。缺點是生成的摘要視頻僅僅表示了一小部分的視頻內(nèi)容,丟失了大量的信息,且生成的摘要視頻不一定是用戶感興趣的片段。
?
?
二、動態(tài)視頻摘要:
動態(tài)視頻摘要,又稱之為視頻濃縮(video synthesis),是一段比原始視頻短的多的濃縮結(jié)果。動態(tài)視頻摘要可以分為精彩剪輯視頻、專題濃縮視頻、一般濃縮視頻三種。精彩剪輯視頻主要用于電影電視行業(yè),是由原始視頻中的精彩瞬間組成,專題濃縮視頻主要應(yīng)用于醫(yī)學(xué)、金融等特定領(lǐng)域,利用特定專業(yè)知識對原始視頻進(jìn)行分析后濃縮得到的表現(xiàn)該領(lǐng)域特定內(nèi)容的濃縮視頻。相對而言,一般視頻濃縮采用通用濃縮方法面向較為普通視頻,用戶可以通過播放這些相對精煉的摘要視頻來了解整個視頻的內(nèi)容。
動態(tài)視頻濃縮摘要流程圖
動態(tài)視頻濃縮在得到視頻幀之后,先對當(dāng)前場景建立背景模型,然后快速根據(jù)視頻照耀處理的特殊性,將原始視頻分為靜態(tài)視頻段、目標(biāo)密集視頻段、摘要基本段,同時為每個摘要基本段落生成其最佳背景模型。接著,基于背景建模,對運動目標(biāo)進(jìn)行檢測、跟蹤,提取其運動軌跡,通過運動軌跡表示該目標(biāo)對象。然后對時空異步的多目標(biāo)軌跡進(jìn)行重新組合,去除視頻的空間冗余,在重組的過程中應(yīng)該考慮避免偽碰撞、保護(hù)原始相關(guān)性等原則,使重組的軌跡不丟失隱形信息。最后需要對重組后的軌跡及背景模型進(jìn)行融合,這里主要解決的是背景圖像的最優(yōu)選擇及多目標(biāo)軌跡與背景的無痕融合問題。
總結(jié)
- 上一篇: MybatisPlus实现多条件拼接动态
- 下一篇: html网页在图片的后面同一行追加,ht