Netflix视频质量感知评价模型之路
盡管主觀評定被認為是最佳的視頻質量評價方式,但對于每天新增海量視頻的平臺而言,采用人工方式評定是不現實的。Netflix實踐出自己的畫質評價模型——VMAF。本文詳細闡述了VMAF的實現與演進,LiveVideoStack對其進行了摘譯。如果您對音視頻技術的未來有實踐分析與洞見,歡迎聯系 contribute@livevideostack.com。
文 / Zhi Li,Anne Aaron,Ioannis Katsavounidis,Anush Moorthy,Megha Manohara
譯 / 鴻蒙
在Netflix公司,我們很關注視頻質量,同時也關注如何規模化地精確評價視頻質量。我們提出了視頻多方法評估融合(VMAF)評價模型——試圖反映觀眾對我們流媒體質量的感受。目前,我們正在將這個工具開源,并邀請研究界就這個重要課題與我們進行合作。
我們追求高品質的視頻呈現
我們努力為會員提供絕佳的觀看體驗:流暢的視頻播放、沒有令人厭惡的圖像失真。在我們的努力中,非常重要的一部分工作是,在考慮到用戶網絡帶寬和觀看設備的限制下,我們盡可能地感知并提供最佳質量的視頻流。我們一直在通過各種各樣的方法努力實現這一目標。
首先,我們在視頻編碼領域進行創新。流式視頻需要使用H.264 / AVC、HEVC和VP9等標準進行壓縮,才能以合理的比特率進行流式傳輸。當視頻被壓縮太多或壓縮不當時,這些技術會引入質量損傷,即壓縮失真。專家稱他們為“阻塞”、“響鈴”或“蚊子噪音”,但對于觀眾來說,就是視頻看起來不對勁。為此,我們定期比較編解碼器提供商的壓縮效率、穩定性和性能,并整合市場上最好的解決方案。我們評估不同的視頻編碼標準,以確保我們保持在壓縮技術的前沿。例如,我們比較H.264 / AVC、HEVC和VP9,并將在近期實驗由開放媒體聯盟(AOM)和聯合視頻探索組(JVET)開發的下一代解碼器。即使在既定的標準之內,為了充分利用現有的工具集,我們仍然繼續在解決方案和速率分配算法上進行實驗(請參閱標題編碼優化項目)。
我們將Netflix視頻流編碼在分布式云媒體管道中,方便擴展以滿足更多業務需求。為了最大限度地減少不良視頻源交付、軟件報錯和云實例不可預測性(瞬態錯誤)等影響,我們對管道中的各個點進行自動質量監控。通過這種監控,我們試圖檢測視頻從進入管道,到經過每個轉換點的質量問題。
最后,當我們在Netflix生態系統的各個領域進行迭代(例如自適應流算法或內容交付網絡算法)并運行A / B測試時,我們努力確保通過系統的改良,可以維持或改進視頻質量。例如,旨在減少回放延遲或重新緩沖的自適應流算法的改進,不應該降低流會話中的整體視頻質量。
上述所有具有挑戰性的工作都取決于一個基本前提:我們可以準確有效地衡量大量視頻流的感知質量。一般來說,在視頻編解碼器的開發和研究中,廣泛使用兩種方法來評估視頻質量:1)視覺主觀測試和2)簡單測度指標的計算,例如PSNR或最近推出的SSIM[1]。
毫無疑問,人工目視檢查在操作上和經濟上都是不可行的。
基于我們產品的大吞吐量,使用A / B測試來監測和編碼研究實驗。圖像質量評估是一個老問題,已經有許多簡單和實用的解決方案。均方差(MSE)、峰值信噪比(PSNR)和結構相似性指數(SSIM)是最初為圖像設計的測度指標的例子,后來擴展到視頻。這些測度指標經常用于在編解碼器(“in-loop”)內優化編碼決策和報告編碼視頻的最終質量。盡管該領域的研究人員和工程師都很清楚PSNR并不能一貫地反映人類的感知,但它仍然是編解碼器比較和編解碼器標準化工作的事實標準。
建立Netflix相關數據集
我們采用數據驅動的方法來評估視頻質量評價算法。第一步是采集一個與我們用例相關的數據集。盡管用于設計和測試視頻質量指標的公開數據庫有很多,但它們往往缺乏與實用流媒體服務(如Netflix)相關的內容多樣性。它們中的許多在源的質量和編碼方面已經不再是最先進的技術,例如,它們包含標準清晰度(SD),且僅涵蓋較早的壓縮標準。此外,由于評估視頻質量要比測度壓縮失真普遍得多,所以現有數據庫試圖捕獲更大范圍的失真,這些失真不僅由壓縮引起,還可能由傳輸損耗、隨機噪聲和幾何變換等引起。例如,觀看黑白監控設備傳輸的低分辨率視頻(640×480),與在客廳中觀看自己喜愛的Netflix節目相比,呈現出明顯不同的觀看體驗。
Netflix的流媒體服務涌現出一系列獨特的挑戰,也為設計精確反映流媒體視頻質量的感知指標提供了機會。例如:
視頻源的特點。Netflix提供大量的電影和電視節目,這些節目涵蓋了兒童內容、動畫、快速移動動作影片、帶有原始素材的紀錄片等不同類型。此外,它們還呈現出不同的低級源特征,如膠片噪點、傳感器噪聲、計算機紋理、純黑場景或亮色彩。過去開發的許多質量測度指標都沒有經過調整來適應源內容的上述巨大差異。例如,許多現有的數據庫缺少動畫內容,并且大多數都沒有考慮膠片噪點,即便膠片噪點是一種在專業娛樂內容中非常普遍的信號特征。
失真的來源。由于Netflix視頻流使用可靠的傳輸控制協議(TCP)傳輸,因此數據包丟失和bit錯誤不是視覺失真的來源。編碼過程中留下的兩種類型的失真,最終影響觀看者的體驗質量(QoE):壓縮失真(由于是有損壓縮)和縮放失真(在較低比特率時,視頻會在壓縮之前進行降采樣,并在用戶設備上進行升采樣)。通過定制一個質量測度指標來僅覆蓋壓縮和縮放失真,用通用性換取準確性,其準確性有望超越一般標準。
為了構建更適合Netflix用例的數據集,我們從Netflix目錄中流行的電視節目和電影中選擇了每個長度為6秒鐘的34個源片段(也稱為參考視頻)樣本,并將它們與選擇的公共可用片段進行整合。源片段涵蓋了廣泛的高級特征(動畫、室內/室外、攝像頭運動、臉部特寫、人物、水、明顯突出、物體數量)和低級特征(膠片噪點、亮度、對比度、紋理、運動、顏色變化、顏色豐富度、清晰度)。使用源片段,我們編碼的H.264 / AVC視頻流,分辨率從384×288到1920×1080,比特率從375 kbps到20,000 kbps,輸出了約300個有損的視頻。這掠過了廣闊的視頻比特率和分辨率范圍,反映了Netflix會員網絡狀況的巨大差異。
然后,我們進行主觀測試,以確定非專業觀察者如何評估編碼視頻相對于源剪輯的失真。在標準化的主觀測試中,我們使用的方法被稱為雙重刺激有損縮放(DSIS)。在受約束的室內照明下(按照建議書ITU-R BT.500-13[2]的規定),參考視頻和失真視頻在消費級電視機上依次播放。如果失真視頻以比參考視頻更小的分辨率進行編碼,則視頻會首先被放大到與源視頻分辨率相同后,再在電視上顯示。觀察者坐在類似起居室的沙發上,以1(失真令人厭煩)到5(失真無法察覺)進行評分。所有觀察者的分數合起來為每個視頻產生一個差分平均意見分數或DMOS,并在0到100的范圍內歸一化,其中,參考視頻的分數為100。本文將參考視頻、失真視頻和DMOS分數作為NFLX視頻數據集。
傳統的視頻質量測度指標
廣泛使用的傳統視頻質量指標如何與NFLX視頻數據集的“事實上”的DMOS分數相關聯?
一個視覺例子
?
從上圖,我們看到從4個不同的失真視頻中捕獲的靜態幀的部分; 頂部的兩個視頻的PSNR值約31dB,而底部的兩個視頻的PSNR值約34dB。然而,人們幾乎不能注意到“人群”視頻的差異,而兩個“狐貍”視頻的差別卻很明顯。人類觀察者將這兩個“人群”視頻DMOS分數評為82(頂部)和96(底部),而將兩個“狐貍”視頻的DMOS分數分別評為27(頂部)和58(底部)。
詳細的結果
下面的圖表是散點圖,x軸上表示觀察者的DMOS分數,y軸上表示不同質量測度指標的預測得分。這些圖是從NFLX視頻數據集的一個選定子集中獲得的,我們將其標記為NFLX-TEST(詳見下一節)。每個點代表一個失真視頻。我們繪制了四個質量指標的結果:
PSNR表示亮度分量
SSIM [1]
Multiscale FastSSIM [3]
PSNR-HVS [4]
有關SSIM,Multiscale FastSSIM和PSNR-HVS的更多詳細信息,請參見參考文獻部分中列出的出版物。對于這三個度量指標,我們使用了Daala代碼庫[5]中的實現,所以后面圖中的標題前綴為“Daala”。
?
注意:具有相同顏色的點對應于源自相同參考視頻的失真視頻。由于主觀差異性和參考視頻歸一化到100,一些DMOS分數可能超過100。
從圖中可以看出,這些指標不能始終如一地預測觀察者的DMOS分數值。例如,關注左上角的PSNR圖,對于大約35dB的PSNR值,“事實上”的DMOS值在從10(失真令人厭煩)到100(失真無法察覺)的范圍內變化。對于SSIM和Multiscale FastSSIM指標,可以得出類似的結論,其中接近0.90的分數可以對應于10到100的DMOS值。在每個圖上,我們報告了Spearman等級相關系數(SRCC),Pearson乘積矩相關系數(PCC)和每個指標的均方根誤差(RMSE)數據,這些數據是按照ITU-R BT.500-13 [2]附錄3.1的規定,在非線性邏輯擬合后計算的。SRCC和PCC值接近1.0、RMSE值接近于0是理想的。在這四個指標中,PSNR-HVS表現出最好的SRCC、PCC和RMSE值,但仍然缺乏預測的準確性。
為了在各種各樣的內容中都能實現有意義的表現,測度指標應該表現出良好的相對質量分數,即,測度指標中的增量應該提供關于感知質量增量的信息。在下面的圖表中,我們選擇了三個典型的參考視頻,一個高噪聲視頻(藍色),一個CG動畫(綠色)和一個電視劇(鐵銹色),并繪制了不同失真視頻的預測分數與DMOS值。要想保證相對質量得分有效,在質量曲線的相同范圍內的不同剪輯之間的斜率最好恒定。例如,參考下面的PSNR圖,在34 dB到36 dB的范圍內,對于電視劇而言,大約為2分貝的PSNR值變化對應于約50(50至100)的DMOS值變化,但是對于CG動畫在相同范圍內,大約2分貝的PSNR值變化對應于小于20(40至60)的DMOS值變化。雖然SSIM和FastSSIM在CG動畫和電視劇剪輯中呈現出更一致的斜率,但它們的表現仍然欠佳。
?
總而言之,我們發現傳統指標并不適用于我們的內容。為了解決這個問題,我們采用了基于機器學習的模型來設計一個測度指標,以反映人類對視頻質量的感知。這一指標將在下一節中討論。
我們的方法:視頻多方法評估融合(VMAF)模型
在與南加州大學的C.-CJ Kuo教授及其團隊的研究合作基礎上[6] [7],我們開發了視頻多方法評估融合,或VMAF,通過結合多個基本質量測度指標來預測主觀質量。基本原理是每個基本測度指標都可能在源內容特征、失真類型和失真度方面有自己的長處和短處。通過使用機器學習算法將基礎測度指標“融合”為最終測度指標 —— 在我們的例子中,支持向量機(SVM)回歸器 —— 為每個基本測度指標分配權重,最終測度指標可以保留單個指標的所有優勢,并提供更準確的最終得分。機器學習模型使用通過主觀實驗獲得的意見分數(在我們的例子中是NFLX視頻數據集)進行訓練和測試。
當前版本的VMAF算法和模型(表示為VMAF 0.3.1)作為VMAF開源軟件開發工具包的一部分發布,使用支持向量機(SVM)回歸[8]并融合以下基本測度指標:
視覺信息保真度(VIF) [9]。當視頻質量是衡量信息保真度損失的一個補充時,VIF是一個良好的圖像質量測度指標。在原來的形式中,VIF分數用兼有四個尺度的保真度損失來衡量。在VMAF中,我們采用VIF的修改版本,其中每個尺度的保真度損失都被作為基本測度指標包含在內。
細節損失指標(DLM) [10]。DLM是基于單獨測量影響內容可見性的細節丟失和分散觀看者注意力的冗余失真的圖像質量測度指標。原測度指標結合了DLM和加法失真度量(AIM)以產生最終得分。在VMAF中,我們只采用DLM作為基本測度指標。特別要注意一些特殊情況,如黑框,原公式的數值計算就不再適用了。
VIF和DLM都是圖像質量測度指標。我們進一步介紹以下簡單的功能來說明視頻的時間特性:
動向。這是相鄰幀之間時間差異的簡單度量。這是通過計算亮度分量的平均絕對像素差來實現的。
這些基本指標和特征是通過迭代測試和驗證從其他候選者中選擇的。
我們將VMAF的準確度與上述其他質量測度指標進行比較。為了避免將VMAF和數據集進行過度擬合,我們首先將NFLX數據集分成兩個子集,稱為NFLX-TRAIN和NFLX-TEST。兩組具有不重疊的參考剪輯片段。然后用NFLX-TRAIN數據集訓練SVM回歸器,并在NFLX-TEST上進行測試。下面的圖表顯示了NFLX-TEST數據集和選定的參考剪輯片段 —— 高噪聲視頻(藍色)、CG動畫(綠色)和電視劇(鐵銹色)的VMAF測度指標的性能。為了便于比較,我們重復PSNR-HVS的曲線,這是前面章節中表現最好的指標。很顯然,VMAF表現更好。
我們還將VMAF 與具有可變幀延遲的視頻質量模型(VQM-VFD,許多人認為這是該領域的最新技術)[11]進行了比較。VQM-VFD是一種使用神經網絡模型將低級特征融合為最終測度指標的算法。它在本質上類似于VMAF,不同之處在于它提取較低級別的特征,如空間和時間梯度。
?
很明顯,VQM-VFD在NFLX-TEST數據集上的性能接近VMAF。由于VMAF方法允許將新的基本指標納入其框架,因此VQM-VFD也可以作為VMAF的基本指標。
下表列出了在NFLX-TEST數據集上融合了不同組合的基本測度指標后,用SRCC、PCC和RMSE值來表示的VMAF模型的性能,以及VMAF 0.3.1的最終性能。我們還列出了通過VQM-VFD增強后的VMAF的性能。結果證明了我們的預設,即高性能視頻質量測度指標的智能融合會增強其與人類感知的相關性。
NFLX-TEST數據集
?
結果小結
在下面的表格中,我們給出了前面討論的不同指標的SRCC、PCC和RMSE值。數據集基于NLFX-TEST數據集和三個流行的公共數據集:VQEG HD(僅用于vqeghd3集合)[12]、實時視頻數據庫[13]和實時移動視頻數據庫[14]。結果顯示除了實時視頻數據庫之外,VMAF 0.3.1的表現都優于其他指標。與性能最好的VQM-VFD相比,VMAF也仍然很有競爭力。由于VQM-VFD在四個數據集之間表現出良好的相關性,我們正在試驗VQM-VFD作為VMAF的基本度量指標時的性能; 雖然它不是開源版本VMAF 0.3.1的一部分,但它可能被集成在VMAF的后續版本中。
NFLX-TEST數據集
?
LIVE數據集*
?
*僅用于壓縮失真(H.264 / AVC和MPEG-2視頻)
VQEGHD3數據集*
?
*SRC01到SRC09的源內容和與流相關的失真HRC04、HRC07,以及HRC16到HRC21
LIVE Mobile數據集
?
VMAF開發套件(VDK)開源包
為了通過互聯網提供高質量的視頻服務,我們相信業界需要具有良好感知的視頻質量測度指標模型,這些指標使用起來實用而且易于大規模部署。我們已經開發了VMAF來幫助我們解決這個問題。今天,基于 Apache License Version 2.0,我們在Github上開放了VMAF開發工具包(VDK 1.0.0)。通過對VDK開源,我們希望它能隨著時間的推移而不斷提高性能。
VDK核心中的特征提取(包括基本測度指標計算)部分是計算密集型的,因此為了效率而使用C編寫。控制代碼是用Python編寫的,便于快速原型設計。
該軟件包帶有一個簡單的命令行界面,允許用戶以簡單模式(run_vmaf命令)或批處理模式(可選擇啟用并行執行的run_vmaf_in_batch命令)運行VMAF。而且,由于特征提取是最“昂貴”的操作,所以用戶還可以將特征提取結果存儲在數據存儲器中,以便稍后再使用它們。
該軟件包還提供了一個VMAF模型的定制框架,該框架基于以下部分:
用于訓練的視頻數據集
基本指標和其他要使用的功能
回歸器及其超參數
run_training命令接受三個配置文件:一個數據集文件(其中包含有關訓練數據集的信息)、特征參數文件和回歸器模型參數文件(包含回歸器超參數)。以下是一組示例代碼,代碼中定義了數據集、一組選定特征、回歸器及其超參數。
##### define a dataset #####
dataset_name = ‘example’
yuv_fmt = ‘yuv420p’
width = 1920
height = 1080
ref_videos = [
{‘content_id’:0, ‘path’:’checkerboard.yuv’},
{‘content_id’:1, ‘path’:’flat.yuv’},
]
dis_videos = [
{‘content_id’:0, ‘asset_id’: 0, ‘dmos’:100, ‘path’:’checkerboard.yuv’}, # ref
{‘content_id’:0, ‘asset_id’: 1, ‘dmos’:50, ‘path’:’checkerboard_dis.yuv’},
{‘content_id’:1, ‘asset_id’: 2, ‘dmos’:100, ‘path’:’flat.yuv’}, # ref
{‘content_id’:1, ‘asset_id’: 3, ‘dmos’:80, ‘path’:’flat_dis.yuv’},
]
##### define features #####
feature_dict = {
# VMAF_feature/Moment_feature are the aggregate features
# motion, adm2, dis1st are the atom features
‘VMAF_feature’:[‘motion’, ‘adm2’],
‘Moment_feature’:[‘dis1st’], # 1st moment on dis video
}
##### define regressor and hyper-parameters #####
model_type = “LIBSVMNUSVR” # libsvm NuSVR regressor
model_param_dict = {
# ==== preprocess: normalize each feature ==== #
‘norm_type’:’clip_0to1', # rescale to within [0, 1]
# ==== postprocess: clip final quality score ==== #
‘score_clip’:[0.0, 100.0], # clip to within [0, 100]
# ==== libsvmnusvr parameters ==== #
‘gamma’:0.85, # selected
‘C’:1.0, # default
‘nu’:0.5, # default
‘cache_size’:200 # default
}
最后,FeatureExtractor基類可以擴展為開發定制的VMAF算法。這可以通過嘗試其他可用的,或發明新的基本指標和功能來進一步一完善。類似地,TrainTestModel基類可以擴展來測試其他回歸模型。請參閱CONTRIBUTING.md更多細節。用戶還可以使用現有的開源Python庫(如scikit-learn [15],cvxopt [16]或tensorflow [17])來嘗試其他機器學習算法。軟件包中包含了集成scikit-learn隨機森林回歸器的示例。
VDK軟件包包括具有選擇特征的VMAF 0.3.1算法和基于NFLX視頻數據集收集的主觀評分訓練過的SVM模型。我們還邀請社區使用該軟件包來開發一些改進功能和回歸器,以便進行感知視頻質量評估。我們鼓勵用戶在其他數據集上測試VMAF 0.3.1,并幫助改進我們的用例,并將其擴展到其他用例中。
質量評估的開放性問題
觀看條件。Netflix支持包括智能電視、游戲機、機頂盒、電腦、平板電腦和智能手機在內的數千種有源設備,為我們的會員帶來廣泛的觀看條件。觀看設置和顯示設備可以顯著影響視頻質量的感知。例如,如果一個Netflix會員在4K 60英寸的電視機上觀看以1Mbps編碼的720p電影,則會和在5英寸智能手機上觀看相同視頻,有對視頻質量不同的感覺。目前的NFLX視頻數據集涵蓋了單一的觀看條件 —— 以標準化的距離觀看電視。為了加強VMAF,我們在其他觀看條件下進行主觀測試。有了更多的數據,我們可以推廣算法,使得觀看條件(顯示尺寸大小、屏幕距離等)可以輸入到回歸器。
時間池。我們目前實現的VMAF可以計算每幀的質量分數。在許多使用情況下,最好暫時采集這些分數,以便可以在較長時間尺度上匯總返回單個分數值。例如,要獲得場景的分數,較為可取的就是使用常規時間段的分數或使用整個電影的分數。我們目前的方法是用一個簡單的時間池,對池內每幀的分數值求算術平均值。但是,這種方法有“隱藏”差幀的風險。給予較低分數幀更多權重的池(匯集)算法有可能會更準確地表達人類的感知。當使用匯總分數來比較幀之間的不同質量波動編碼或者優化編碼或流會話作為目標測度指標時,良好的池(匯集)機制是特別重要的。VMAF和其他質量度量指標下的準確感知時間池機制仍然是一個開放和具有挑戰性的問題。
一致的指標。由于VMAF包含全參考基本測度指標,VMAF高度依賴于參考視頻的質量。不幸的是,在Netflix目錄中的視頻源質量可能并不一致。信號源以SD到4K的分辨率進入我們的系統。即使在相同的分辨率下,可用的最佳信號源也可能遭受某些視頻質量失真。因此,比較(或總結)不同標題視頻的VMAF分數可能是不準確的。例如,當從SD源產生的視頻流達到99(100)的VMAF得分時,其決不會與來自HD源的相同得分(99)的視頻具有相同的感知質量。從質量監測的角度看,我們非常希望能夠計算出所有視頻源的絕對質量分數。畢竟,當觀眾觀看Netflix節目時,除了傳送到屏幕上的圖像外,他們沒有任何參考。我們希望有一個自動的方式來預測用戶對接收的視頻的質量的看法,并且這種方式可以考慮到在該屏幕上最終呈現的視頻的所有因素。
總結
我們開發了VMAF 0.3.1和VDK 1.0.0軟件包,來幫助我們向會員提供最優質的視頻流服務。作為我們不斷追求品質的一部分,我們的團隊每天都在使用它來評估視頻編解碼器以及編碼參數和策略。VMAF以及其他指標模型已經被集成到我們的編碼管道中,以改進我們的自動化質量控制(QC)。我們正在使用VMAF作為客戶端指標模型之一,來監控系統端的A / B測試。
在當今的互聯網環境中,提高視頻壓縮標準和在實際編碼系統中做出明智的選擇是非常重要的。我們相信,使用傳統測度指標模型 —— 不總是與人類感知相關的測度指標模型 —— 可能會阻礙視頻編碼技術的真正進步。當然,總是依靠人工視覺測試也肯定是行不通的。VMAF是我們試圖解決這個問題的一種嘗試,使用我們自己的內容樣本來幫助設計和驗證算法。類似于業界共同開發新的視頻標準時那樣,我們也邀請社區就改進視頻質量措施進行公開合作,最終目標是實現更高效的帶寬使用和呈現視覺上令人滿意的視頻。
致謝
我們感謝以下人士對VMAF項目的幫助:Joe Yuchieh Lin,Eddy Chi-Hao Wu,C.-C Jay-Kuo教授(南加州大學),Patrick Le Callet教授(南特大學)和Todd Goodall。
參考文獻
Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image Quality Assessment: From Error Visibility to Structural Similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600–612, Apr. 2004.
BT.500 : Methodology for the Subjective Assessment of the Quality of Television Pictures, https://www.itu.int/rec/R-REC-BT.500
M.-J. Chen and A. C. Bovik, “Fast Structural Similarity Index Algorithm,” Journal of Real-Time Image Processing, vol. 6, no. 4, pp. 281–287, Dec. 2011.
N. Ponomarenko, F. Silvestri, K. Egiazarian, M. Carli, J. Astola, and V. Lukin, “On Between-coefficient Contrast Masking of DCT Basis Functions,” in Proceedings of the 3 rd International Workshop on Video Processing and Quality Metrics for Consumer Electronics (VPQM ’07), Scottsdale, Arizona, Jan. 2007.
Daala codec. https://git.xiph.org/daala.git/
T.-J. Liu, J. Y. Lin, W. Lin, and C.-C. J. Kuo, “Visual Quality Assessment: Recent Developments, Coding Applications and Future Trends,” APSIPA Transactions on Signal and Information Processing, 2013.
J. Y. Lin, T.-J. Liu, E. C.-H. Wu, and C.-C. J. Kuo, “A Fusion-based Video Quality Assessment (FVQA) Index,” APSIPA Transactions on Signal and Information Processing, 2014.
C.Cortes and V.Vapnik, “Support-Vector Networks,” Machine Learning, vol. 20, no. 3, pp. 273–297, 1995.
H. Sheikh and A. Bovik, “Image Information and Visual Quality,” IEEE Transactions on Image Processing, vol. 15, no. 2, pp. 430–444, Feb. 2006.
S. Li, F. Zhang, L. Ma, and K. Ngan, “Image Quality Assessment by Separately Evaluating Detail Losses and Additive Impairments,” IEEE Transactions on Multimedia, vol. 13, no. 5, pp. 935–949, Oct. 2011.
S. Wolf and M. H. Pinson, “Video Quality Model for Variable Frame Delay (VQM_VFD),” U.S. Dept. Commer., Nat. Telecommun. Inf. Admin., Boulder, CO, USA, Tech. Memo TM-11–482, Sep. 2011.
Video Quality Experts Group (VQEG), “Report on the Validation of Video Quality Models for High Definition Video Content,” June 2010, http://www.vqeg.org/
K. Seshadrinathan, R. Soundararajan, A. C. Bovik and L. K. Cormack, “Study of Subjective and Objective Quality Assessment of Video”, IEEE Transactions on Image Processing, vol.19, no.6, pp.1427–1441, June 2010.
A. K. Moorthy, L. K. Choi, A. C. Bovik and G. de Veciana, “Video Quality Assessment on Mobile Devices: Subjective, Behavioral, and Objective Studies,” IEEE Journal of Selected Topics in Signal Processing, vol. 6, no. 6, pp. 652–671, Oct. 2012.
scikit-learn: Machine Learning in Python. http://scikit-learn.org/stable/
CVXOPT: Python Software for Convex Optimization. http://cvxopt.org/
TensorFlow. https://www.tensorflow.org/
移動音視頻開發進階沙龍——暨新書分享會
2018年伊始,短視頻與游戲對直播的激發還未平息,“沖頂大會”的火爆再次激發了直播行業的熱潮,全新玩法的背后隱藏著的是超低延遲的實時互動。此外,AR/VR/MR的持續火熱也將成為2018年新一波技術趨勢。而手機App已漸漸占據人們日常生活的大部分時間,移動端開發也就顯得至關重要。
音視頻技術社區LiveVideoStack策劃『移動音視頻開發進階』沙龍,希望與大家分享移動端音視頻技術開發實踐經驗。本次活動由LiveVideoStack與華章科技聯合主辦,邀請《移動音視頻開發進階——基于Android與iOS平臺的實踐》作者展曉凱,Hulu全球高級研發經理傅徳良,暴風影音首席架構師鮑金龍,FFmpeg Maintainer/顧問劉歧參與分享交流。
掃描上方二維碼報名
總結
以上是生活随笔為你收集整理的Netflix视频质量感知评价模型之路的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 展望2018:WebRTC和下一代编解码
- 下一篇: 展望2018:人工智能为媒体服务赋能