李智說，用數學來理解世界可能是每一個理工男的夢想吧。從思科到Netflix，李智一直希望通過數學的方法改善用戶的體驗。如今他正在在負責開源項目VMAF，希望通過這一項目幫助更多平臺改善用戶觀看體驗。

文 / 李智

策劃 / LiveVideoStack

LiveVideoStack：李智你好，非常榮幸能代表LiveVideoStack采訪你。首先，能否向我們的讀者介紹下自己？

李智：感謝LiveVideoStack的邀請。很榮幸能和大家交流。我目前任職于Netflix的視頻算法團隊。過去三年里VMAF視頻質量算法是我負責的主要項目。在VMAF之前，我是Netflix最早的 Per-title Encoding 算法的主要設計者。加入Netflix之前，我在思科從事ABR算法方面的研究。當時一直嘗試用質量算法對播放器自適應碼率進行優化，但苦于沒有合適的質量算法作為優化目標。希望現在VMAF的出現或多或少彌補了這個遺憾吧。我本科和碩士畢業于新加坡國立大學，當時跟隨導師孫啟彬博士做了一些媒體安全方面的研究。博士畢業于斯坦福大學，導師是Bernd Girod教授。

LiveVideoStack：在Netflix工作有什么樣的感受？和硅谷其他公司比如Google和Facebook有哪些不同？

李智：Netflix目前在全球的雇員有6000多人，主要在硅谷的Los Gatos和洛杉磯有兩個大的園區。個人覺得Netflix文化上最大的特色是給每個員工最大的自由度，同時也要求每個人能夠負擔對應的責任。比如說，個人申請參加學術會議不需要公司批準，只要能夠對工作有幫助。公司也沒有關于假期的規定（就是說理論上無上限）。公司內部信息分享非常透明，要跨組織合作是非常容易的事情。對應于高自由度的另一面就是，公司認為你有能夠獨擋一面的能力，能對自己的項目全權負責。對于VMAF這個項目來講，自己基本兼任工程師，研究員，以及PM。公司的組織結構非常的平，比如說幾乎所有工程師都只有一個級別：Senior Software Engineer。而薪資上來講，每個人的薪水并不和職稱劃等號，而是根據個人的市場價值而定。總的來講，Netflix的薪資在硅谷的公司里面是屈指可數的。和Google以及Facebook比，Netflix可能文化上更接近Facebook。

LiveVideoStack：聊聊VMAF這個項目吧。關于畫質的評價一直是個難點，尤其通過客觀工具來評價。和其他客觀評價工具相比，VMAF有哪些特點？

李智：VMAF是針對Netflix應用場景的產物。在最初的項目定位的時候，我們并沒有嘗試做一個通用性的畫質評價工具，而是針對Adaptive Streaming場景下可能出現的兩種損失：Compression Artifact和Scaling Artifact做了很多嘗試。在框架的選取的時候，VMAF可以看做是兩種不同方法的結合：一種是基于人的視覺系統感知的模擬，另一種是用機器學習的方式將特征值和用戶評分聯系起來。其他的工具比如SSIM，VIF更接近第一種，因為其模型里面間接模擬了人視覺系統里面的掩蔽效應。而另外一種思路是純機器學習（神經網絡）的方法，從像素階段開始通過大量用戶評分數據學習出模型。這個方法的難點在于需要大量的訓練數據，而采集用戶打分數據是很昂貴的。VMAF可以看作是一種結合了機器學習以及過去上百年對于人類視覺系統的認識作為先驗知識的方法。

LiveVideoStack：我聽說VMAF也存在一些bad case，比如圖像出現塊效應的時候，VMAF分數變化不大。

李智：出現這種情況的原因可能有幾個。

第一，VMAF是一種基于全局的畫質評價工具。如果塊效應是局部的，因為VMAF會對全部的像素做算術平均的池化，則局部的質量損失會被整體沖淡。我們曾嘗試過不同的池化方法，比如說用最差的20%作為目標，但結果和主觀數據的相關性會降低不少。有興趣的朋友可以自己嘗試一下。

第二，因為目前的VMAF模型是基于H.264壓縮的視頻訓練的，有可能當應用于其他種類的編碼器（特別是in-loop filter不同）的時候，會出現預測偏差。使用新的訓練集應該能過解決這個問題。

第三，VMAF所使用的人眼視覺模型應該還有進步空間，比如基于對比度的遮罩效應的參數微調，都會對最后的結果造成影響。具體是哪種情況還要看實例。在這里希望大家能夠把觀測到的VMAF預測不準確的具體例子分享給我，以作為下一個版本VMAF改進的依據。

從另外一個方面來看，也有可能在特定條件下觀測到的塊效應并不能反映一個“平均用戶”對畫質的評分。VMAF預測的是平均用戶（而不是專家）在3H（即觀看距離是顯示器高度的三倍）條件下的評分。如果場景是高速運動的場景，則時域的遮罩效應也會降低它們對用戶體驗的影響。這些都需要看情況具體分析。

LiveVideoStack：GitHub上VMAF項目

（https://github.com/Netflix/vmaf/graphs/contributors）你的貢獻量遙遙領先，怎么才能讓更多的人參與到項目中？VMAF未來還會增加哪些功能？

李智：這可能一方面是由圖像評價項目的性質決定的吧。對于系統性質的項目，每個用戶都有具體的使用場景。他們可以比較容易的提出對系統通用性的改進并貢獻代碼。而對于VMAF而言，絕多數的用戶都是把它當作一個黑盒使用。我們收到過很多的功能上（比如說支持Windows）以及運算速度提升（比如并行化）方面的貢獻，但對于算法本身的改進還沒有出現（在Issue里，已經有不少用戶陳述了他們希望看到的改進，這也是重要的貢獻）。我建議VMAF的用戶如果沒有時間貢獻算法的話，可以從貢獻corner case開始，即提供VMAF預測不符合主觀實驗的實例，這是我們下一個版本改進的重要依據。此外，如果能夠貢獻數據集的話就更好了。數據集可以是訓練一個特定領域VMAF模型的數據（比如游戲視頻，動畫視頻）。

LiveVideoStack：”My greatest aspiration has always been bridging the gap between theory and practice. I am most passionate about applying analytical skills in solving real-world engineering problems.” ，你在LinkedIn上如此描述自己，我嘗試理解下“理論付諸實踐，解決真實世界的工程問題”，尤其在音視頻領域，用數字技術記錄真實世界，并描述人的主觀感受，這樣的挑戰更大吧。

李智：這可能是每一個理工男的夢想吧，用數學來理解世界：）

LiveVideoStack：有沒有對你影響非常大的一個人、一本書或是一部電影？

李智：近期讀完了Daniel Kahneman的Thinking, Fast And Slow，講的是人的思考模式和理性模式之間的差異。這本書非常難讀，前后斷斷續續花了我半年的時間，但讀完之后收獲頗豐，讓我更能理解人們日常的一些非理性行為。這對于我做質量算法的研究也有很大的指導作用，比如：講Two Selves的章節就和時域的池化聯系緊密。

LiveVideoStack：關于在LiveVideoStackCon2019北京上的分享，有哪些可以劇透的？

李智：看項目進展吧。除了對VMAF進行科普之外，可能可以分享一些VMAF在Netflix應用的實例。另外一個關鍵詞：HDR。

LiveVideoStack：以下是一些關于VMAF的問題：VMAF對小分辨率的圖像質量判定有改善計劃嗎？VMAF到現在為止，都只有luma 會影響最終的VMAF分數，對于Chroma 的支持有什么計劃（https://github.com/Netflix/vmaf/issues/100）？?

李智：另外，對于小分辨率的視頻，VMAF的置信區間一般會比較大，即結果不如大分辨率的視頻可靠。這主要是因為VMAF針對了Netflix的視頻，其小分辨率視頻的密度比較低。我還是建議用戶能根據使用情況訓練自己的模型。

是的。我們正在做一個包含Chroma版本的VMAF。Stay Tuned。

LiveVideoStack? 招募

LiveVideoStack正在招募編輯/記者/運營，與全球頂尖多媒及技術專家和LiveVideoStack年輕的伙伴一起，推動多媒體技術生態發展。了解崗位信息請在BOSS直聘上搜索“LiveVideoStack”，或通過微信“Tony_Bao_”與主編包研交流。

點擊【閱讀原文】或掃描圖中二維碼，了解更多大會講師及分享內容信息！

總結

以上是生活随笔為你收集整理的李智：用数学来理解世界的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。