AI+AR如何提升花椒直播的体验？
隨著全民直播時代的到來，用戶對視頻質量和創意需求增多，由此產生了視頻增強等技術的巨大需求。360資深技術專家劉洛麒根據360在視頻領域的開發經驗與技術積累，詳細介紹了人工智能在視頻直播中的技術與相關應用。本文來自其在LiveVideoStackCon 2018大會中的演講，并由LiveVideoStack整理而成。
文 / 劉洛麒
整理 / LiveVideoStack
大家好，我叫劉洛麒，在360人工智能研究院負責計算機視覺算法方面的工作。本次的分享主要介紹AI與AR在花椒直播中的應用。內容可以分為三個部分，第一部分是花椒直播的行業地位和產品優勢；第二部分是花椒直播的AI算法的技術儲備和技術壁壘，這里主要介紹我們到底做了哪些技術，達到了一個什么樣的效果，最后是介紹花椒直播中基于AI的AR特效平臺。
首先來看一下花椒直播的行業地位和產品優勢。
?
在去年的第四季度，花椒直播大概在直播平臺上有2.13%的活躍用戶占比，這個占比在所有的直播平臺里算是最高的。
?
另外，花椒直播在去年第四季度有17%的增長率。由于花椒直播有各種不同的運營手段，包括在花椒直播中使用技術手段在平臺上獲得更多的新的應用，使得增長率保持在一個非常高的水平。
?
接下來主要介紹一下360AI研究院在人工智能技術上所做的一些核心工作。360AI研究院聯合新加坡國立大學歷史上共獲得過10余項Pascal和Imagenet比賽的獎項，并在2012年PASCAL收官之戰上曾獲得兩項冠軍，然后在17年的IMAGENET收官之戰上再獲得了兩項單項冠軍。當然刷比賽的分數不是我們的核心點，我們同時還有一些原創性的想法，比如我們早期的一個卷積的想法就獲得了Google最杰出科學家的郵件感謝和贊許。
?
下面主要介紹我們在核心技術上的一些思考。我們在核心算法方面有三個網絡模型的貢獻，比較早期的是Network in Network網絡，然后是現在比較強的Dual-path Network，即雙通道網絡，以及推薦用在花椒直播的模型設計上的一個輕量級的多纖維網絡，Multi-fiber Network。對于網絡結構設計，主要有兩點需要注意，首先是它性能要非常好，另外就是速度和性能的一個權衡。
?
NIN網絡是我們比較早期的工作，相比Alexnent我們主要想到兩點需要改進的地方，第一點是卷積層需要改進，卷積是一個局部線性的結構，所以我們就設置了一個非常復雜的局部網絡結構，比如左邊紅色的一個框圖，我們把卷積層擴展成多層感知機的一個局部結構，擴展了之后使它的表達能力會變得非常強；第二點是連接層的一個改進，我們把全連接層改成Global Average Pooling。
后來出現了殘差網絡Resnet，它可以優化非常深的網絡。殘差網絡有很強的遞歸特性，與RNN網絡有一定的參照性。
?
將殘差網絡疊起來，當參數共享時其實就是RNN。
?
另外一點就是RNN有三階、四階或者更高階的，高階的RNN展開之后其實就是一個DenseNet網絡。這啟發我們思考殘差網絡和DenseNet網絡之間的關系。
?
其實我們研究了相鄰的兩層，比如上圖中右邊的綠色小圓球和小箭頭的兩層，我們發現如果把這相鄰的兩層做參數共享，它可以直接串起來。
?
如果輸入輸出相同時我們可以再加一個新的通路。
?
當新的通路添加之后需要將結構重新調整一下。
?
調整完之后，中間可以形成一個殘差網絡結構。也就是說中間網絡結構和左邊網絡結構相當于是等價的。我們得出的結論就是，當相鄰兩層參數共享時，殘差網絡就等同于DenseNet網絡。于是我們設計了DPN來結合這兩個網絡的優點。
?
DPN其實相當于有兩個通道，一部分是DenseNet網絡結構，另一部分是殘差網絡結構。這樣就可以同時保留兩個網絡的優勢。
?
我們再簡化一下，大概是上圖這樣的一個形式。
?
我們大概設定了不同深度的網絡，在同樣的精度下，我們的模型與當時最好的ResNeXt-101模型做比較，結果如上圖所示。我們的模型比它小26%，計算量小25%，Memory小8%。
?
然后是單個模型，單個 center-crop 大概達到4.16%，這是當時最好的一個結果。
?
上圖是結果的展示，可以看到圖中桌子，花，小朋友等都能非常準確的檢測到。
剛才設計的是比較大型的高性能網絡，我們的第三個設計是一個非常有效的，非常快速的網絡結構。最近大家用的比較多的網絡結構中間都采用了分組卷積，比如ResNeXt，它的特點是組與組之間沒有連接，計算量也因此小了很多。但是ResNeXt的問題就是它的輸入輸出層中的卷積并沒有使用分組卷積，所以我們將輸入輸出層的組與組之間的連接去掉。
?
但是去掉連接后其實也會出現問題，于是我們在每個層之間增加了一個Transistor，相當于路由的東西。當跑一個比較簡單的殘差結構時可以把組與組之間的信息進行信息交換。
?
我們最終也做了一個視頻分類的問題。
?
上圖顯示的是在Kinetics視頻數據集上的一個結果，可以看到網絡還是非常有效的。
前面介紹的是我們核心網絡結構設計，但我們還需要研究一些可以應用在具體問題上的算法，于是我們開發了基于AI的AR特效平臺，這個平臺也應用到了花椒直播上。
花椒的特效平臺主要包含四個方面的技術，第一個是人臉分析技術，主要是人臉檢測，身份識別等，然后就是背景替換、手勢識別以及美顏系統。
?
這些算法準確率非常高，我們在FDD 300_W這些庫上都做過驗證，同時其還有非常高的穩定性。底層算法也做了很多優化，比如在iphone 6s上，CPU占用只有20%，內存占用50M，這是在兩年前的數據，現在的性能應該更高，并且人臉檢測定位模型也非常小。
?
上圖是我們人臉分析的SDK的一個效果展示。
?
我們還做了一個3D的表情驅動，主播和用戶連麥的時候，很多用戶不想露自己的臉，于是我們通過添加卡通人物，用戶只把聲音傳給主播，表情和卡通人物是聯動的。
?
手勢識別的算法可以快速準確的跟蹤和識別多種手勢，并滿足各種高低端終端的使用需求。
?
摳圖算法采用兩種模式以滿足不同用戶的需求，一種模式是主播在直播的時候可以通過綠幕來替換背景，其特點是穩定，資源占用較低；另外一種模式是前后景分割，通過使用FCN模型，將主播人臉、頭發等摳出來。
?
風格化濾鏡，主播在直播時候可以隨意切換不同的濾鏡。
?
當然最核心的還是美顏算法。我們的美顏叫做“可控美顏”，它只對人前景做美顏效果，在盡量維持整體背景的前提下對面部區域進行微調整。
點擊【閱讀原文】或掃描圖中二維碼了解更多LiveVideoStackCon 2019 上海 音視頻技術大會 講師信息。
總結
以上是生活随笔為你收集整理的AI+AR如何提升花椒直播的体验？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Intel视频处理与分析技术栈和架构纵览
- 下一篇： Mozilla发布最大公共语音数据集Co