郭一璞 發自 西二旗

量子位 報道 | 公眾號 QbitAI

你一定覺得，AI這種前沿科技，主要活在硅谷西二旗的科技公司、大學和研究院的論文、還有資本的熱捧里。

這些地方有算力、有人才、有資金。

但實際上，即使是那些中國最質樸的農民，也已經用上AI了。

比如說，快手平臺上的1.9億短視頻創作者，他們也在用AI技術豐富自己創作的短視頻作者。

那么，具體怎么用呢？

量子位采訪到了快手的技術團隊，為大家介紹幾個快手平臺上AI應用，還有背后的原理。

低配手機也能用的Animoji

最有趣的功能當屬“萌面Kmoji”，將視頻中人物的頭像變成虛擬卡通形象，一方面可以給視頻增添樂趣，另一方面也可以幫助到那些不想露臉的用戶。

類似蘋果2017年推的Animoji功能，通過面部識別將用戶臉上的細微表情，生成對應的卡通形象。

△ Kmoji版的快手網紅手工耿

量子位也體驗了一下“萌面Kmoji”的效果：

至于如何生成這類效果，快手技術團隊介紹，需要用到基于物理的真實感渲染算法，讓Kmoji上的金屬、皮革等模型看起來更擬真。

整個模擬人臉的過程借助了3D結構恢復與3D信息融合，用3D重建技術恢復出3D結構，融合2D信息后，分析人臉特征，進而生成虛擬形象。

在這里，3D人臉重建需要借助快手內部的上萬級3D人臉數據集，包含每個人的年齡段、人種、臉型和表情，通過人臉關鍵點識別技術，幫助3D人臉重建，不管你是哭著還是笑著都可以重現出來。

此外，生成虛擬形象還要分析用戶的人臉屬性，借助分類/回歸/分割等方法，區分出性別、年齡、膚色、臉型等信息。

之后，因為生成的3D卡通圖像是會隨著人的表情而變化的，需要分析人臉表情，才能在卡通形象上展示出一模一樣的表情。

這里需要通過2D的RGB視覺信息對問題進行建模求解，獲得人臉關鍵點和實時重建的3D模型，把各種模態信息做建模、做對齊，求解出人臉的表情，驅動虛擬卡通形象做各種逼真的動作。

另外的一個問題是，如何讓模型在手機端（乃至低端手機上）跑起來？

快手技術團隊介紹，為了讓模型在手機端流暢運行，需要進行圖像預處理，合并多種預處理操作，對預處理的圖像內存進行統一分配和回收，利用NEON加速和蘋果自帶的accelerate加速，讓運行庫只占2M的空間。

最后，在保證預測精度的前提下，快手技術團隊對AI模型進行局部的INT8量化，使得運行速度可提高1倍以上，同時AI預測模型的占用空間也壓縮到將近原來的四分之一。

世界上的另一個你

世界上的另一個你是快手在去年烏鎮的世界互聯網大會上亮相的一個線下應用，這個玩法是根據體驗者的面孔，匹配億萬快手用戶上傳在平臺上的公開視頻，找到那個跟你長相相似的人。

這個應用本身是靠人臉檢測。

據快手技術團隊介紹，在提取人臉特征后，系統在快手后臺數據庫中進行檢索，找到相似度最高的三個人臉圖像。

之后，再對這三個人臉圖像進行更細粒度的屬性分析，得出對應的年齡、性別、表情等屬性，基于屬性對檢索結果進行重排，從三張人臉里挑出和體驗者長得最像的那個。

人像3D打光

快手上的另外一個AI應用則是人像3D打光，就像是短視頻版的“逆光也清晰”，在光線不好的情況下，自動“打”一束光到用戶臉上，讓生成的圖像效果有非常自然、符合面部形狀的光線。

人像3D打光主要利用了實時人臉三維重建技術，利用了人臉參數化先驗模型，根據輸入圖，自動匹配人臉幾何信息，得到人臉3D模型參數，獲得人臉3D網格模型。

另外，還可以根據不同的場景設置不同的光源，利用實時渲染技術對虛擬人臉進行渲染，得到面部光影圖；對輸入人像進行前景分割，得到前景分割蒙版，也可以根據原圖得到其他蒙版信息；這些蒙版分別作為不同的圖層按照場景需求特定的方式疊加到原圖上，就可以得到打光結果。

OMT

除了計算機視覺、計算機圖形學方面的應用，據快手算法科學家張國鑫介紹，快手在2019年也會將語音識別融入到產品中，開發更多應用。

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?'?' ? 追蹤AI技術和產品新動態

總結

以上是生活随笔為你收集整理的揭秘：快手用AI在短视频里玩出三大花样，背后是怎样的技术原理？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。