【AI产品】产品小姐姐分析抖音背后的计算机视觉技术
大家好，今天開設新的專欄《AI產品》，在這個專欄中，我們將以產品體驗為主，簡單剖析背后的核心技術，這是一個更加貼近工業(yè)實踐的專欄。
今天就體驗抖音基于計算機視覺技術實現的幾項高大上的功能，希望可以加深大眾對計算機視覺技術及人工智能產品進程的認知。
作者 | Luna
編輯 | Luna
抖音提供的功能很多，照片視頻處理都不在話下，搞笑如各式貼紙、妝容術、換頭換臉、圖像風格遷移等，浪漫如“吹蒲公英”，嚴肅如后臺的“鑒黃”，以下對抖音里與計算機視覺相關的產品功能點進行體驗與分析。
1?美丑胖瘦收放自如
不管有沒有玩過抖音，大家或多或少都在朋友圈或微博看見過如下類似的搞笑照片。
所以，大家應該就更加能理解，為什么這么多人每天活在抖音里“醉生夢死”，因為比起苦難的生活，這里真的比較輕松有趣對吧？
這些看似搞怪的圖片，在抖音里實現起來其實很簡單。其基本流程如下：打開抖音app，點擊屏幕正中間的“+”按鈕，進入照片/視頻模塊，選擇道具圖標，然后在圖標工具庫中選中自己想要的效果，則人在畫面中的成像，就可以開始各種作妖，尤其是眼睛、眉毛、嘴巴、鼻子等臉部主要關鍵部位，可發(fā)生明顯變形，打造出各種連親媽都難以辨認的形象。
如圖，是抖音道具圖標的極小部分截圖，從中也可以感受到整體功能設計呈現出多樣性、娛樂性、趣味性的效果。
任何產品的功能設計，其定調都緊緊圍繞著產品的目標用戶，抖音主要的目標用戶群體定位為90后追求潮流個性的年輕人，而這類人群喜歡刺激、渴望表達，但又相對情緒化，所以他們具有觀看或發(fā)布新鮮內容以打發(fā)無聊時光及獲得表達自我價值的需求。
為了更好地滿足用戶的上述需求，抖音提供變美、變丑、變瘦、變胖等功能，使得年輕人的互動被極大地多元化，且整個操作的過程成本極其低廉、步驟也十分簡單。
點擊邊框調出視頻工具條
小視頻里的人，不僅臉部發(fā)生了變形，同時頭頂靈活的“蝴蝶結小辮兒”也很生動、形象，體驗的過程充滿樂趣，對于很多抖音用戶而言，他們十分樂意去探索這樣多面搞怪的自己。
同時，由于抖音平臺本身的算法優(yōu)勢，功能的實時響應性能也很優(yōu)秀，基本只要臉一進入畫面，立馬就能實現拉伸和變形，用戶基本感受不到延時，體驗十分流暢。
這進一步體現，抖音的成功，更多的是因為他們擅長于結合技術，以更輕松的方式解決年輕人的需求痛點，抓住大部分用戶的心。
上述臉部變換的功能主要基于人臉關鍵點檢測技術實現，該技術通過定位臉部關鍵部位，并在關鍵部位上對像素點進行變換，達成各種不同的效果。人臉關鍵點檢測技術也被廣泛地應用于直播及短視頻，如網易的游戲直播、YY直播等，基于該技術衍生出了很多有趣的功能，帶給用戶越來越新奇刺激的體驗。
技術關鍵詞：人臉關鍵點檢測。
2?換頭不是夢
上一項功能只是變形，抖音里還有更神奇的技能。
為了實現如上“換頭”效果，同樣地其制作流程為：啟動抖音來到拍攝頁面，選中“狗頭”或“豬頭”圖標，則畫面中自己的臉部就會被完全遮蔽。同時，如果用戶眨眼或張嘴，會看到畫面中的相同部位同步變換，體驗還是挺新奇的。
該項功能進一步提升了對年輕用戶的刺激感，因為對某些用戶而言，他們一方面想要尋求刺激、內心具有有強烈的表達自我的意愿，但同時又不可避免地想要制造一定的神秘感，或用戶本身略帶羞澀感，而這一功能正好滿足了這部分的需求。
點擊邊框調出視頻工具條
小視頻里眨眼的豬頭十分憨萌，用來撒嬌應該百試百靈吧。
那么，到底是什么樣的技術，可以如此精準地定位并恰到好處地實現“偷梁換柱”呢？
實質上，該項功能的實現主要應用了圖像語義分割技術。具體地，抖音通過對人體進行語義分割，獲得人體各個部位如頭、臉、手、腳的位置及標簽，并通過用戶選定的工具模板，將對應部位替換，實現最終的“換頭”。相比目標檢測而言，圖像語義分割是精確到像素點的分類，因而替換的過程看起來也更加地智能和精準，用戶體驗更佳。
但體驗中發(fā)現不足的是，或許是算法分割準確率的問題，嘗試張開嘴巴時，隨之張開的卻不是頭像里狗的嘴巴，而是自己的血盆大口，而有些道具在使用中就不會出現類似情況，這可能也是當前產品的一個小Bug。
技術關鍵詞：圖像語義分割。
3?想要的風格全都有
計算機視覺里比較熱門的圖像風格遷移技術，在抖音里也有所體現。
如圖所示，上述功能實現的流程為：啟動抖音app進入拍攝頁面后，在道具庫中選中白色的素描花朵圖標，隨后對輸入的鍵盤畫面即可進行風格的實時變換。原來低調科技風的鍵盤，瞬間變成了漫畫素描式風格。
同樣地，也可以實現對人像的風格變換，看到自己的臉在畫面里變成“漫畫臉”，感覺也挺有意思的。
基于圖像風格遷移，還可以實現妝容變換。如圖，是抖音里的一個貼紙妝的效果，通過妝容的遷移，用戶本身可能不帶妝，但清晰可見畫面中眼線、眉毛、嘴唇都被化上相應的妝容，且效果自然貼切。同時妝容切換只需要重新點擊選中另一個圖標即可，可以很好地幫助那些小仙女用戶實現快速變妝拍照。
該項功能主要是為了迎合部分追求文藝風格的用戶及大部分愛美女性用戶的需求，試想若一個產品可以使得用戶以超低的成本，隨時體驗自己不同風格的美，極大地滿足用戶的虛榮心，則該產品的用戶黏度會越來越高。
但是同時體驗中也有一個感受是，有些功能存在相近或冗余，比如之前大火的所謂控雨術，在體驗中發(fā)現并沒有什么“控制的效果”，同時對于道具的分類也不是十分清晰，有點混亂，可能也是由于功能選項實在是太多了。
技術關鍵詞：風格遷移。
4?帶心愛的她去吹“蒲公英”
大家覺得程序員都是呆板、木訥的，然而抖音程序員實現的“蒲公英”功能卻可以說是相當浪漫了。
如圖所示，該功能的基本流程邏輯為：啟動抖音app來到拍攝頁面后，選中“吹蒲公英”工具圖標，畫面里就可以看到有幾株漂亮的蒲公英，用戶只需要對著屏幕，張大嘴巴做吹氣狀，則畫面里的蒲公英就會像真的蒲公英一樣四處散開，營造出一種唯美的意境。
該功能是抖音獨創(chuàng)，有了它，你就可以帶心愛的她天天吹蒲公英了。
點擊邊框調出視頻工具條
小視頻“吹蒲公英的現場”，整個畫面感很真實，甚至于相比大自然的真實場景，更加美好。
而且由于是虛幻的，蒲公英永遠都吹不完，這應該戳中了許多抖音小仙女的心。
而提出該項功能需求點的初衷，一方面是為了滿足平臺用戶少女的浪漫情懷，而另一方面也是為了幫助單身男青年實現低成本“求偶”。同時這也進一步強化了抖音音樂化、文藝化的定位和格調。
“蒲公英”功能的實現，主要采用了人臉表情識別技術。但是在該項功能中，體驗不足的是，用戶只有將人臉放置在屏幕正中間，蒲公英的吹散效果才比較好，而且通常都是檢測到動作后，一旦觸發(fā)，就會把屏幕中所有的蒲公英都吹散開，沒有辦法實現單獨吹某一朵蒲公英的行為，可能是當前算法在實際運用中，仍無法十分精準定位和檢測的緣故吧。
不可否認，抖音的成功還在于，它通過冰冷的技術，創(chuàng)造性地為用戶帶來了暖心的情懷和浪漫，這也是值得許多人工智能產品借鑒的一種精神。
技術關鍵詞：表情識別。
5?時刻睜大的“鑒黃”雙眼
自直播、短視頻應用興起后，各種監(jiān)管問題層出不窮，而對于抖音而言，用戶生成的內容是海量的，基于此，抖音在用戶看不見的后臺，采用了基于深度學習的“圖像分類”技術對用戶上傳的圖片、視頻資料進行智能監(jiān)管。
在訓練鑒黃系統(tǒng)的過程中，輸入如圖所示的大量訓練數據，并且這些數據都攜帶有對應標簽，標簽值標明了該圖片是否屬于黃色圖片范疇。則模型通過學習并“記住”黃色圖片的特征，并在面臨新的輸入圖片或視頻時，提取相應特征后，結合學習的經驗判斷，該圖片屬于屬于黃色圖片的概率，最終分類概率高于一定閾值的內容會被標記敏感選項，需進行二次分流檢測或人工鑒別。如此對圖片/視頻資料進行分類篩選，以保證內容的健康性。
在體驗時也發(fā)現，相較其它短視頻或直播類的平臺，抖音的整體環(huán)境的營造以及內容的調性相對優(yōu)良，色情、暴力及敏感內容較少，則抖音背后強大的算法技術功不可沒。
抖音屬于頭條系產品，在算法的性能及應用上本身就具有一定的優(yōu)勢，假以時日，一定可以推動鑒黃算法朝著自動化及智能化更上一層樓。
技術關鍵詞：圖像分類。
總結
我們都可切實地感受到，計算機視覺技術已不僅僅停留在理論層面，而是落地到許多產品中，為用戶帶來了許多活力與驚喜，人工智能正不知不覺地慢慢改變人類的生活。作為計算機視覺的從業(yè)或愛好者，也應當保持對行業(yè)產品動態(tài)的持續(xù)關注~
本周直播(點擊圖片跳轉)
今日看圖猜技術
有三AI生態(tài)
更多精彩內容請關注知乎專欄《有三AI學院》
轉載文章請后臺聯系
侵權必究
往期精選
【完結】聽完這12次分享，你應該完成了AI小白的蛻變
【完結】12篇文章告訴你深度學習理論應該學到什么水平
【技術綜述】一文道盡softmax loss及其變種
【技術綜述】閑聊圖像分割這件事兒
【技術綜述】萬字長文詳解Faster RCNN源代碼
【技術綜述】基于弱監(jiān)督深度學習的圖像分割方法綜述
總結
以上是生活随笔為你收集整理的【AI产品】产品小姐姐分析抖音背后的计算机视觉技术的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【杂谈】AI工业界都有哪些值得参加的比赛
- 下一篇： 【AI不惑境】网络深度对深度学习模型性能