微软自拍：让黑科技拯救不会拍照的你
| 微軟亞洲研究院 2015年12月28日 | ? |
你知道嗎，不久前淘寶發布的消費數據報告顯示，自拍桿的購買主力軍居然是50-59歲的人群！無論你是否買過自拍桿，毫無疑問，如今自拍絕對不是只屬于年輕人的娛樂。
圖片來自互聯網
在把美美的自拍照曬到社交媒體之前，大部分人都有著不可缺少的一步，那就是利用修圖軟件對圖片進行美化。目前市面上的圖片美化軟件種類繁多，操作方式也復雜百變，一不小心把自己P成“蛇精臉”的修圖雷區也是讓人防不勝防。社交媒體上出現的“你這么美，你媽媽知道嗎？”就是形容修圖軟件操作不當而導致圖片失真的情況。因此，一款操作簡便，適應各種年齡層和多種使用場景的圖片美化軟件的出現十分必要。
微軟最新推出的圖片美化應用——微軟自拍（Microsoft Selfie）就是這樣一款智能的應用。它能夠針對自拍照片中出現的所有人臉的年齡和性別進行差異化一鍵自動美顏。此外，微軟自拍還能自動為你的照片降噪補光，無論光線環境如何復雜，都能拍出理想的照片。
觀看視頻：微軟自拍
自拍+美化，只需一鍵
如果要給微軟自拍寫一個使用攻略的話，那么它應該是這樣的：1、打開微軟自拍應用；2、對著鏡頭擺好表情；3、拍照；然后就沒有然后了…… 因為微軟自拍能夠一鍵美化你的圖片，在很短的時間內實現拍照+美化的全過程。之后保存你美美的照片分享到朋友圈，等著集贊吧~
但是，如果給微軟自拍寫一個技術流程的話， 那就復雜了……
微軟自拍算法流程
當你打開微軟自拍準備開始拍照時，該應用會主動感應周邊的環境，如果光線過暗以至于拍照可能產生噪點，例如晚上的戶外派對，酒吧等環境，它就會自動開啟降噪模式，以確保最后生成的圖片干凈無噪點。
無論是通過微軟自拍拍攝到的照片，還是從相冊導入圖片，它會在接下來不到1秒的時間內，對輸入照片進行快速處理，主要包括自然美顏，智能降噪和曝光增強三個部分，對于無論是自拍照片，還是非人像照片（如風景、物體等），都能實現理想的照片美化效果。
自然美顏：
事實上，不同性別和不同年齡段的用戶對自拍修圖的要求差別很大。例如，一家三代同堂的合照，奶奶、母親和女兒三代人的面部都被同樣對待——修得同樣光滑、毫無皺紋與瑕疵，那肯定不是我們希望看到的。男士也希望自己修圖的效果能恰到好處的表現出男人的硬氣和瀟灑，而不是最后修出來的皮膚吹彈可破、嫩白細滑。
圖片來自互聯網
微軟自拍的智能美顏功能在美化人像照片時，會自動識別圖片中人像的年齡、性別、膚色和光照等因素，并基于此相應地消除用戶不需要的皺紋、眼袋、雀斑、痘印等。但對于用戶希望保留的體貌特征，如，頭發、紋身、濃密的胡子等，或者面部出現的裝飾物，如耳釘、鼻環、眼鏡等，該應用則會盡量保持不變，最終使整個人臉美化效果更為自然。
這樣，無論是單人自拍還是多人合照，一鍵自然美顏能讓照片中的所有人擁有最合適自己的美顏效果！
如此簡單通用的美顏操作，背后的技術可不簡單。首先，系統要對照片進行JDA人臉檢測（Face detection）（Joint Cascade Face Detection and Alignment. ECCV 2014），檢測出這張圖片是否存在人臉，一共有多少張人臉，以及人臉出現在圖片的什么地方。
隨后，系統利用特征點檢測技術分析每一張人臉的不同五官需要什么程度的美化。微軟自拍采用的是微軟亞洲研究院在2014年CVPR大會上發表的論文：Face Alignment at 3000 FPS via Regressing Local Binary Features中提出的68個人臉特征點檢測方法。借用該方法，系統能夠快速準確地檢測出臉型和特征點。接下來，基于高層的智能方式，算法會對圖片中的人臉進行信息提取，包括年齡和性別的判別（Blessing of Dimisionality: High Dimensional Feature and Its Efficient Compression for Face Verification CVPR 2013）。而這個技術也應用在了大家所熟知的How-old.net（微軟顏齡機器人）上。
最后，該應用采用的“數字化潔面”算法會基于已經提取的面部信息對人臉進行美化處理。不同于市面上常常導致圖片失真的美化算法，“數字化潔面”算法包括兩個部分，一是基于大數據的臉部美化分析，研究員根據大數據的分析對不同的性別和年齡建立了不同的美化模型集，從而更有針對性地對不同人群的圖像進行美化。二是應用新的圖像處理算法，不同于傳統通過低通或者雙邊濾波的方式，從而避免圖片的美化出現失真，如階梯形效應（Staircase effect）帶來的卡通化，又能獲得自適應的美化效果，即去除不想看到的皺紋、痘印等信號，但是保留紋身、首飾等重要信息，避免“千人一面”的問題。
智能降噪：
智能降噪功能是微軟自拍的一項“獨門絕技”，在開啟攝像頭時就會針對周圍環境進行判斷。如果所處的拍攝環境光線條件不甚理想，直接拍攝到的照片通常會帶有很多噪點，清晰度也會受到影響。在此時微軟自拍會自動開啟降噪功能，通過快速拍攝多張照片，并對其進行處理，最終生成一張平滑降噪的照片。正如大家所知道的，照片成像的噪聲水平受手機或照相機本身等硬件條件影響極大，但購買高級設備則花費巨大，而微軟自拍采用數字化降噪功能所生成的圖片效果完全可與單反相機 (DSLR)在三腳架上采用低ISO長曝光時間的拍攝效果媲美，從而為智能手機用戶在夜間拍攝到高質量的照片提供了更好的選擇，真正做到“硬件不足軟件補”。
與微軟已發布的延時攝影應用Hyperlapse 相似，微軟自拍在智能降噪功能的關鍵技術包括快速幀間對齊和多幀降噪技術。單張照片上的噪點是圍繞平均值進行上下波動的，而如果把兩張有噪點的圖片進行疊加的話，就可以得出一張更為干凈的圖片。圖片數量增多，照片中的噪點也會逐步下降。基于這樣的原理，研究員提出了一個快速多幀降噪的方法，相關論文已在去年的SIGGRAPH Asia大會上發表（Fast Burst Images Denoising SIGGRAPH Asia 2014）。
但針對拍照過程中的手抖現象，如果只是簡單地把連拍的多張照片進行平均疊加的話，則會產生重影的效果。因此，研究員對幀和幀之間采用了相機模型估計的方法，不通過傳感器而是完全通過數字化的幀間對齊方法進行處理。其次，當幀和幀對齊之后，因為場景中深度有所不同，一個微小的運動都會導致同一個像素點在不同幀對應的物體不一樣，所以如果只是簡單地做圖片平均的話，還是有可能導致圖片重影。所以，研究員采用的算法會甄別選取一致的像素點拿來做平均，這個平均不僅是發生在時間域上也會發生在空間域上，從而讓該降噪算法對于無論是人臉照片還是非人臉照片都有著非常理想的效果。
曝光增強：
相信大家都碰到過想要拍攝的場景受限于角度、光線等問題從而導致逆光拍攝的情況，而微軟自拍的自動曝光功能則能對照片進行針對性的區域曝光調整。例如一張逆光的照片，人臉和所有逆光的景物，相對比背景都顯得十分暗淡。或者是面對陽光的照片，受光面十分耀眼，并且人臉難以獲得自然的表情。這種情形下，對拍攝到的一張照片進行后期處理的話，傳統修圖應用通常會全局地調整畫幅中的光線情況，即會出現前景拉亮的同時，整個背景光線過亮，甚至出現過曝的情況。
面對這種情況，微軟自拍會自動對畫幅中各區域進行曝光分析和調整。首先系統會自動檢測背光情況，并對各區域提供最佳的局部曝光補償，避免整體圖片調整而導致圖片過度曝光，并保證照片在能夠看清逆光景物的同時保持照片的層次感（Automatic Exposure Correction of Consumer Photographs ECCV 2012）。
而針對風景照常見的薄霧情況，研究員還開發了去霧算法（Single Image Haze Removal using Dark Channel Prior CVPR 2009）。該算法能與曝光校正算法融合增強照片的清晰度，從而達到使用紫外線濾鏡(UV)或圓偏振鏡 (CPL)的專業級照片效果。當然PM2.5爆表的時候還是老老實實待在室內或者帶好口罩吧，就別拍照了……
輕應用，大技術
從雛形到應用，微軟亞洲研究院視覺計算組為微軟自拍全程提供了技術支持。視覺計算組的研究方向和專業涵蓋了計算機視覺研究領域的整個范疇，主要包括人臉，圖像編輯和計算攝影，圖像識別和檢測等方面。
針對人臉的研究包括人臉（特征點）檢測，人臉識別，人臉的屬性識別等等。該項研究成果已經在微軟牛津計劃的人臉識別API（Face API），Windows Hello刷臉開機，Kinect Identification身份驗證開機和微軟小冰等諸多與人臉有關的產品與服務中得到應用。
而在圖像編輯和計算攝影方向，視覺計算組的研究主要為圖像自動編輯和相機增強技術等等。今年12月，剛剛開放的微軟牛津計劃視頻API（Video API）中也有該研究方向的身影。此外，OfficeLens，Hyperlapse等用戶達千萬級的應用中也都可以看到視覺計算組在圖像編輯上的研究成果。
在圖像識別和檢測方面，該研究組在圖像內容的理解、識別、檢測和分割等方面都取得了突破性的進展。不久前，在全球頂尖高校和科研機構舉辦的2015 ImageNet計算機視覺識別挑戰賽中，該組的研究員們憑借深層神經網絡技術的最新突破，以絕對優勢獲得了圖像分類、圖像定位以及圖像檢測全部三個主要項目的冠軍，擊敗了來自學界、企業和研究機構的眾多參賽者，打造出了目前世界上最精確的計算機視覺系統。
當談及開發微軟自拍這樣一款App背后的技術訴求時，微軟亞洲研究院視覺計算組主管研究員袁路表示： “對于人臉編輯這個研究方向，我們一直有著極大興趣，這也是目前針對人臉的研究中所缺失的一環。How-old.net（微軟顏齡機器人）備受用戶歡迎，讓我們看到了大眾對于面部智能科技的熱情和渴求。因此我們希望做一個相比于目前市面上已有的面部美化產品更好的、適用人群和環境更廣的、效果更自然的全智能產品。”從2015年7月開始，微軟自拍項目歷時5個月就從想法變成了面向市場的一款智能型應用，其中離不開的是微軟亞洲研究院視覺計算組在計算機視覺領域長達十余年的研究積累以及微軟亞太研發集團創新孵化組的敏捷開發。
讓技術趨于隱形
在微軟對外發布的眾多耳熟能詳的產品和服務中，都能看到來自微軟亞洲研究院日積月累的基礎研究成果。微軟亞洲研究院就如同創新引擎，源源不斷地把最前沿的科研成果轉化至微軟的產品和服務中。普通用戶雖然看不到背后繁復技術的運作，卻可以切實地享受到技術帶來的便利。
在談及微軟自拍之后的技術走向時，袁路提到了三個發展方向。第一點是實現更智能的圖像處理和相機增強，例如增加對場景的智能分類來讓手機自動選擇更適合的處理及拍攝方式。第二點是增加人臉編輯的更多特效，讓用戶可以更為個性化地訂制出不同的造型，增加更多可供選擇的面部增強效果，如選擇瘦臉與否等。最后一點則是將圖片質量智能增強的技術應用到視頻的實時處理中。最終的目標是把這些復雜的技術應用到人們的生活中，讓每個人都能夠真正感受到智能的、個性化的計算體驗。
總結
以上是生活随笔為你收集整理的微软自拍：让黑科技拯救不会拍照的你的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 医疗机器学习
- 下一篇： 成为数据专家，你只差一个Quick In