阿里妹導讀：去年年底，星巴克臻選咖啡烘焙工坊在上海開幕，這是全球第一家帶有AR體驗的新零售咖啡工坊。這項AR技術是由阿里人工智能實驗室的X實驗室研發，顧客可以通過AR一邊喝著咖啡一邊探險，感受星巴克咖啡烘焙、生產及煮制的全過程，同時通過AR技術還能直觀感受到2萬平米里工坊中的每處細節。
今天，阿里妹將用一杯咖啡的時間，為你揭開AR背后的神秘面紗。

AR介紹

AR全名擴增實境，是一種實時融合現實與虛擬的圖像技術。如果把AR當作是一個小二，那他在星巴克店里的工作是這樣的：“我看看相機里有沒有咖啡壺，有的話我就在上面放個交互按鈕給客人，然后讓這個按鈕一直粘著咖啡壺。”AR小二的工作內容其實就是AR技術的三板斧：感知（尋找咖啡壺），渲染（畫上互動按鈕），追蹤（粘著咖啡壺）。

在圖像領域，“追蹤”與“渲染”已經是較為成熟的技術。主要的技術障壁在于“感知”這項魔術上。舉個例子，國外知名的《精靈寶可夢Go》是第一個火紅的游戲，是一款類似抓貓貓的AR游戲。雖然大火，但是《精靈寶可夢Go》的缺點是它的AR模式無法與環境交互，玩家可能會看到皮卡丘浮在半空，小火龍站在湖面上等等詭異的畫面。技術上而言，《精靈寶可夢Go》只使用了基于純硬件的“追蹤”與“渲染”，完全沒有感知能力。低端的AR能力使得玩家沒有代入感，大部分的玩家是長時關閉AR模式在進行游戲的。

《精靈寶可夢Go》的AR效果

那具備高度感知能力的AR應是什么樣子呢？目前很多社交軟件與照相軟件都可以實時地讓視頻里的用戶突出狗舌頭，戴上貓耳朵，畫上萌萌的貓胡須，甚至有些軟件可以讓用戶實現AR化妝。這些軟件都具備成熟的人臉感知能力，包括人臉的位置，嘴巴的開合，甚至五官的位置與輪廓。但是這些感知是有局限性的，聚焦在相對成熟的人臉感知領域；相對的，要讓機器感知人類驚鴻一瞥就能理解的大千萬物是更為艱難的任務。

客戶端識別

AR講求實時，能夠在客戶端實現的識別就在客戶端完成是最有效率的。我們在客戶端使用經典機器學習算法識別一些不易受環境影響紋理的大型物體，例如店內的大銅罐，烘豆機等等，并且采用了多種數據預處理策略，最后達到非常驚艷的效果，在客戶端運算也不像服務端訪問會受到網絡流量限制，響應時間也非常快速，效果是十分穩定的。

但是店里可以被AR感知的物體變化多端，從大型的吧臺到手持的法壓壺都可以被識別。這些物體有一些傳統機器視覺難以克服的難題：

金屬反光：從不同的角度無環境看一件物體，可能是截然不同的紋理。

透明：例如法壓壺等中空的透明容器，里面會放多少物體沒人知道，甚至大部分的時候是空的

變化的環境：隨處放置的小物件，細小的目標物，各種不同的手機相機，都增加了識別到難度。

為了克服這些難題，我們架設了一套基于深度學習的云識別服務。

云識別服務

深度學習在圖像上的應用已經十分成熟，包括圖像分類模型，目標識別模型等。我們結合了兩者來實現圖像感知功能，以下簡述兩者的特點：

目標識別模型：可以感知目標物的內容的位置，缺點是感知能力較弱

圖像分類模型：擁有高感知能力的“分類模型”，缺點是無法確定目標位置

透過結合了分類模型與檢測模型優點，對于大部分的物體可以用檢測模型識別位置，而難以感知的物體交給分類模型，并且“猜”一個位置出來。

左：分類模型的輸出，右：識別模型的輸出

圖像合成

無論是機器學習還是深度學習都需要大量的數據支持，但是大量且多樣化的資料采集是非常曠日費時的工程。對于可任意放置、透明且反光的咖啡法壓壺而言，訓練數據多樣性的重要性更不容忽視。

圖像合成正式解決多樣性問題的利器。透過圖像合成，我們可以自動化的將任意的目標物，放置在任意的背景：

在綠幕搭配圖像采集工具，大量采集目標物圖像

搭配自動綠幕摳圖，摳出圖像目標

與任意背景圖像合成，并將目標色彩轉換至與背景相近的色彩分布

值得注意的是，圖像合成不在乎合成結果是否合乎邏輯，例如大小與物理定律。合成目的在于教導機器區分前景與背景。

圖像合成步驟

色彩融合示意圖

色彩與成像模擬

對于一個基本的AR應用，上述的工程算是大功告成了。但AR感知相當依賴攝像頭的成像質量，對于大規模的商業AR應用來說，適配不同的手機攝像頭仍是絕對要的。

實際使用大量手機并大量采集資料是一個解決方式，但是對于一個人工智能團隊來說這不是一個智能的辦法。我們利用兩種自動化算法，可以從已有的圖像轉換成其他攝像頭采集的模擬圖像：

1.純色彩變化：以圖像B的色彩當作參考，將圖像A的色彩分布轉化與圖像B一致

純色彩變化范例

2.響應曲線模擬：將攝像頭A的響應曲線用另一款攝像頭B的響應曲線替代，模擬攝像頭B的生成圖像

響應曲線模擬結果范例

AR與新零售

融合現實與虛擬的AR技術讓星巴克臻選咖啡烘焙工坊重構為一家新零售的咖啡工坊。即使星巴克小伙伴們應接不暇，AR也能讓每個客戶進入星巴克的那一刻起成了探險者，透過自己手機的攝像頭在店內自由尋寶，比起小伙伴的帶領更能引發用戶的好奇心。

虛實結合的AR與打通線上與線下的新零售理念不謀而合，結合AR的新零售應用還有無限可能。天貓精靈APP中的AR說明書就是一例，還沒體驗過的可以下載感受下。

最后，如若大家有更多好的想法，也歡迎在留言區一起交流。我們期待看到更多不一樣的解決方案。

總結

以上是生活随笔為你收集整理的如何用AR升级星巴克体验？阿里工程师祭出了“三板斧”的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。