AR（Augmented Reality）學(xué)習(xí)

AR硬件概覽

AR硬件發(fā)展的驅(qū)動力源于計算機(jī)處理器、顯示技術(shù)、傳感器、移動網(wǎng)絡(luò)速率、電池續(xù)航等多個領(lǐng)域的技術(shù)進(jìn)步。

目前能夠確定的AR硬件類型有以下幾種：

? 手持設(shè)備

? 固定式AR系統(tǒng)

? 空間增強(qiáng)現(xiàn)實(shí)（SAR）系統(tǒng)

? 頭戴式顯示器（HMD）

? 智能眼鏡

單目眼鏡：

Google Glass，單眼呈現(xiàn)信息，導(dǎo)航、短信、電話、錄像照相等功能，由于是單眼，無法呈現(xiàn)3D效果，且由于外觀原因應(yīng)用場景有限。

雙目眼鏡：

Meta Glass，雙眼呈現(xiàn)影像時，利用雙目視差可以產(chǎn)生開發(fā)者想要的3D效果。通過對現(xiàn)實(shí)場景的探測并補(bǔ)充信息，佩戴者會得到現(xiàn)實(shí)世界無法快速得到的信息；而且由于交互方式更加自然，這些虛擬物品也更加真實(shí)

雙目立體視覺三維測量原理

上圖所示為簡單的平視雙目立體成像原理圖，兩攝像機(jī)的投影中心連線的距離，即基線距離B。兩攝像機(jī)在同一時刻觀看時空物體的同一特征點(diǎn)P，分別在“左眼”和“右眼”上獲取了點(diǎn)P的圖像，他們的坐標(biāo)分別為Pleft=（Xleft,Yleft）；Pright=（Xright,Yright）。將定兩攝像機(jī)的圖像在同一平面上，則特征點(diǎn)P的圖像坐標(biāo)的Y坐標(biāo)一定是相同的，即Yleft = Yright =Y。由三角幾何關(guān)系可以得到如下關(guān)系式：

則視差為：Disparity=Xleft-Xright.由此可以計算出特征點(diǎn)P在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)：

因此，左攝像機(jī)像面上的任意一點(diǎn)只要能在右攝像機(jī)像面上找到對應(yīng)的匹配點(diǎn)，就完全可以確定該點(diǎn)的三維坐標(biāo)。這種方法是點(diǎn)對點(diǎn)的運(yùn)算，像平面上所有點(diǎn)只要存在相應(yīng)的匹配點(diǎn)，就可以參與上述運(yùn)算，從而獲取對應(yīng)的三維坐標(biāo)。

雙目成像的原理簡介：

將 3D 成像效果分為三個緯度:遠(yuǎn)近,前后,深淺。

遠(yuǎn)近:整個場景在腦海中的遠(yuǎn)近效果;

前后:圖像在屏幕的前(出屏幕效果)或屏幕后;

深淺:場景中各個物體距離所產(chǎn)生的層次;

?

1、遠(yuǎn)近調(diào)節(jié):

場景遠(yuǎn)近是左右眼兩影像間距離決定的;

立體像在屏幕前時,兩影像距離越遠(yuǎn)則圖像越近;

立體像在屏幕后時,兩影像距離越遠(yuǎn)則圖像越遠(yuǎn);

2、前后調(diào)節(jié):

左(右)相機(jī)影像在左(右),則圖像在屏幕后方;

右(左)相機(jī)影像左(右),則圖像在屏幕前方;

3、深淺調(diào)節(jié):

由 3D 攝像機(jī)兩個攝像頭的間距決定;

間距大則景深大,間距小則景深小;

由于人眼目距在65mm左右，大腦已經(jīng)習(xí)慣此目距的景深效果，我認(rèn)為對還原真實(shí)場景效果來說，攝像頭間距65mm還是比較合理。

AR的系統(tǒng)結(jié)構(gòu)

AR的關(guān)鍵技術(shù)

目前AR技術(shù)的技術(shù)難點(diǎn)在于：精確場景的理解、重構(gòu)和高清晰度、大視場的顯示技術(shù)。

1、對現(xiàn)實(shí)場景的理解和重構(gòu)

? ? ?在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，首先要解決“是什么”的問題，也就是要理解、知道場景中存在什么樣的對象和目標(biāo)。第二要解決“在哪里”的問題，也就是要對場景結(jié)構(gòu)進(jìn)行分析，實(shí)現(xiàn)跟蹤定位和場景重構(gòu)。

物體的檢測和識別技術(shù)

? ? ? 物體檢測和識別的目的是發(fā)現(xiàn)并找到場景中的目標(biāo)，這是場景理解中的關(guān)鍵一環(huán)。廣義的物體檢測和識別技術(shù)是基于圖像的基本信息（各類型特征）和先驗(yàn)知識模型（物體信息表示），通過相關(guān)的算法實(shí)現(xiàn)對場景內(nèi)容分析的過程。在增強(qiáng)現(xiàn)實(shí)領(lǐng)域，常見的檢測和識別任務(wù)有，人臉檢測、行人檢測、車輛檢測、手勢識別、生物識別、情感識別、自然場景識別等。

目前，通用的物體檢測和識別技術(shù)，根據(jù)不同的思路可以分為兩種：一種是從分類和檢測的角度出發(fā)，通過機(jī)器學(xué)習(xí)算法訓(xùn)練得到某一類對象的一般性特征，從而生成數(shù)據(jù)模型。這種方法檢測或者識別出的目標(biāo)不是某一個具體的個體，而是一類對象，如汽車、人臉、植物等。這種識別由于是語義上的檢測和識別，所以并不存在精確的幾何關(guān)系，也更適用于強(qiáng)調(diào)增強(qiáng)輔助信息，不強(qiáng)調(diào)位置的應(yīng)用場景中。如檢測人臉后顯示年齡、性別等。另外一種識別是從圖像匹配的角度出發(fā)，數(shù)據(jù)庫中保存了圖像的特征以及對應(yīng)的標(biāo)注信息，在實(shí)際使用過程中，通過圖像匹配的方法找到最相關(guān)的圖像，從而定位環(huán)境中的目標(biāo)，進(jìn)一步得到識別圖像和目標(biāo)圖像的精確位置，這種識別適用于需要對環(huán)境進(jìn)行精確跟蹤的應(yīng)用場景。

就現(xiàn)階段而言，識別檢測技術(shù)的難點(diǎn)之一是技術(shù)的碎片化。這一方面是由于每一類對象都會有其獨(dú)有的特征，而不同特征的提取和處理都需要實(shí)現(xiàn)一一對應(yīng)，這對識別檢測是一個巨大的挑戰(zhàn)。另一方面，圖像本身還受到噪聲、尺度、旋轉(zhuǎn)、光照、姿態(tài)等因素的影響。近幾年來，隨著深度學(xué)習(xí)技術(shù)的不斷成熟，檢測和識別方法也越來越統(tǒng)一，而性能也在不斷提高中。

跟蹤定位技術(shù)

跟蹤技術(shù)的方法可以分為基于硬件和基于視覺兩大類。基于硬件設(shè)備的三維跟蹤定位方法在實(shí)現(xiàn)跟蹤定位的過程中使用了一些特殊的測量儀器或設(shè)備。常用的設(shè)備包括機(jī)械式跟蹤器、電磁式跟蹤器、超聲波跟蹤器、慣性跟蹤器以及光學(xué)跟蹤等。光學(xué)跟蹤和慣性跟蹤是比較常用的兩種硬件跟蹤方式，HTC Vive就是采用了光學(xué)跟蹤和慣性跟蹤兩種硬件來定位頭部的位置。使用硬件設(shè)備構(gòu)成的跟蹤系統(tǒng)大多是開環(huán)系統(tǒng)，跟蹤精確取決于硬件設(shè)備自身的性能，其算法的擴(kuò)展性要差一些，且成本相對較高。

視覺跟蹤方法具備更強(qiáng)的擴(kuò)展性，其系統(tǒng)多為閉環(huán)系統(tǒng)，更依賴于優(yōu)化算法來解決跟蹤精度問題。相比于上述基于硬件設(shè)備的跟蹤方法，計算機(jī)視覺跟蹤方法提供了一種非接觸式的、精確的、低成本的解決方法，但是基于視覺的方法受限于圖像本身，噪聲、尺度、旋轉(zhuǎn)、光照、姿態(tài)變化等因素都會對跟蹤精度造成較大的影響，因此更好地處理這些影響因素，研發(fā)魯棒性強(qiáng)的算法就成為下一步AR技術(shù)的研究重點(diǎn)。

根據(jù)數(shù)據(jù)的生成方式，視覺跟蹤技術(shù)的算法可以分為兩種，一種是基于模板匹配的方式，預(yù)先對需要跟蹤的target進(jìn)行訓(xùn)練，在跟蹤階段通過不斷的跟預(yù)存訓(xùn)練數(shù)據(jù)進(jìn)行比對解算當(dāng)前的位姿。這類方法的好處是速度較快、數(shù)據(jù)量小、系統(tǒng)簡單，適用于一些特定的場景，但不適用于大范圍的場景。

另外一種是SLAM方法，也就是即時定位和地圖構(gòu)建技術(shù)。這類技術(shù)不需要預(yù)存場景信息，而是在運(yùn)行階段完成對于場景的構(gòu)建以及跟蹤。其優(yōu)點(diǎn)是不需要預(yù)存場景，可以跟蹤較大范圍，適用面廣，在跟蹤的同時也可以完成對于場景結(jié)構(gòu)的重建。但目前這類技術(shù)計算速度慢、數(shù)據(jù)量大、算法復(fù)雜度高，對于系統(tǒng)的要求也較高。Hololens和MagicLeap的宣傳視頻中都展現(xiàn)了這方面技術(shù)，而亮風(fēng)臺對相應(yīng)的技術(shù)也在研發(fā)當(dāng)中。

為了彌補(bǔ)不同跟蹤技術(shù)的缺點(diǎn)，許多研究者采用硬件和視覺混合跟蹤的方法來取長補(bǔ)短，以滿足增強(qiáng)現(xiàn)實(shí)系統(tǒng)高精度跟蹤定位的要求。

2、增強(qiáng)現(xiàn)實(shí)的顯示技術(shù)

透射式頭盔顯示器

目前大多數(shù)的AR系統(tǒng)采用透視式頭盔顯示器實(shí)現(xiàn)虛擬環(huán)境與真實(shí)環(huán)境的融合。根據(jù)真實(shí)環(huán)境的表現(xiàn)形式劃分，主要有視頻透視式頭盔顯示器和光學(xué)透視式頭盔顯示器兩種形式。

視頻透視式頭盔顯示器通過安裝在頭盔上的微型攝像頭獲取外部真實(shí)環(huán)境的圖像，也就是通過攝像頭來采集真實(shí)場景的圖像進(jìn)行傳遞。計算機(jī)通過場景理解和分析將所要添加的信息和圖像信號疊加在攝像機(jī)的視頻信號上，將計算機(jī)生成的虛擬場景與真實(shí)場景進(jìn)行融合，最后通過類似于浸沒式頭盔顯示器的顯示系統(tǒng)呈現(xiàn)給用戶。

雖然視頻透射式頭盔在顯示上不受強(qiáng)光的干擾，具有比較大的視場，但由于真實(shí)環(huán)境的數(shù)據(jù)來自于攝像頭，因此會造成顯示分辨率較低的不利因素。另一方面，一旦攝像機(jī)與用戶視點(diǎn)不能保持完全重合，用戶看到的視頻景象與真實(shí)景象將會存在偏差，因此會造成在某些領(lǐng)域（特別是工業(yè)、軍事等領(lǐng)域）出現(xiàn)一些安全隱患。

光學(xué)原理的透視式頭盔顯示器的基本原理則是通過安裝在眼前的一對半反半透鏡融合呈現(xiàn)出真實(shí)場景和虛擬場景。與視頻透射式不同的是，光學(xué)透視式的“實(shí)”來自于真實(shí)的光源，經(jīng)過透視光學(xué)系統(tǒng)直接進(jìn)入眼睛，計算機(jī)生成的“虛”則經(jīng)過光學(xué)系統(tǒng)放大后反射進(jìn)入眼睛，最后兩部分信息匯聚到視網(wǎng)膜上從而形成虛實(shí)融合的成像效果。

光學(xué)透視式頭盔相對來說結(jié)構(gòu)簡單，分辨率更高，因其能夠直接看到外部，真實(shí)感和安全性也更強(qiáng)。其缺點(diǎn)是，在室外強(qiáng)光條件下顯示效果會受影響。目前Hololens以及亮風(fēng)臺的HiARGlasses都采用了光學(xué)透射式的成像方案。

不難看出，兩種方案各有優(yōu)缺點(diǎn)，如何選擇最優(yōu)方案，目前來看，還應(yīng)基于實(shí)際應(yīng)用場景來進(jìn)行判斷。

由于光學(xué)透射式頭盔跟實(shí)際場景結(jié)合更緊密，真實(shí)感更強(qiáng)，大多數(shù)廠家會選擇這種方案。對于透射式頭盔顯示器來說，單純的強(qiáng)調(diào)厚薄或者視場大小并沒有任何實(shí)際意義。這是由于厚度和視場是矛盾的，要做得較薄，方便用戶使用佩戴，視場就必然變小；想要擁有大視場，則其厚度就必然增大，設(shè)備就目前來說也會顯得比較笨重，不易佩戴。因此在目前技術(shù)依舊存在障礙的情況下，大家都會采取一些折中的方案。

數(shù)字光場顯示

隨著Magic Leap的宣傳視頻，數(shù)字光場這個概念也變得廣為人知。這種不采用屏幕來做載體的顯示方式，通過記錄并復(fù)現(xiàn)光場來完成虛擬物體的顯示。通過呈現(xiàn)不同深度的圖像，使用戶在觀察近景或遠(yuǎn)景時，可以實(shí)現(xiàn)主動的對焦，這也是光場顯示的一大優(yōu)點(diǎn)。

同樣，光場顯示也有不同的顯示方案，一種方案是采用多層的顯示器，如光場立體鏡。如Magic Leap采用的是光導(dǎo)纖維投影儀。這套方案的優(yōu)勢是可以做到很大的視場角，顯示更加符合人的真實(shí)感受。但這一方案同時也具有比較大的挑戰(zhàn)性，光場的顯示需要比較大的計算量，并且需要有相應(yīng)的手段記錄或者生成想要疊加的虛擬對象相應(yīng)位置的光源信息，同時還要精細(xì)地控制投影的內(nèi)容和位置，目前這些技術(shù)還都處于研究階段。

盡管存在比較多的挑戰(zhàn)，光場顯示技術(shù)仍舊是非常值得期待的一種成像方式。

AR面臨的挑戰(zhàn)

移動AR存在兩大難點(diǎn)：注冊必須極為精準(zhǔn)，注冊對計算能力和內(nèi)存的利用必須極為高效。

AR應(yīng)用在智能手機(jī)上的大規(guī)模部署仍然存在著下列重大障礙：

1、相機(jī)質(zhì)量與成像處理。智能手機(jī)通常配備的相機(jī)傳感器在弱光條件下表現(xiàn)糟糕：圖像模糊，開始出現(xiàn)明顯色差。相機(jī)傳感器硬件通常禁止低層級訪問。API只提供了相機(jī)傳感器的高層級訪問，無法控制曝光、光圈及焦距。小型CCD傳感器導(dǎo)致相機(jī)采樣噪點(diǎn)增加，進(jìn)而嚴(yán)重影響后續(xù)CV算法的發(fā)揮。圖像獲取過程中的質(zhì)量損失很難通過后期處理步驟補(bǔ)償。

2、電量消耗。電池電量近年來并沒有顯著提升。相機(jī)傳感器在以高幀率持續(xù)運(yùn)行時耗電量很大，其主要原因是目前手機(jī)的設(shè)計用途仍然是拍照，而不是攝影。另外，傳感器和網(wǎng)絡(luò)接口也是耗電大戶。運(yùn)行功能強(qiáng)大的AR應(yīng)用會讓電池迅速耗干。因此，AR應(yīng)用必須只能設(shè)計成供短時間使用，而不是一種“常開”功能。

3、網(wǎng)絡(luò)依賴性。遠(yuǎn)程訪問大量數(shù)據(jù)受到幾個因素的影響。首先，網(wǎng)絡(luò)延遲會導(dǎo)致令人不爽的延遲，拖累AR應(yīng)用的瞬時表現(xiàn)。其次，訪問遠(yuǎn)程數(shù)據(jù)僅在開了流量套餐時才有可能做到，而流量套餐可能過于昂貴或者無法開通。最后，某些地區(qū)的網(wǎng)絡(luò)覆蓋可能不滿足條件。于是完全獨(dú)立的AR應(yīng)用成為了唯一的可行選擇，這就意味著需要在設(shè)備上占用大量的存儲空間。

4、可視化與交互的可能性。智能手機(jī)的外形因素在購買決策中發(fā)揮著重要作用。實(shí)際上，可接受最大設(shè)備的尺寸嚴(yán)格制約了顯示屏的大小。交互技術(shù)同樣存在著類似的限制。多點(diǎn)觸控界面或許是最為先進(jìn)的交互機(jī)制，但它在某些特定任務(wù)——如像素級的選取上表現(xiàn)糟糕。

理論上講，針對AR改進(jìn)未來智能手機(jī)需從哪些方面入手已是眾所周知。在實(shí)踐中，AR應(yīng)用的開發(fā)者卻要看硬件廠商和服務(wù)供應(yīng)商的臉色，后者做出硬件發(fā)展決策的依據(jù)是市場預(yù)測，而其中可能不含對AR的需求。不過，硬件總體是朝著正確的方向發(fā)展的，尤其在移動游戲或移動導(dǎo)航系統(tǒng)的驅(qū)動下——而這兩者與AR在技術(shù)需求方面存在許多共通之處。此外，研究人員意識到目前相機(jī)控制方面存在限制，更好的相機(jī)API也會因此誕生，比如Frankencamera項目。

計算機(jī)視覺面臨的挑戰(zhàn)：

紋理結(jié)構(gòu)。大多數(shù)方法依賴于興趣點(diǎn)外形上的自然特征，要求環(huán)境中各區(qū)域紋理足夠清晰。興趣點(diǎn)的主要問題在于，紋理的呈現(xiàn)形式至關(guān)重要。尤其在室內(nèi)場景中，常常會有白墻出現(xiàn)，使得基于自然特征的定位方法很難發(fā)揮作用。

光照和天氣條件。盡管自然特征描述器通常被設(shè)計為不受光照影響，但這一假設(shè)只有在描述實(shí)際物理特征的觀測研究中成立。不幸的是，室外環(huán)境中大量以自然畫面呈現(xiàn)的特征與實(shí)際物理特征并不相關(guān)。場景中物體投射的陰影會造成斑點(diǎn)、邊角、線條的出現(xiàn)，還會隨著光照或天氣條件變化而動態(tài)移動。因此，存在著大量的會對定位質(zhì)量產(chǎn)生嚴(yán)重影響的異常因素和不匹配因素，這與匹配算法的選擇并無關(guān)系。

數(shù)據(jù)庫規(guī)模大、易變化。對于室外環(huán)境而言，在定位之前必須采集大量數(shù)據(jù)并處理生成初始模型。利用昂貴設(shè)備的實(shí)時方法能夠處理這一問題：然而，無法訪問的區(qū)域仍然會造成最終模型中的孔洞（即未能構(gòu)建地圖的區(qū)域）。此外，得到的模型僅代表某個時間點(diǎn)的靜態(tài)快照。環(huán)境中的任何變動，如商店櫥窗的翻新，咖啡店遮陽傘的開閉，停車場汽車的去留，都會讓數(shù)據(jù)采集生成的模型瞬間過時。另一個重要方面是通信通道（可能是移動網(wǎng)絡(luò)）中最終模型的分發(fā)方式。由于這些模型通常體積頗大，整體還是拆分傳輸都會帶來技術(shù)難題。

失準(zhǔn)及丟失的傳感信息。在室外定位中，GPS和指南針提供了關(guān)于設(shè)備大致位置和方向的極具價值的絕對信息。不幸的是，傳感器并不健壯：在不同的地點(diǎn)，傳感信息的準(zhǔn)確度可能會有天壤之別。尤其是在狹窄的城市峽谷里，GPS信息可能會偏差100米，甚至?xí)豢捎谩ｎ愃频氖?#xff0c;磁干擾會嚴(yán)重影響電子指南針的讀數(shù)，而磁干擾在人造環(huán)境中是不可避免的。

?

總結(jié)

以上是生活随笔為你收集整理的AR（Augmented Reality）学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。