采用结构光,TOF传感器的立体成像系统,系统架构,设备采购调研
1.TOF結(jié)構(gòu)光 ?[1]丁津津. TOF三維攝像機(jī)的誤差分析及補(bǔ)償方法研究[D].合肥工業(yè)大學(xué),2011.
2.3D視頻系統(tǒng)框圖
| [2]楊剛. 基于深度融合和曲面演變的多視點三維重建及其應(yīng)用[D].浙江大學(xué),2012. |
? 傳輸技術(shù)包括視頻的編碼與傳輸。由于實現(xiàn)的系統(tǒng)中傳輸?shù)囊曨l實質(zhì)仍然為傳統(tǒng)的視頻,這里就不對視頻的編碼作專門介紹。結(jié)合系統(tǒng)實際,這里只介紹組合兩路平面視頻的方法。常見的有三種方案
雙拼高清模式
先將左右兩路高清視頻拼接成一路高清視頻兩路視頻各降低一半分辨率,可以是左右拼接、上下拼接和場拼接等,再按照正常的視頻進(jìn)行編碼,其碼率相當(dāng)于一路視頻。編碼器針對這種雙拼視頻進(jìn)行優(yōu)化,碼率可以比常規(guī)平面視頻碼率更低。
全高清同播模式
兩路視頻分別編碼,其碼率相當(dāng)于一路視頻碼率的兩倍。這種方案也不需要改變視頻標(biāo)準(zhǔn),但是編碼復(fù)雜度、傳輸帶寬和解碼復(fù)雜度都提高一倍,需要重新設(shè)計新的編碼設(shè)備和解碼設(shè)備。
全高清增強(qiáng)模式
一路視頻通常是左視進(jìn)行獨立編碼,另一路參考已編碼的視頻編碼,由于左右兩視點視頻具備一定的相關(guān)性,其碼率只相當(dāng)于一路視頻碼率的約一倍左右。但這種模式需要擴(kuò)展現(xiàn)有編碼標(biāo)準(zhǔn),實質(zhì)為視頻編碼,需要重新設(shè)計編碼器和解碼芯片。帶來的好處是能夠向前兼容平面電視可以解碼獨立編碼,編碼效率較全高清同播模式節(jié)省左右。結(jié)合具體實際,應(yīng)用中我們選用雙拼高清方案作為傳輸方案,可以直接利用現(xiàn)有的設(shè)備和系統(tǒng),并可與視頻兼容。
? ? 整體上可以看成視頻采集與生成系統(tǒng)、視頻傳輸系統(tǒng)、視頻顯示系統(tǒng)三部分組成。其中采集與生成系統(tǒng)包括前述攝像機(jī)陣列系統(tǒng)和算法,雙視點視頻的生成與合成。首先根據(jù)重建的三維場景信息生成兩個視點的視頻數(shù)據(jù),并按照節(jié)所述的雙拼高清模式將兩路視頻合成為一路視頻輸出。傳輸系統(tǒng)則是基于中國電信的全球眼平臺和視頻服務(wù)器,視頻傳輸基于網(wǎng)絡(luò)實現(xiàn),傳輸協(xié)議為實時傳輸協(xié)議,為接入全球眼平臺的服務(wù)器,需要專門制訂的對視頻編碼。顯示系統(tǒng)由機(jī)客戶端、顯示器與眼鏡三部分組成。客戶端實現(xiàn)對全球眼平臺服務(wù)器的訪問,獲取視頻數(shù)據(jù),對視頻解碼及拆分插值等處理,并按照的要求實現(xiàn)顯示。
3.內(nèi)窺鏡結(jié)構(gòu) ? ? ? ?[1]張驍. 基于結(jié)構(gòu)光的多視場三維圖像采集系統(tǒng)設(shè)計[D].江蘇大學(xué),2016.
將激光結(jié)構(gòu)光加入到內(nèi)窺鏡內(nèi)部,有效地實現(xiàn)了結(jié)構(gòu)光發(fā)生器的小型化。內(nèi)窺鏡主體由 5 個微型 CMOS 組成,考慮到體積的因素,所選的 CMOS 為 30W 像素的彩色傳感器,鏡頭設(shè)計物距為80mm,通過調(diào)整攝像頭的角度,使 5 個攝像頭的公共區(qū)域盡量大,為之后的匹配提供良好的條件。?
4.
| [4]張翼揚(yáng). 基于FPGA的無線網(wǎng)絡(luò)傳輸3D視頻的系統(tǒng)設(shè)計[D].深圳大學(xué),2016. |
雙攝像頭無線傳輸左右格式3D視頻系統(tǒng)
NTSC(National Television Standards Committee)幀頻為?30Hz(60?場),每一幀圖像用?525?行來傳輸,偶場在前,奇場在后,采用?720×480?標(biāo)準(zhǔn)分辨率,24?位的色彩深度,畫面的寬高比為?4:3?或?16:9,其標(biāo)準(zhǔn)主要應(yīng)用于日本和北美等國家。
PAL(Phase Alternate Line)幀頻為?25Hz(50?場),每一幀圖像用?625?行來傳輸,奇場在前,偶場在后,采用?720×576?標(biāo)準(zhǔn)分辨率,24?位的色彩深度,畫面的寬高比為4:3,其標(biāo)準(zhǔn)主要應(yīng)用于中國、歐洲等國家和地區(qū)。
ITU-BT.656?的視頻標(biāo)準(zhǔn)規(guī)定了?NTSC?制式和?PAL?制式的傳輸標(biāo)準(zhǔn),BT.656?數(shù)據(jù)寬度為?8?位或?10?位,傳輸時只需要?9?根線,具有傳輸帶寬小、抗干擾性強(qiáng)以及支持傳統(tǒng)彩色電視信號等優(yōu)點。
基于?FPGA?的無線網(wǎng)絡(luò)傳輸?3D?視頻的系統(tǒng)設(shè)計所需要的硬件基礎(chǔ)如圖?5.1?所示。有?CCD?攝像頭、DE2?開發(fā)板(用于單攝像頭無線傳輸系統(tǒng)中。支持?PAL、NTSC制式的TV解碼器?ADV7181以及數(shù)模轉(zhuǎn)換器ADV7123,還有VGA輸出等外圍接口)、Alinx?開發(fā)板(Alinx開發(fā)板選用的是Altera公司的Cyclone IV系列的EP4CE30F23C6N芯片,其中DDR2的讀寫時鐘頻率為200M,DDR2內(nèi)部時鐘頻率為400M,充分滿足了兩路視頻處理的要求。)、Wi Fi?模塊、智能手機(jī)和紅藍(lán)?3D?眼鏡以及左右視頻3D眼鏡。本次設(shè)計所采用的攝像頭是CCD圖像傳感攝像頭,該攝像頭是?PAL制式,其輸出的像素分辨率為?720×600,可視角度高達(dá)?150?度,具有?LED?夜視功能。
通過兩路攝像頭采集圖像,連接上電源運(yùn)行Quartus II 12.0進(jìn)行編寫,反復(fù)編譯、仿真和調(diào)試,然后將調(diào)試好的程序下載到FPGA中,雙攝像頭采集畫面后經(jīng)過FPGA處理后合成紅左右格式3D圖像再經(jīng)過Wi Fi傳輸?shù)绞謾C(jī)客戶端。觀看者把手機(jī)嵌入在左右格式3D眼鏡中戴在頭上,這樣不論人眼怎樣晃動,屏幕也跟隨移動,使觀眾在觀看時更加方便,3D效果更加明顯。其FPGA處理結(jié)果圖以及系統(tǒng)實物效果圖如圖5.9和圖5.10所示。
5.[5]方挺. 基于數(shù)字微鏡器件的3D信息獲取系統(tǒng)設(shè)計與實現(xiàn)[D].華東師范大學(xué),2016.
其中對于投影光學(xué)模組和結(jié)構(gòu)光產(chǎn)生模組設(shè)備,目前的結(jié)構(gòu)光3D信息獲取系統(tǒng)一般采用商用的投影儀,一個明顯的缺陷就是作為圖像和視頻投影顯示設(shè)備,商用投影儀刷新率低,控制接口少,難以完成較高頻率的結(jié)構(gòu)光圖案切換。本文采用以數(shù)字微鏡器件為核心,獨立設(shè)計的FPGA配合MCU的硬件電路為控制驅(qū)動設(shè)備的結(jié)構(gòu)光產(chǎn)生模組,對比商用投影儀具有結(jié)構(gòu)光圖案切換快,刷新率高,輸入輸出控制接口豐富等優(yōu)勢。
圖像捕獲設(shè)備在高速或?qū)崟r3D信息獲取領(lǐng)域采用具有硬件同步觸發(fā)輸入接口和實時圖像數(shù)據(jù)輸出功能的高速工業(yè)相機(jī);系統(tǒng)控制和圖像處理模組需要強(qiáng)大的編程控制能力和圖像處理能力,因此PC作為工程領(lǐng)域常用的信號控制與數(shù)據(jù)處理設(shè)備成為該模組的首選。
采用BPA算法的開源軟件Meshlab也被廣泛運(yùn)用在需要3D重構(gòu)的各個領(lǐng)域。
總結(jié)
以上是生活随笔為你收集整理的采用结构光,TOF传感器的立体成像系统,系统架构,设备采购调研的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 计算出当天零分零点对应时间戳的方法分享
- 下一篇: Java图书查询系统实例