堆疊式傳感器架構(gòu)帶來先進(jìn)的視覺功能

Stacked sensor architecture brings advanced vision capabilities

巴黎-巴黎Prophesee公司是神經(jīng)形態(tài)視覺系統(tǒng)的先驅(qū)，本周在舊金山舉行的國際固態(tài)電路會(huì)議（ISSCC）上展示了一種與索尼公司（Sony Corp.）聯(lián)合開發(fā)的基于事件的新型視覺傳感器。

由ProphereSee的事件驅(qū)動(dòng)技術(shù)設(shè)計(jì)的新傳感器是基于Sony為先進(jìn)的疊層CMOS圖像傳感器設(shè)計(jì)的技術(shù)。

像素芯片（左）和邏輯芯片

Prophesee聲稱，對(duì)于事件驅(qū)動(dòng)系統(tǒng)，新傳感器提供了業(yè)界最小的像素大小和業(yè)界最高的高動(dòng)態(tài)范圍（HDR）性能。這種以大腦為靈感的傳感器將使工業(yè)機(jī)器、機(jī)器人和自動(dòng)駕駛車輛更好地觀察和感知環(huán)境。

這一合作關(guān)系可能預(yù)示著一個(gè)新時(shí)代的到來，在這個(gè)時(shí)代，人工智能——包括人工智能感知和人工智能處理——可以在非常接近傳感器的地方進(jìn)行，如果不是在傳感器本身，即數(shù)據(jù)產(chǎn)生的地方。

像素芯片（左）和邏輯芯片

Prophesee聲稱，對(duì)于事件驅(qū)動(dòng)系統(tǒng)，新傳感器提供了業(yè)界最小的像素大小和業(yè)界最高的高動(dòng)態(tài)范圍（HDR）性能。這種以大腦為靈感的傳感器將使工業(yè)機(jī)器、機(jī)器人和自動(dòng)駕駛車輛更好地觀察和感知環(huán)境。

這一合作關(guān)系可能預(yù)示著一個(gè)新時(shí)代的到來，在這個(gè)時(shí)代，人工智能——包括人工智能感知和人工智能處理——可以在非常接近傳感器的地方進(jìn)行，如果不是在傳感器本身，即數(shù)據(jù)產(chǎn)生的地方。

潘朵拉盒子

Yole Développement首席分析師皮埃爾?坎布（Pierre Cambou）認(rèn)為，索尼與索尼的合作相當(dāng)于“打開潘多拉的盒子”

坎布指出，在Prophesee開發(fā)的神經(jīng)形態(tài)相機(jī)中，“每個(gè)像素，本質(zhì)上都是一個(gè)神經(jīng)元。”。坎布稱芯片堆疊的發(fā)展“仍處于早期階段”，他預(yù)測，接下來，神經(jīng)元、記憶和處理能力都可以堆疊在一起。當(dāng)前人們對(duì)將更多的智能帶到“邊緣”或“端點(diǎn)”的熱情預(yù)示著未來有一天，人工智能將在傳感器內(nèi)被感知和處理。

坎布解釋說，索尼將能夠開發(fā)一種“可以在飛行中增強(qiáng)圖像”的人工智能集成圖像傳感器，或者創(chuàng)建一種“直接提供基于事件的感知”的圖像傳感器。

事實(shí)上，已經(jīng)有人將神經(jīng)網(wǎng)絡(luò)應(yīng)用到“火車到達(dá)拉西奧塔”（1896年由盧米埃兄弟拍攝的著名早期電影）中，以填補(bǔ)缺失的像素。這一努力使這部有124年歷史的電影重獲新生，并將其升級(jí)到每秒60幀的4K視頻。坎布將這種升級(jí)的視頻描述為互聯(lián)網(wǎng)上的風(fēng)靡一時(shí)，他解釋說，人工智能的力量已經(jīng)在成像領(lǐng)域得到了很好的證明。

人工智能的仿生方法是von Neumann計(jì)算的另一種選擇。坎布說：“隨著人工智能越來越普及，它的重要性將增加。”。

Building blocks for stacked event-based vision sensor

在新設(shè)計(jì)的事件驅(qū)動(dòng)傳感器中，像素芯片（頂部）和邏輯芯片（底部）堆疊在一起。該邏輯包含信號(hào)處理電路，設(shè)計(jì)用于檢測基于異步增量調(diào)制方法的亮度變化。

兩個(gè)獨(dú)立芯片的每個(gè)像素以堆疊配置使用銅-銅連接進(jìn)行電連接。

這使得新的傳感器可以達(dá)到業(yè)界最小的（4.86μm）像素大小。它還提供了1/2類型，1280×720高清分辨率，實(shí)現(xiàn)了高密度集成和精細(xì)的40nm邏輯處理。

新事件驅(qū)動(dòng)傳感器的另一個(gè)特點(diǎn)是它能夠提供Prophesee聲稱的業(yè)界最高的HDR性能：124dB（或更高）。研究小組通過在像素芯片（頂部）上只放置背光像素和N型MOS晶體管的一部分來實(shí)現(xiàn)這一點(diǎn)。根據(jù)ProphereSee的說法，這使得光圈比提高了77%。索尼多年來為CMOS圖像傳感器開發(fā)的高靈敏度/低噪聲技術(shù)使得在弱光條件下（40mlx）的事件檢測成為可能。

Division of labor?

分工？

Prophesee首席執(zhí)行官Verre指出，索尼在合作伙伴關(guān)系中的角色并不局限于鑄造廠。憑借扎實(shí)的知識(shí)和自己的基于事件的技術(shù)的IP產(chǎn)品組合，Verre說，“我們帶著一個(gè)清晰的想法來討論我們想要如何設(shè)計(jì)像素。”兩家公司的合作使得新的事件驅(qū)動(dòng)傳感器設(shè)計(jì)成為可能——從模擬、邏輯和電源——與索尼的先進(jìn)制造相結(jié)合過程。

維爾爾指出，這種關(guān)系也不是純粹的研發(fā)活動(dòng)。其目的是保持一種長期的合作關(guān)系，在開發(fā)應(yīng)用程序的同時(shí)將技術(shù)帶到商業(yè)市場。

What does this mean to Sony?

這對(duì)索尼意味著什么？

世界上有許多CMOS成像傳感器的參與者。坎布觀察到，索尼將CMOS圖像傳感器“不再僅僅是成像，而是真正的感知”的預(yù)測放在心上，這是坎布長期以來一直在宣揚(yáng)的福音。

還記得索尼在2015年收購比利時(shí)的SoftKinetic，一家3D傳感計(jì)算機(jī)視覺技術(shù)的開發(fā)商嗎？坎布說，這一收購使索尼能夠在不斷增長的飛行時(shí)間（ToF）傳感器市場上分得一杯羹，而Android智能手機(jī)廠商去年突然開始要求這種傳感器。坎布說，試想一下，如果當(dāng)時(shí)索尼沒有涉足深度傳感技術(shù)，會(huì)發(fā)生什么。

在他看來，與PropheseSee的合作也沒什么不同。當(dāng)汽車和工業(yè)機(jī)器視覺市場的參與者開始尋找更豐富的傳感數(shù)據(jù)來增強(qiáng)他們的操作時(shí)，他們更有可能添加一種新的傳感技術(shù)，而不是再投入另一個(gè)相同的攝像頭。

簡言之，ProphetSee可能是一家授權(quán)索尼進(jìn)入事件驅(qū)動(dòng)圖像傳感器市場的公司，正如SoftKinetic使索尼能夠開發(fā)“深度感知”解決方案并將其推進(jìn)智能手機(jī)。

現(xiàn)在，憑借其DepthSense技術(shù)，索尼正在將ToF圖像傳感器安裝到許多Android智能手機(jī)上。這為索尼已經(jīng)在智能手機(jī)的前置和后置攝像頭中積累了大量的CMOS圖像傳感器設(shè)計(jì)。

總結(jié)

以上是生活随笔為你收集整理的堆叠式传感器架构带来先进的视觉功能的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。