作者：劉琳

　　NextMind 正在開發(fā)一種腦-機(jī)接口：將視覺(jué)皮層的信號(hào)轉(zhuǎn)換成數(shù)字指令。我們嘗試了 NextMind 的設(shè)備，它可以讓你用視覺(jué)注意力向電腦和 AR/VR 耳機(jī)輸入命令，這家總部位于巴黎的初創(chuàng)公司想讓你用視覺(jué)想象力做同樣的事情。

　　我們?cè)?CES 2020 之前與 NextMind 的 CEO Sid Kouider 進(jìn)行了交談，他的公司將在本月發(fā)布一款 dev kit ，并選擇開發(fā)者和合作伙伴，售價(jià) 399 美元。在早期訪問(wèn)期之后，第二輪限量版開發(fā)套件將于 2020 年第二季度開始發(fā)售。

圖片來(lái)源：VB所有者：VB

　　NextMind 是越來(lái)越多依靠機(jī)器學(xué)習(xí)算法構(gòu)建非侵入性神經(jīng)界面的初創(chuàng)公司之一。2019 年 9 月，F(xiàn)acebook 收購(gòu)了 Ctrl-labs ，后者當(dāng)時(shí)正在開發(fā)一種肌電描記器腕帶，可以將肌肉神經(jīng)信號(hào)轉(zhuǎn)換成機(jī)器指令。NextMind 也在開發(fā)一種非侵入性設(shè)備，但它是一種戴在腦后的腦電圖( EEG )，也就是大腦視覺(jué)皮層所在的位置。

　　Kouider 告訴 VentureBeat :“我們確實(shí)是直接針對(duì)大腦皮層的。”“我們對(duì)大腦皮層的神經(jīng)活動(dòng)進(jìn)行非侵入性解碼。我們的目標(biāo)是通過(guò)直接使用大腦實(shí)現(xiàn)實(shí)時(shí)互動(dòng)。”

　　兩條途徑

　　NextMind 的設(shè)備要求你必須積極地看某件事，因?yàn)槟羌聲?huì)記錄在你的視覺(jué)皮層中。任何你感知到的物體都會(huì)在你的視覺(jué)皮層中引起特定的反應(yīng)。這種神經(jīng)反應(yīng)在腦電圖中反映為一種獨(dú)特的波動(dòng)。你的視覺(jué)皮層不僅接收來(lái)自眼睛的信息，它還放大了神經(jīng)元對(duì)你有意注意的特征的放電。NextMind 目前由 15 人組成，分布在軟件、機(jī)器學(xué)習(xí)、硬件和游戲開發(fā)等領(lǐng)域。

　　“我們非常了解大腦是如何工作的，尤其是視覺(jué)意識(shí)、知覺(jué)和注意力是如何工作的。這讓我們發(fā)明了一種新的方法我們稱之為數(shù)字神經(jīng)同步。我們把注意力作為主要控制者，當(dāng)你對(duì)某件事有不同的關(guān)注時(shí)，你就會(huì)產(chǎn)生這樣做的注意。我們不解碼意圖本身，但我們解碼意圖的輸出。”

　　當(dāng)你環(huán)顧四周，更多地關(guān)注一個(gè)物體時(shí)，“你的決定將會(huì)放大這個(gè)信息，”Kouider 繼續(xù)說(shuō)。“然后我們知道你想要移動(dòng)特定的內(nèi)容或激活特定的視覺(jué)內(nèi)容。由于物體和你的大腦之間存在著神經(jīng)同步，他們之間有共鳴。你越集中注意力，共振就會(huì)增加，機(jī)器學(xué)習(xí)解碼也會(huì)增加。”

　　這就是為什么 Kouider 不想讓你稱他的設(shè)備為眼動(dòng)儀，因?yàn)檠劬ψ粉櫰鞑粶y(cè)量意圖。這時(shí) Kouider 舉起一個(gè)杯子，當(dāng)我看著他時(shí)，他不知道我是在看他的臉還是在看鏡子。但如果我戴了 NextMind 設(shè)備，它就可以分辨出我在看他的臉還是在看鏡子。

　　“我們?cè)诮獯a你周圍看到的東西，但它不像眼動(dòng)儀。它就像你的視覺(jué)焦點(diǎn)。我們正在把我們的第一個(gè)產(chǎn)品推向市場(chǎng)，這是第一個(gè)實(shí)時(shí)大腦計(jì)算機(jī)接口。”

　　當(dāng)你閉上眼睛時(shí)，NextMind 的設(shè)備無(wú)法工作，但未來(lái)的版本可以。NextMind 在兩條軌道上并行工作。視覺(jué)意圖只是第一個(gè)軌道。

　　“第二步是解碼視覺(jué)想象，”Kouider 說(shuō)。“結(jié)果表明，視覺(jué)皮層既是你從外部世界接收信息的輸入?yún)^(qū)域，也是你的記憶、想象力和夢(mèng)想的輸出區(qū)域。視覺(jué)皮層中產(chǎn)生視覺(jué)意識(shí)的神經(jīng)元與處理外部世界信息的神經(jīng)元相同。”

　　這并不需要一個(gè)不同的設(shè)備，Kouider 聲稱。這兩個(gè)軌道將可在同一硬件上串聯(lián)使用。不同的軟件和算法將簡(jiǎn)單地處理不同的任務(wù)。

　　“在接受信息和想象這兩個(gè)極端之間，是視覺(jué)注意力，”他繼續(xù)說(shuō)。“事實(shí)是，你可以控制你在看什么，是我，還是我的臉。你可以增強(qiáng)一些特定于這個(gè)的神經(jīng)元，因?yàn)橐曈X(jué)注意力是自上而下的，所以它是由其他大腦區(qū)域控制的，比如前額葉皮層。它被用來(lái)增強(qiáng)一些非常有選擇性的神經(jīng)元，這就是我們正在解碼的東西。”

　　該設(shè)備

　　在 2017 年 9 月創(chuàng)立 NextMind 之前，Kouider 是認(rèn)知神經(jīng)科學(xué)教授。他在《科學(xué)與自然》上發(fā)表了關(guān)于視覺(jué)意識(shí)和大腦的論文。他的研究主要集中在那些不能說(shuō)話或表達(dá)自己想法的人身上。他的實(shí)驗(yàn)室表明，嬰兒對(duì)周圍的事物有意識(shí)，人們可以通過(guò)聽覺(jué)內(nèi)容在睡著時(shí)學(xué)習(xí)，在積累了非侵入性解碼神經(jīng)信號(hào)的專業(yè)知識(shí)之后，Kouider 想要構(gòu)建一個(gè)能夠?qū)崟r(shí)完成所有這些工作的產(chǎn)品。

　　“當(dāng)我們做科學(xué)研究時(shí)，做了很多試驗(yàn)，并對(duì)他們離線進(jìn)行分析。”NextMind 的目標(biāo)其實(shí)是做同樣的事情——從視覺(jué)皮層解碼視覺(jué)意識(shí)，但要實(shí)時(shí)解碼。通過(guò)實(shí)時(shí)操作，我們可以進(jìn)行腦-機(jī)交互。我們的目標(biāo)是讓它大眾化，也就是說(shuō)，我們希望能夠使用來(lái)自大腦皮層的信息，來(lái)解碼它，并讓你在與任何顯示的互動(dòng)中使用它。”

　　NextMind 的設(shè)備重約 60 克，有八個(gè)電極可以測(cè)量你的大腦活動(dòng)。最終選定了 8 個(gè)電極，因?yàn)檫@是不會(huì)丟失任何潛在數(shù)據(jù)的最小數(shù)量。佩戴電極并不是很舒服，但一種更小的、電極可能更少的設(shè)計(jì)已經(jīng)在進(jìn)行中。這里真正的突破是用于電極本身的材料，為機(jī)器學(xué)習(xí)算法捕捉更多的數(shù)據(jù)。

　　“在這里，我們確實(shí)面臨著一個(gè)機(jī)器學(xué)習(xí)的問(wèn)題，”Kouider 說(shuō)。“它促使我們首先在這種敏感性更好的新材料上進(jìn)行創(chuàng)新。它基本上就像腦電圖，但這使我們的信噪比比臨床腦電圖提高了 4 倍，除了避免任何凝膠。如果你在醫(yī)院做了腦電圖，你需要凝膠。每個(gè)電極上都有一個(gè)微芯片。我們直接處理模擬信息。

　　電極形狀像梳子，所以它們可以穿過(guò)你的頭發(fā)，到達(dá)你的頭皮，獲得良好的信號(hào)。

　　“它應(yīng)該馬上就能工作，但這就像第一次使用鼠標(biāo)一樣，”Kouider 說(shuō)。“所以你需要慢慢地學(xué)習(xí)才能感覺(jué)到大腦的活動(dòng)。”

　　在我使用這個(gè)與筆記本電腦相連的設(shè)備之前，我必須先把它固定在一個(gè)地方，以便 NextMind 的軟件能夠確定它接收到了高質(zhì)量的信號(hào)，然后我必須通過(guò)校準(zhǔn)和訓(xùn)練來(lái)建立我的神經(jīng)剖面模型。這主要包括聚焦在三個(gè)綠色的線，移動(dòng)到一起形成一個(gè)三角形。這個(gè)三角形會(huì)出現(xiàn)在屏幕上不同的物體上。幾分鐘后，NextMind 生成了大約 1 至 10 兆字節(jié)的數(shù)據(jù)，這些數(shù)據(jù)代表了我的神經(jīng)特征。在校準(zhǔn)過(guò)程中，為了得到一個(gè)好的模型，我被要求保持靜止不說(shuō)話，否則，演示不會(huì)很有趣。

　　演示

　　我嘗試的第一個(gè)用例是 NextMind 以前展示過(guò)的一個(gè)電視演示。使用 NextMind 的設(shè)備，我們可以通過(guò)聚焦自定義電視用戶界面各個(gè)區(qū)域的綠色三角形來(lái)控制電視。我可以改變頻道，播放或暫停內(nèi)容，靜音或不靜音聲音，把注意力集中在相應(yīng)的綠色三角形上。

　　第二個(gè)演示是一個(gè)平臺(tái)游戲，我控制了一個(gè)小立方體。我有一個(gè)移動(dòng)和跳躍的操縱桿，但我可以通過(guò)集中注意力來(lái)射擊敵人和推物體。只要屏幕上出現(xiàn)一個(gè)綠色的三角形，我就會(huì)集中注意力，用我的大腦來(lái)執(zhí)行一個(gè)動(dòng)作。

　　第三個(gè)演示讓我輸入一個(gè)四位數(shù)的數(shù)字。一個(gè)接一個(gè)地專注于每一個(gè)數(shù)字是一個(gè)緩慢的過(guò)程( Kouider 后來(lái)證明他可以做得更快，因?yàn)樗懈嗟木毩?xí))。

　　第四款是經(jīng)典游戲《獵鴨》的改良版。使用我的視覺(jué)注意力比使用槍支控制器容易得多。事實(shí)上，它是如此的簡(jiǎn)單，以至于我試圖通過(guò)用眼角的余光看鴨子來(lái)讓它變得更難。“只要它最終進(jìn)入你的視覺(jué)皮層，原則上它就應(yīng)該是可解碼的，”Kouider 說(shuō)。雖然慢了些，但還是管用。

　　我摘下眼鏡。我看不到任何一只鴨子上的綠色三角形。“當(dāng)然，這不僅僅是關(guān)于三角形，”Kouider 說(shuō)。“三角形只是焦點(diǎn)。“不戴眼鏡，有時(shí)候會(huì)殺錯(cuò)人。這是因?yàn)樵撓到y(tǒng)使用一個(gè)證據(jù)累加器。有時(shí)它太自由了，會(huì)得出結(jié)論說(shuō)你把注意力放在了錯(cuò)誤的對(duì)象上。

　　在第五個(gè)演示中，我可以改變一盞燈的顏色，這是迄今為止最有趣的。但首先，這需要重新校準(zhǔn)。在訓(xùn)練過(guò)程中，我必須專注于其中一個(gè)顏色塊，然后我可以通過(guò)專注于每個(gè)相應(yīng)的塊實(shí)時(shí)切換燈的顏色。

　　很容易想象這是如何在第二軌道工作。開發(fā)人員可以拍一張燈的照片，在上面添加一個(gè)著色器，并在圖像上附加一個(gè)動(dòng)作(比如改變物理燈的光顏色)。有一天，NextMind 設(shè)備的用戶可能自己就能做到這一點(diǎn)，然后只需想象他們拍下的照片。剩下的就交給軟件了。

　　它是如何工作的

　　這里的竅門是 NextMind 的設(shè)備不僅能檢測(cè)到顏色的不同，還能檢測(cè)到代表每種顏色的小塊。在視頻中你們看不清楚的是每個(gè)方塊上都有不同的圖案，這就是設(shè)備在我的視覺(jué)皮層中解碼的東西。因此，色盲的人理論上也可以做這個(gè)演示。“視覺(jué)皮層包含形狀、方向、邊界、顏色和運(yùn)動(dòng)的信息，”Kouider 解釋說(shuō)。

　　電視應(yīng)用程序也是如此。在顯示綠色三角形的每個(gè)用戶界面按鈕的背景中都有小顆粒。對(duì)于 pin pad 的演示也是如此。這些顆粒以不同的頻率緩慢地出現(xiàn)和消失。每個(gè)數(shù)字都有不同的時(shí)間模式。“我們知道你的大腦與 5 個(gè)，而不是 6 個(gè)或 4 個(gè)大腦是同步的，因?yàn)榛旧纤鼉?yōu)先響應(yīng)那個(gè)特定的模式，”Kouider 說(shuō)。

　　“我相信很快就會(huì)有一天，我們甚至能夠自己解碼形狀。你不需要顏色，也不需要圖案。”

　　為什么不呢?“這種模式正在幫助我們。我的意思是，你的大腦會(huì)這樣做。它可以區(qū)分 5 和 4 。所以，如果你的大腦能做到這一點(diǎn)，就意味著信息就在那里。”

　　簡(jiǎn)而言之，NextMind 將這種模式保留下來(lái)，以便更快地積累證據(jù)。不過(guò)，你最終還是可以隨心所欲地向前傾或向外傾。

　　“也許不是 SDK 版本 1 ，但你可以集中，你也可以決定不做任何事。你可以自己決定要按多少。這有點(diǎn)像把手指放在鍵盤上，但不按。”

　　演示絕不是完美的，但在我的腦海中，毫無(wú)疑問(wèn)技術(shù)是有效的。也就是說(shuō)，NextMind 仍在排除各種障礙，并致力于改進(jìn)其硬件、軟件和機(jī)器學(xué)習(xí)。

　　“我們改進(jìn)了硬件。我們改進(jìn)了機(jī)器學(xué)習(xí)，就像我們使用的深度神經(jīng)網(wǎng)絡(luò)。它在認(rèn)知方面做了很多改進(jìn)，比如如何更好地集中你的注意力，哪種信息需要你的注意力，如果你想讓它閃爍，你大腦的優(yōu)先頻率是多少?諸如此類的事情。”

　　Kouider 說(shuō)他的團(tuán)隊(duì)花費(fèi)了大量的時(shí)間和精力來(lái)開發(fā)認(rèn)知技巧。構(gòu)建更快、更高效的機(jī)器學(xué)習(xí)是等式的一部分，但找出創(chuàng)造性的方法和捷徑以獲得預(yù)期的結(jié)果也是等式的一部分。但這兩個(gè)都不是最大的障礙。

　　“目前的主要限制是硬件。但這不僅是我們的問(wèn)題，也是任何成像的問(wèn)題。你不會(huì)想給人做核磁共振，因?yàn)樗姆直媛室叩枚啵珪r(shí)間分辨率卻很低。”

　　就像任何一家機(jī)器學(xué)習(xí)初創(chuàng)公司都會(huì)告訴你的那樣——最終是你的數(shù)據(jù)限制了你能走多遠(yuǎn)。

　　虛擬現(xiàn)實(shí)演示

　　NextMind 設(shè)計(jì)了它的設(shè)備，因此你可以簡(jiǎn)單地將它夾在 Oculus VR 頭盔的后面。這款產(chǎn)品效果非常好，以至于該公司在本周的 CES 2020 上獲得了兩個(gè)獎(jiǎng)項(xiàng):“ VR/AR 領(lǐng)域的最佳創(chuàng)新”和“可穿戴技術(shù)榮譽(yù)”。“基于我嘗試的演示，這些勝利并不讓我感到驚訝。

圖片來(lái)源：VB所有者：VB

　　我還參加了另一場(chǎng) VR 演示的訓(xùn)練，內(nèi)容是聚焦于外星人大腦的中心來(lái)引爆它們。同樣，在校準(zhǔn)過(guò)程中不能說(shuō)話。校準(zhǔn)的時(shí)間最終會(huì)縮短，因?yàn)橄到y(tǒng)會(huì)實(shí)時(shí)估計(jì)模型的置信度，當(dāng)模型達(dá)到要求時(shí)就會(huì)停止。

　　Kouider 指出，在 VR 中，分辨率并不高，所以你可以通過(guò)集中視覺(jué)注意力來(lái)采取行動(dòng)的對(duì)象必須更大。就像在獵鴨游戲中，有時(shí)我看著一個(gè)敵人，另一個(gè)就會(huì)爆炸。當(dāng)分辨率較差且屏幕上有多個(gè)敵人時(shí)，證據(jù)累加器的工作就比較棘手了。這次沒(méi)有綠色的三角形，但有很多閃爍。

　　“眨眼本身并不重要，”Kouider 說(shuō)。他說(shuō):“顯示屏必須做出改變。例如，可能是顏色的變化。你的大腦必須處理新的信息。我們需要產(chǎn)生一種神經(jīng)反應(yīng)。”

　　另一個(gè)我可以引爆的物體是一個(gè)桶，但它的形狀和外星人的大腦不一樣。但它在眨眼。Kouider 暗示，當(dāng)你在游戲中進(jìn)步時(shí)，會(huì)發(fā)生某種形式的轉(zhuǎn)移學(xué)習(xí)。

　　“不要認(rèn)為這只是一個(gè)獨(dú)立的設(shè)備，”Kouider 說(shuō)。“這是一個(gè)方法。對(duì)于想要玩 AR 或 VR 的人來(lái)說(shuō)，這是一種額外的方式。”

　　現(xiàn)實(shí)用例

　　同樣，NextMind 的所有演示都是有效的。你感覺(jué)一切都在你的掌控之中。“這還不是完全的控制，”Kouider 說(shuō)。“這就是我們努力的方向。這將很快發(fā)生。”

　　不過(guò)，到目前為止，這里沒(méi)有什么是你不能用你的手或其他設(shè)備來(lái)做得更快的。正在尋找一個(gè)殺手用例。因此，該公司提供開發(fā)工具包有兩個(gè)原因。首先是獲取更多的數(shù)據(jù)來(lái)改進(jìn)其機(jī)器學(xué)習(xí)算法。其次，NextMind 希望開發(fā)人員嘗試新的用例。

　　Kouider 列舉了一些與開發(fā)商、投資者和潛在合作伙伴討論后得出的結(jié)論。最令人驚訝的是，NextMind 引起了自動(dòng)駕駛汽車制造商的興趣。他們?cè)O(shè)想將電極直接插入汽車座椅。如果沒(méi)有方向盤，你不需要把手放在任何地方，也許乘客可以靠在座位上控制汽車的功能。沒(méi)有必要把你的手放在任何地方或穿任何特別的東西。

　　然后是增強(qiáng)現(xiàn)實(shí)。VR 已經(jīng)走得更遠(yuǎn)了，所以從那里開始是有意義的。但是，如果這種腦電圖技術(shù)可以被植入一副眼鏡后面的帶子里呢?“AR 眼鏡即將問(wèn)世，”Kouider 說(shuō)。“因此，有了一個(gè)更小的版本，它將成為一個(gè)潛在的用例。這是一個(gè)額外的形式。你可以用手勢(shì)，也可以用眼神追蹤。”

　　Kouider 提到的另一個(gè)用例是神經(jīng)監(jiān)測(cè)。假設(shè)你是一名飛行員，警報(bào)響了，表示出了問(wèn)題。你沒(méi)有看到它，沒(méi)有注意到它，沒(méi)有處理它。如果設(shè)備檢測(cè)到你在五秒內(nèi)沒(méi)有確認(rèn)警報(bào)，它可以調(diào)整警報(bào)——例如，讓它更可見。神經(jīng)監(jiān)測(cè)可以用來(lái)驗(yàn)證某人是否在注意一套指令。

　　“但對(duì)我們來(lái)說(shuō)，重要的是控制，而不是監(jiān)控，因?yàn)槲覀兿胱屗惴ūM可能快。”另外，神經(jīng)監(jiān)測(cè)并不能測(cè)量人的意圖，這一點(diǎn)可以說(shuō)要有趣得多。

　　“真正的主要成就是首次實(shí)現(xiàn)了大腦的實(shí)時(shí)交互，”Kouider 說(shuō)。“但我真的認(rèn)為，在三、四年后，我將能夠閉上眼睛，想象我的妻子或孩子。理論上它是可行的，只是信號(hào)的問(wèn)題。因?yàn)槲覀冎来竽X是如何工作的，但是實(shí)時(shí)操作，真的很難。”雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))

　　編譯自 VB

總結(jié)

以上是生活随笔為你收集整理的构建实时的脑-机接口，NextMind将以 399 美元的价格推出新产品的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。