作者：劉琳

　　NextMind 正在開發一種腦-機接口：將視覺皮層的信號轉換成數字指令。我們嘗試了 NextMind 的設備，它可以讓你用視覺注意力向電腦和 AR/VR 耳機輸入命令，這家總部位于巴黎的初創公司想讓你用視覺想象力做同樣的事情。

　　我們在 CES 2020 之前與 NextMind 的 CEO Sid Kouider 進行了交談，他的公司將在本月發布一款 dev kit ，并選擇開發者和合作伙伴，售價 399 美元。在早期訪問期之后，第二輪限量版開發套件將于 2020 年第二季度開始發售。

圖片來源：VB所有者：VB

　　NextMind 是越來越多依靠機器學習算法構建非侵入性神經界面的初創公司之一。2019 年 9 月，Facebook 收購了 Ctrl-labs ，后者當時正在開發一種肌電描記器腕帶，可以將肌肉神經信號轉換成機器指令。NextMind 也在開發一種非侵入性設備，但它是一種戴在腦后的腦電圖( EEG )，也就是大腦視覺皮層所在的位置。

　　Kouider 告訴 VentureBeat :“我們確實是直接針對大腦皮層的。”“我們對大腦皮層的神經活動進行非侵入性解碼。我們的目標是通過直接使用大腦實現實時互動。”

　　兩條途徑

　　NextMind 的設備要求你必須積極地看某件事，因為那件事會記錄在你的視覺皮層中。任何你感知到的物體都會在你的視覺皮層中引起特定的反應。這種神經反應在腦電圖中反映為一種獨特的波動。你的視覺皮層不僅接收來自眼睛的信息，它還放大了神經元對你有意注意的特征的放電。NextMind 目前由 15 人組成，分布在軟件、機器學習、硬件和游戲開發等領域。

　　“我們非常了解大腦是如何工作的，尤其是視覺意識、知覺和注意力是如何工作的。這讓我們發明了一種新的方法我們稱之為數字神經同步。我們把注意力作為主要控制者，當你對某件事有不同的關注時，你就會產生這樣做的注意。我們不解碼意圖本身，但我們解碼意圖的輸出。”

　　當你環顧四周，更多地關注一個物體時，“你的決定將會放大這個信息，”Kouider 繼續說。“然后我們知道你想要移動特定的內容或激活特定的視覺內容。由于物體和你的大腦之間存在著神經同步，他們之間有共鳴。你越集中注意力，共振就會增加，機器學習解碼也會增加。”

　　這就是為什么 Kouider 不想讓你稱他的設備為眼動儀，因為眼睛追蹤器不測量意圖。這時 Kouider 舉起一個杯子，當我看著他時，他不知道我是在看他的臉還是在看鏡子。但如果我戴了 NextMind 設備，它就可以分辨出我在看他的臉還是在看鏡子。

　　“我們在解碼你周圍看到的東西，但它不像眼動儀。它就像你的視覺焦點。我們正在把我們的第一個產品推向市場，這是第一個實時大腦計算機接口。”

　　當你閉上眼睛時，NextMind 的設備無法工作，但未來的版本可以。NextMind 在兩條軌道上并行工作。視覺意圖只是第一個軌道。

　　“第二步是解碼視覺想象，”Kouider 說。“結果表明，視覺皮層既是你從外部世界接收信息的輸入區域，也是你的記憶、想象力和夢想的輸出區域。視覺皮層中產生視覺意識的神經元與處理外部世界信息的神經元相同。”

　　這并不需要一個不同的設備，Kouider 聲稱。這兩個軌道將可在同一硬件上串聯使用。不同的軟件和算法將簡單地處理不同的任務。

　　“在接受信息和想象這兩個極端之間，是視覺注意力，”他繼續說。“事實是，你可以控制你在看什么，是我，還是我的臉。你可以增強一些特定于這個的神經元，因為視覺注意力是自上而下的，所以它是由其他大腦區域控制的，比如前額葉皮層。它被用來增強一些非常有選擇性的神經元，這就是我們正在解碼的東西。”

　　該設備

　　在 2017 年 9 月創立 NextMind 之前，Kouider 是認知神經科學教授。他在《科學與自然》上發表了關于視覺意識和大腦的論文。他的研究主要集中在那些不能說話或表達自己想法的人身上。他的實驗室表明，嬰兒對周圍的事物有意識，人們可以通過聽覺內容在睡著時學習，在積累了非侵入性解碼神經信號的專業知識之后，Kouider 想要構建一個能夠實時完成所有這些工作的產品。

　　“當我們做科學研究時，做了很多試驗，并對他們離線進行分析。”NextMind 的目標其實是做同樣的事情——從視覺皮層解碼視覺意識，但要實時解碼。通過實時操作，我們可以進行腦-機交互。我們的目標是讓它大眾化，也就是說，我們希望能夠使用來自大腦皮層的信息，來解碼它，并讓你在與任何顯示的互動中使用它。”

　　NextMind 的設備重約 60 克，有八個電極可以測量你的大腦活動。最終選定了 8 個電極，因為這是不會丟失任何潛在數據的最小數量。佩戴電極并不是很舒服，但一種更小的、電極可能更少的設計已經在進行中。這里真正的突破是用于電極本身的材料，為機器學習算法捕捉更多的數據。

　　“在這里，我們確實面臨著一個機器學習的問題，”Kouider 說。“它促使我們首先在這種敏感性更好的新材料上進行創新。它基本上就像腦電圖，但這使我們的信噪比比臨床腦電圖提高了 4 倍，除了避免任何凝膠。如果你在醫院做了腦電圖，你需要凝膠。每個電極上都有一個微芯片。我們直接處理模擬信息。

　　電極形狀像梳子，所以它們可以穿過你的頭發，到達你的頭皮，獲得良好的信號。

　　“它應該馬上就能工作，但這就像第一次使用鼠標一樣，”Kouider 說。“所以你需要慢慢地學習才能感覺到大腦的活動。”

　　在我使用這個與筆記本電腦相連的設備之前，我必須先把它固定在一個地方，以便 NextMind 的軟件能夠確定它接收到了高質量的信號，然后我必須通過校準和訓練來建立我的神經剖面模型。這主要包括聚焦在三個綠色的線，移動到一起形成一個三角形。這個三角形會出現在屏幕上不同的物體上。幾分鐘后，NextMind 生成了大約 1 至 10 兆字節的數據，這些數據代表了我的神經特征。在校準過程中，為了得到一個好的模型，我被要求保持靜止不說話，否則，演示不會很有趣。

　　演示

　　我嘗試的第一個用例是 NextMind 以前展示過的一個電視演示。使用 NextMind 的設備，我們可以通過聚焦自定義電視用戶界面各個區域的綠色三角形來控制電視。我可以改變頻道，播放或暫停內容，靜音或不靜音聲音，把注意力集中在相應的綠色三角形上。

　　第二個演示是一個平臺游戲，我控制了一個小立方體。我有一個移動和跳躍的操縱桿，但我可以通過集中注意力來射擊敵人和推物體。只要屏幕上出現一個綠色的三角形，我就會集中注意力，用我的大腦來執行一個動作。

　　第三個演示讓我輸入一個四位數的數字。一個接一個地專注于每一個數字是一個緩慢的過程( Kouider 后來證明他可以做得更快，因為他有更多的練習)。

　　第四款是經典游戲《獵鴨》的改良版。使用我的視覺注意力比使用槍支控制器容易得多。事實上，它是如此的簡單，以至于我試圖通過用眼角的余光看鴨子來讓它變得更難。“只要它最終進入你的視覺皮層，原則上它就應該是可解碼的，”Kouider 說。雖然慢了些，但還是管用。

　　我摘下眼鏡。我看不到任何一只鴨子上的綠色三角形。“當然，這不僅僅是關于三角形，”Kouider 說。“三角形只是焦點。“不戴眼鏡，有時候會殺錯人。這是因為該系統使用一個證據累加器。有時它太自由了，會得出結論說你把注意力放在了錯誤的對象上。

　　在第五個演示中，我可以改變一盞燈的顏色，這是迄今為止最有趣的。但首先，這需要重新校準。在訓練過程中，我必須專注于其中一個顏色塊，然后我可以通過專注于每個相應的塊實時切換燈的顏色。

　　很容易想象這是如何在第二軌道工作。開發人員可以拍一張燈的照片，在上面添加一個著色器，并在圖像上附加一個動作(比如改變物理燈的光顏色)。有一天，NextMind 設備的用戶可能自己就能做到這一點，然后只需想象他們拍下的照片。剩下的就交給軟件了。

　　它是如何工作的

　　這里的竅門是 NextMind 的設備不僅能檢測到顏色的不同，還能檢測到代表每種顏色的小塊。在視頻中你們看不清楚的是每個方塊上都有不同的圖案，這就是設備在我的視覺皮層中解碼的東西。因此，色盲的人理論上也可以做這個演示。“視覺皮層包含形狀、方向、邊界、顏色和運動的信息，”Kouider 解釋說。

　　電視應用程序也是如此。在顯示綠色三角形的每個用戶界面按鈕的背景中都有小顆粒。對于 pin pad 的演示也是如此。這些顆粒以不同的頻率緩慢地出現和消失。每個數字都有不同的時間模式。“我們知道你的大腦與 5 個，而不是 6 個或 4 個大腦是同步的，因為基本上它優先響應那個特定的模式，”Kouider 說。

　　“我相信很快就會有一天，我們甚至能夠自己解碼形狀。你不需要顏色，也不需要圖案。”

　　為什么不呢?“這種模式正在幫助我們。我的意思是，你的大腦會這樣做。它可以區分 5 和 4 。所以，如果你的大腦能做到這一點，就意味著信息就在那里。”

　　簡而言之，NextMind 將這種模式保留下來，以便更快地積累證據。不過，你最終還是可以隨心所欲地向前傾或向外傾。

　　“也許不是 SDK 版本 1 ，但你可以集中，你也可以決定不做任何事。你可以自己決定要按多少。這有點像把手指放在鍵盤上，但不按。”

　　演示絕不是完美的，但在我的腦海中，毫無疑問技術是有效的。也就是說，NextMind 仍在排除各種障礙，并致力于改進其硬件、軟件和機器學習。

　　“我們改進了硬件。我們改進了機器學習，就像我們使用的深度神經網絡。它在認知方面做了很多改進，比如如何更好地集中你的注意力，哪種信息需要你的注意力，如果你想讓它閃爍，你大腦的優先頻率是多少?諸如此類的事情。”

　　Kouider 說他的團隊花費了大量的時間和精力來開發認知技巧。構建更快、更高效的機器學習是等式的一部分，但找出創造性的方法和捷徑以獲得預期的結果也是等式的一部分。但這兩個都不是最大的障礙。

　　“目前的主要限制是硬件。但這不僅是我們的問題，也是任何成像的問題。你不會想給人做核磁共振，因為它的分辨率要高得多，但時間分辨率卻很低。”

　　就像任何一家機器學習初創公司都會告訴你的那樣——最終是你的數據限制了你能走多遠。

　　虛擬現實演示

　　NextMind 設計了它的設備，因此你可以簡單地將它夾在 Oculus VR 頭盔的后面。這款產品效果非常好，以至于該公司在本周的 CES 2020 上獲得了兩個獎項:“ VR/AR 領域的最佳創新”和“可穿戴技術榮譽”。“基于我嘗試的演示，這些勝利并不讓我感到驚訝。

圖片來源：VB所有者：VB

　　我還參加了另一場 VR 演示的訓練，內容是聚焦于外星人大腦的中心來引爆它們。同樣，在校準過程中不能說話。校準的時間最終會縮短，因為系統會實時估計模型的置信度，當模型達到要求時就會停止。

　　Kouider 指出，在 VR 中，分辨率并不高，所以你可以通過集中視覺注意力來采取行動的對象必須更大。就像在獵鴨游戲中，有時我看著一個敵人，另一個就會爆炸。當分辨率較差且屏幕上有多個敵人時，證據累加器的工作就比較棘手了。這次沒有綠色的三角形，但有很多閃爍。

　　“眨眼本身并不重要，”Kouider 說。他說:“顯示屏必須做出改變。例如，可能是顏色的變化。你的大腦必須處理新的信息。我們需要產生一種神經反應。”

　　另一個我可以引爆的物體是一個桶，但它的形狀和外星人的大腦不一樣。但它在眨眼。Kouider 暗示，當你在游戲中進步時，會發生某種形式的轉移學習。

　　“不要認為這只是一個獨立的設備，”Kouider 說。“這是一個方法。對于想要玩 AR 或 VR 的人來說，這是一種額外的方式。”

　　現實用例

　　同樣，NextMind 的所有演示都是有效的。你感覺一切都在你的掌控之中。“這還不是完全的控制，”Kouider 說。“這就是我們努力的方向。這將很快發生。”

　　不過，到目前為止，這里沒有什么是你不能用你的手或其他設備來做得更快的。正在尋找一個殺手用例。因此，該公司提供開發工具包有兩個原因。首先是獲取更多的數據來改進其機器學習算法。其次，NextMind 希望開發人員嘗試新的用例。

　　Kouider 列舉了一些與開發商、投資者和潛在合作伙伴討論后得出的結論。最令人驚訝的是，NextMind 引起了自動駕駛汽車制造商的興趣。他們設想將電極直接插入汽車座椅。如果沒有方向盤，你不需要把手放在任何地方，也許乘客可以靠在座位上控制汽車的功能。沒有必要把你的手放在任何地方或穿任何特別的東西。

　　然后是增強現實。VR 已經走得更遠了，所以從那里開始是有意義的。但是，如果這種腦電圖技術可以被植入一副眼鏡后面的帶子里呢?“AR 眼鏡即將問世，”Kouider 說。“因此，有了一個更小的版本，它將成為一個潛在的用例。這是一個額外的形式。你可以用手勢，也可以用眼神追蹤。”

　　Kouider 提到的另一個用例是神經監測。假設你是一名飛行員，警報響了，表示出了問題。你沒有看到它，沒有注意到它，沒有處理它。如果設備檢測到你在五秒內沒有確認警報，它可以調整警報——例如，讓它更可見。神經監測可以用來驗證某人是否在注意一套指令。

　　“但對我們來說，重要的是控制，而不是監控，因為我們想讓算法盡可能快。”另外，神經監測并不能測量人的意圖，這一點可以說要有趣得多。

　　“真正的主要成就是首次實現了大腦的實時交互，”Kouider 說。“但我真的認為，在三、四年后，我將能夠閉上眼睛，想象我的妻子或孩子。理論上它是可行的，只是信號的問題。因為我們知道大腦是如何工作的，但是實時操作，真的很難。”雷鋒網雷鋒網雷鋒網(公眾號：雷鋒網)

　　編譯自 VB

總結

以上是生活随笔為你收集整理的构建实时的脑-机接口，NextMind将以 399 美元的价格推出新产品的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。