自动驾驶要啥实路测试？L4 当红独角兽新模型：2D 视频输入 4D 场景输出，难怪老黄看好
用視頻生成的仿真場景，能有多逼真？
兩旁的行人，前車的剎車燈…… 連這些細節，都能動態顯示得清清楚楚。
兩輛自行車行駛在道路中間，避讓通過：
這就是如今自動駕駛“當紅炸子雞”Wayve，在 CVPR 2024 上分享的最新成果：
自動駕駛仿真模型 PRISM-1，沒有激光雷達，沒有 3D 標注信息，只基于攝像頭輸入的信息。
PRISM-1：利用視頻數據重建 4D 真實場景
模擬仿真測試是自動駕駛的重要環節。
實車測試周期長，成本高，覆蓋的工況和長尾問題有限，尤其是極端場景下的 Corner Case，實車測試比較危險，且調試程序后，可能不好復現驗證。路還是那條路，但路況和道路參與者一直都在變。
因此，通過合成數據，仿真測試自動駕駛系統的路線，正在受到關注。
成本低，配置靈活，場景覆蓋率高，對特殊的 Corner Case 能夠復現后再驗證，可以與實車測試形成互補。
不過自動駕駛模擬仿真也面臨著諸多挑戰，比如在場景重建環節，復雜的城區道路，有很多動態元素難以準確呈現，像行人和自行車，不僅形態各樣，而且行為靈活難預測。
傳統還原通過場景圖的方式，將元素組織成層次結構，用節點表示場景中的實體，用彼此的邊緣表示它們之間的關系。
這種方式不夠靈活，因為當車輛模擬測試時，周邊場景其實一直在動態改變，一些元素無法完美分離，會導致錯誤傳播。
為了突破傳統方式的局限，Wayve 轉向更靈活、能自適應的模擬方案，在端到端的基礎上，提出了 PRISM-1 模型。
主要是三個特點：
框架更靈活：能有效處理常見元素，模擬移動元素，甚至包括瞬態場景元素，比如風吹動的樹葉，隧道中的波動光線。
自監督場景分離：無需標注或預定義模型，分離場景中的動態元素和靜態元素。
可擴展表示：即使場景復雜度增加，PRISM-1 仍能保持高效。這最大限度地減少了工程量和錯誤傳播。
詳細過程，Wayve 沒有披露，只是主要介紹了視圖合成方面的創新點。
具體地說，PRISM-1 重點關注攝像頭觀測到的路徑的偏差。
無需依賴其他傳感器，只靠攝像頭，獲取車輛行駛時的一組稀疏圖像，重建 4D 場景。
當然，用攝像頭獲取數據場景數據，有一個天然限制，那就是在動態場景下，只能從一個視角拍攝其中的元素。
如何在任意時刻，從不同視角重建 4D 場景？
PRISM-1 在承認車子動態特性的前提下，通過兩種方式改變攝像頭路徑：
第一種方式，凍結時間。
測試車輛周遭一切都暫停了，場景的時間維度不變，但空間可變，攝像頭左右平移，以不同角度查看周邊場景。
第二種方式，凍結空間。
測試車輛自身保持靜止，空間數據不變，但時間還在變化，周遭事物還能運動，觀察其變化。
兩種方式結合，Wayve 可以利用 PRISM-1 從各種視角重建場景，甚至復現一些細節，比如前車剎車燈亮了。
Wayve 還將在此基礎上，繼續迭代工作。
下一步，Wayve 打算加強模型的可擴展性和靈活性。
比如，用模型去重建一個“行人通過斑馬線”的場景。
如果需要，也可以把行人移除掉。
推出 PRISM-1，提高自動駕駛模擬的真實性，加快算法迭代的同時，Wayve 還開源了一個場景數據集 WayveScenes101 Dataset，顧名思義，包含了 101 個復雜動態場景。
涵蓋了英美兩地，不同的駕駛環境和路況，包括多種天氣和光照條件下的城區、郊區和高速公路。
當然，能被微軟和英偉達同時相中押注，Wayve 的工作成果遠不止這些。
自動駕駛獨角獸，微軟英偉達都投了
遍觀全球，最近一段時間，特別是在自動駕駛領域，很少有獨角獸，能蓋住 Wayve 的風頭了。5 月 7 日，Wayve 官宣了 10.5 億美元 (折合人民幣約為 75.8 億元) 的新一輪融資。
軟銀領投，微軟和英偉達跟投。數額之巨，投資者陣容之豪華，實屬罕見，轟動一時。
在此前，只有 Waymo、Argo 和 Cruise 等，獲得過這個級別的融資。
Wayve 一舉刷新英國 AI 公司單筆融資的記錄，連英國首相也在聲明中表示，這「鞏固了英國作為 AI 超級大國的地位」。彼時的 Wayve 都有什么技術成果，吸引巨頭押注？
主要是一個架構，兩個模型：
一個架構是指端到端的 AV 2.0，不依賴高精地圖，Wayve 稱可兼容純視覺和激光雷達多種方案。
兩個模型是指 LINGO 系列以及 GAIA-1，分別是 Wayve 在 AI 的可解釋性與 AIGC 上的成果。
首先來看 LINGO 系列，去年 9 月，Wayve 推出了 LINGO-1 模型。
Wayve 將其稱之為 VLAM (視覺-語言-動作模型)，與傳統技術范式不同的是，視頻數據之外，Wayve 還引入了老司機語音包進行訓練：
Wayve 請來很多專業司機，要求他們在開測試車輛做出相應操作時，大聲說話，解釋自己為什么這么做。
這樣，自然語言就被引入了自動駕駛，LINGO-1 實現了在開車時，解釋自己的決策邏輯，這提高了模型的可解釋性。
這項工作最近升級至 LINGO-2，進一步增強了人車交互，司機可以通過限定的命令，比如「靠邊停車」，調整智駕的開車策略。
另外一個模型則是 GAIA-1，是一個為自動駕駛打造的多模態生成式世界模型，參數規模 90 億。
輸入視頻、文本和操作，就能生成逼真的自動駕駛視頻，不同路況和天氣，效果都能以假亂真。
誒等等，GAIA-1 能生成自動駕駛測試的視頻，PRISM-1 能用視頻模擬真實場景，兩個一結合，這不就閉環了嗎？doge
當然沒有這么簡單，在去年 6 月，Wayve 推出 GAIA-1 早期版本后，就有相關研究人員指出，模型生成的視頻中，會有一些元素在后續“突然消失”，還不完善。
雖然去年 10 月，Wayve 更新了 GAIA-1，擴大了參數規模，增加了訓練時長，模型生成視頻的細節和分辨率都有明顯提升，但是否完全克服了“元素突然消失”的問題，還有待充分驗證。
引領 Wayve 打造這些成果的，是兩位聯合創始人：
Alex Kendall (亞歷克斯?肯德爾) 與 Amar Shah (已退出)。
兩人都是劍橋大學機器學習專業的博士，于 2017 年創立了 Wayve。
其中肯達爾去年曾陪同比爾?蓋茨試乘旗下產品，比爾?蓋茨后來點贊其工作:
That was fantastic!
或許是這次試乘打動了比爾蓋茨，微軟連續兩次出手，投資 Wayve。
Wayve 也是不負所托，最近一年頻頻拿出成果，給行業帶來驚喜。
時值 CVPR 2024，Wayve 也舉辦了一系列活動，PRISM-1 研究人員就在現場。
本文來自微信公眾號：智能車參考（ID：AI4Auto），作者：有據無車
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。
總結
以上是生活随笔為你收集整理的自动驾驶要啥实路测试？L4 当红独角兽新模型：2D 视频输入 4D 场景输出，难怪老黄看好的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 华硕创 ProArt+ 2024 笔记本
- 下一篇： 《反恐精英》游戏问世 25 年：2 个阵