點擊上方“AI遇見機器學(xué)習(xí)”，選擇“星標(biāo)”公眾號

重磅干貨，第一時間送達

? 新智元報道??

來源：Quantamagazine

編輯：大明、鵬飛

【導(dǎo)讀】卷積神經(jīng)網(wǎng)絡(luò)（CNN）已在平面視覺任務(wù)上大顯身手，但遇見不規(guī)則曲面，其效果往往大打折扣。高通和阿姆斯特丹大學(xué)提出的“規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)”成功突破了平面的限制，將CNN的視覺能力提升了一個維度，讓AI站的更高，看得更遠。

現(xiàn)在，計算機可以駕駛汽車，在象棋和圍棋中擊敗世界冠軍，甚至撰寫散文。人工智能的革命很大程度上源于一種特殊類型的人工神經(jīng)網(wǎng)絡(luò)的力量，其設(shè)計靈感來自哺乳動物視覺皮層中神經(jīng)元的連接層。事實證明，這些“卷積神經(jīng)網(wǎng)絡(luò)”（CNN）擅長于學(xué)習(xí)二維數(shù)據(jù)中的模式，尤其是在計算機視覺任務(wù)中得到了廣泛應(yīng)用。

但是，如果將卷積神經(jīng)網(wǎng)絡(luò)用于沒有內(nèi)置平面幾何形狀的數(shù)據(jù)集（如3D計算機動畫中使用的不規(guī)則形狀的模型，或者自動駕駛汽車生成的點云來繪制周圍環(huán)境），這種強大的機器學(xué)習(xí)架構(gòu)的效果就要受到影響。2016年前后，出現(xiàn)了一種稱為幾何深度學(xué)習(xí)的新學(xué)科，其目標(biāo)是將CNN拓展到平面之外。

現(xiàn)在，研究人員提供了一個新的理論框架，可用于構(gòu)建可以學(xué)習(xí)任何幾何表面上的圖案的神經(jīng)網(wǎng)絡(luò)。由阿姆斯特丹大學(xué)和高通AI研究中心的Taco Cohen，Maurice Weiler，Berkay Kicanaoglu和Max Welling開發(fā)的“等規(guī)卷積神經(jīng)網(wǎng)絡(luò)”，不僅可以檢測2D像素陣列中的模式，而且還可以檢測在球體和不對稱彎曲的物體上的模式。Welling表示：“這個框架是對曲面上深度學(xué)習(xí)問題的絕對確定的答案。”

在模擬全球氣候數(shù)據(jù)的學(xué)習(xí)模式中，這種新架構(gòu)的性能已大大超過了其前輩。該算法還可能改善可視3D目標(biāo)的無人機和無人駕駛汽車的視覺效果，對于心臟、大腦或其他器官的不規(guī)則曲面上收集的數(shù)據(jù)，分析能力也能大為提升。

高通公司和阿姆斯特丹大學(xué)的機器學(xué)習(xí)研究員Taco Cohen是規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)的主要設(shè)計者之一

研究人員要讓深度學(xué)習(xí)模型擺脫平面的束縛，也與物理學(xué)有著深厚的聯(lián)系。描述世界的物理理論，比如愛因斯坦的廣義相對論和粒子物理學(xué)的標(biāo)準模型，都表現(xiàn)出一種稱為“規(guī)范等變”的性質(zhì)。這意味著世界上的量及其關(guān)系不依賴于任意的參照系。

無論觀察者是移動還是靜止不動，無論標(biāo)尺上的數(shù)字有什么不同，這些量和關(guān)系都是一致的。在不同的量度上進行的測量要想進行轉(zhuǎn)換，必須要能夠相互保留彼此之間這些不變的潛在關(guān)系。

舉個例子，測量一個足球場的長度，首先以碼為單位，然后再以米為單位進行測量，得到的數(shù)字是不同的，但這是一種可預(yù)測的不同。同樣，兩位攝影師從兩個不同的有利位置拍攝同一個對象的照片會產(chǎn)生不同的圖像，但是這些圖像可以彼此關(guān)聯(lián)。量表的等方差可確保物理學(xué)家的現(xiàn)實模型保持一致，無論他們的觀測點或測量單位如何變化。

紐約大學(xué)物理學(xué)家凱爾·克蘭默（Kyle Cranmer）說：“他們希望將這種思想其、引入神經(jīng)網(wǎng)絡(luò)，要將機器學(xué)習(xí)應(yīng)用于粒子物理學(xué)數(shù)據(jù)上，而且成功實現(xiàn)了。”

規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)：“逃離平面，看懂3D”

倫敦帝國理工學(xué)院的計算機科學(xué)家邁克爾·布朗斯坦（Michael Bronstein）在2015年提出“幾何深度學(xué)習(xí)”一詞，用以描述為神經(jīng)網(wǎng)絡(luò)擺脫平面束縛而進行的新努力，并設(shè)計了可以學(xué)習(xí)非平面數(shù)據(jù)模式的神經(jīng)網(wǎng)絡(luò)。這個詞和相關(guān)研究工作很快流行起來。

Bronstein明白，要想超越歐幾里德平面，需要重新構(gòu)想一種基本的計算程序，該程序首先使神經(jīng)網(wǎng)絡(luò)能高效實現(xiàn)2D圖像識別。此過程稱為“卷積”，它使神經(jīng)網(wǎng)絡(luò)的一層對輸入數(shù)據(jù)一小批執(zhí)行數(shù)學(xué)運算，然后將結(jié)果傳遞到網(wǎng)絡(luò)中的下一層。

“基本上可以將卷積視為滑動的窗口，” Bronstein解釋說。卷積神經(jīng)網(wǎng)絡(luò)將許多這些“窗口”滑動到數(shù)據(jù)上，例如過濾器，每一個都旨在檢測數(shù)據(jù)中的某種模式。如果是貓的照片，經(jīng)過訓(xùn)練的CNN可能會使用過濾器來檢測原始輸入像素中的低級特征，例如邊緣。

這些特征會傳遞到網(wǎng)絡(luò)中的其他層，執(zhí)行其他卷積，并提取更高層的特征，如眼睛，尾巴或三角形的耳朵。用于識別貓的CNN最終將使用這些分層卷積的結(jié)果，為整個圖像分配標(biāo)簽（“是貓”或“不是貓”）。

卷積神經(jīng)網(wǎng)絡(luò)是如何“看見”目標(biāo)的

但這種方法僅適用于平面。韋林說：“如果要分析的表面是彎曲的，那么基本上會遇到麻煩。”

在曲面上進行卷積（在幾何學(xué)上稱為“流形”），就像在地球上拿著一小塊半透明的方格紙，然后試圖準確地追蹤格陵蘭島的海岸線一樣困難。不可能在不使紙張起皺的情況下，將正方形按在格陵蘭島上，也就是說，當(dāng)再次把這張紙展平時，圖形將會出現(xiàn)變形。

如果流形不是球形的這樣的整齊球體，而是瓶子的形狀，或是折疊的蛋白質(zhì)等更復(fù)雜、更不規(guī)則的物體，則在這些目標(biāo)上進行卷積操作會變得更加困難。

Bronstein等人在2015年找到了解決非歐流形上卷積問題的一種解決方案：將“滑動窗口”重新想象成更像是圓形蜘蛛網(wǎng)狀，而不是一張方格紙，這樣就可以將其壓在地球上（或任何曲面上），而不會造成“窗口”的彎曲、拉伸或撕裂。

以這種方式更改“滑塊”過濾器的屬性，可以讓CNN能夠更好地“理解”某些幾何關(guān)系。比如可以自動識別出彎成兩個不同姿勢的3D形狀（一個站直的人，和一個抬起一條腿的人）是同一類對象實例，而不是兩個完全不同的對象。這一變化讓神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率大大提高。Bronstein說，標(biāo)準的CNN“需要花數(shù)周時間進行訓(xùn)練，使用數(shù)百萬個形狀示例，我們以不同的姿勢使用了大約100種形狀，只需要大約半小時的訓(xùn)練。”

同時，塔科·科恩（Taco Cohen）等人開始從相反方向著手解決同一問題。2015年，當(dāng)時還在讀研究生的科恩尚未研究這個問題。當(dāng)時他對一個實際的工程問題很感興趣：提升數(shù)據(jù)效率，即如何用更少的示例來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

科恩說：“深度學(xué)習(xí)是一種非常緩慢的學(xué)習(xí)。”如果要訓(xùn)練CNN來識別貓，那么幾乎沒什么問題，因為網(wǎng)絡(luò)上有大量的貓的圖像數(shù)據(jù)。但是，如果想讓CNN檢測更重要的內(nèi)容，例如肺組織圖像中的癌性結(jié)節(jié)，那么找到足夠的訓(xùn)練數(shù)據(jù)（需要醫(yī)學(xué)上準確、正確標(biāo)記，并且沒有隱私問題）并非易事。訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)示例越少越好。

Cohen知道，提高神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)效率的一種方法是，預(yù)先為數(shù)據(jù)配備某些假設(shè)條件，例如告訴神經(jīng)網(wǎng)絡(luò)，即使肺腫瘤在圖像中出現(xiàn)旋轉(zhuǎn)或映射，它仍然是肺腫瘤。

2016年，Cohen和Welling合寫了一篇論文，定義了如何將其中的一些假設(shè)條件編碼為幾何對稱的神經(jīng)網(wǎng)絡(luò)。這種方法效果非常好，到2018年，Cohen和Marysia Winkels進一步推廣了該方法，證明了在CT掃描中識別肺癌的可喜結(jié)果：他們構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，僅使用之前模型十分之一訓(xùn)練數(shù)據(jù)，就能識別出肺癌的可視化證據(jù)。

在此基礎(chǔ)上，研究人員不斷推廣，找到了規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)。

從物理學(xué)到CNN：“等變”思想的擴展

物理和機器學(xué)習(xí)具有基本的相似性。正如Cohen（Cohen）所說：“兩個領(lǐng)域都涉及進行觀測，然后建立模型進行預(yù)測。”并非單個事物的模型，而是整個品類的模型。例如，我們不會為頭朝上的氫原子建一個模型、頭朝下的氫原子再建一個。

等變（或“協(xié)變”，物理學(xué)家偏愛的術(shù)語）是自愛因斯坦以來，物理學(xué)家賴以推廣其模型的假設(shè)。

阿姆斯特丹大學(xué)的理論物理學(xué)家Miranda Cheng解釋說：“這只是意味著，如果你正確的描述了物理，那么它應(yīng)該不取決于你用的哪種‘尺子’、后者你觀察時候的視角。”

Cheng（上圖）和Cohen等撰寫了一篇論文，探討了物理學(xué)與規(guī)范等變CNN之間的聯(lián)系。

就像愛因斯坦本人在1916年所說的那樣：“自然的一般定律應(yīng)由對所有坐標(biāo)系都適用的方程式表示。”

卷積網(wǎng)絡(luò)通過利用該原理的一個簡單示例“平移等變”，成為深度學(xué)習(xí)中最成功的方法之一。一個窗口過濾器檢測圖像中特定特征（例如垂直邊緣），將滑動（或“平移”）在像素平面上，并對所有這些垂直邊緣的位置進行編碼；然后，它會創(chuàng)建一個標(biāo)記這些位置的“功能圖”，并將其傳遞到網(wǎng)絡(luò)的下一層。

由于平移等變，使得創(chuàng)建特征圖成為可能。神經(jīng)網(wǎng)絡(luò)“假定”同一特征可以出現(xiàn)在2D平面中的任何位置，并且能夠?qū)o論是在右上角還是在左下角的垂直邊緣，都識別為垂直邊緣。

Weiler說：“關(guān)于等變神經(jīng)網(wǎng)絡(luò)的觀點是[采用]這些明顯的對稱性并將它們放入網(wǎng)絡(luò)體系結(jié)構(gòu)中，有點像免費午餐。”

到2018年，Weiler，Cohen及其博士導(dǎo)師Max Welling擴大了“免費午餐”的范圍，將其他等變包括在內(nèi)。他們的“集群等變” CNN可以檢測平面圖像中的旋轉(zhuǎn)或反射特征，而無需針對這些方向上的特征訓(xùn)練特定示例；球形CNN可以根據(jù)球體表面上的數(shù)據(jù)創(chuàng)建特征圖，而不會將其扭曲為平面投影。

這些方法仍然不夠通用，無法處理具有顛簸，不規(guī)則結(jié)構(gòu)的流形上的數(shù)據(jù)，該數(shù)據(jù)描述了從土豆到蛋白質(zhì)，到人體，到時空彎曲的幾乎所有物體的幾何形狀。

對于神經(jīng)網(wǎng)絡(luò)，這些類型的流形沒有“全局”對稱性來做出以下等變假設(shè)：它們上的每個位置都是不同的。

挑戰(zhàn)在于，將細分過濾器在表面上滑動會改變過濾器的方向，具體取決于其采用的特定路徑。

想象一下設(shè)計用于檢測簡單圖案的過濾器：深色斑點在左，淺色在右。在平面網(wǎng)格上下左右滑動它，它將始終保持右邊朝上。但是，即使在球體的表面上，這種情況也會改變。

將濾鏡圍繞球面的赤道移動180度，則濾鏡的方向?qū)⒈３植蛔?#xff1a;深色斑點在左，淺色斑點在右。但如果通過球體的北極上方移過，濾鏡就反過來了，深右淺左。在更復(fù)雜的歧管上移動過濾器，它最終可能指向許多雙重的方向。幸運的是，自愛因斯坦以來的物理學(xué)家找到了解決方案：軌距等變。

Welling解釋說，關(guān)鍵是忘記跟蹤過濾器沿不同路徑移動時方向如何變化。取而代之的是，只選擇一個過濾器方向（或gauge），然后定義一種將所有其他方向轉(zhuǎn)換為該方向的一致方法。

要注意的是，盡管可以在初始方向上使用任意量度，但將其他量度轉(zhuǎn)換為該參考系必須保留的基本模式。Weiler說，采用這種等量變方法，“實際數(shù)字發(fā)生了變化，但是它們以完全可預(yù)測的方式發(fā)生了變化。”

Cohen，Weiler和Welling在2019年將gauge-equivariant（最終的“免費午餐”）編碼到了他們的卷積神經(jīng)網(wǎng)絡(luò)中。通過將數(shù)學(xué)約束納入神經(jīng)網(wǎng)絡(luò)可以通過卷積在數(shù)據(jù)中“看到”。

Welling說：“基本上，它可以提供任何表面”，從歐幾里德平面到任意彎曲的物體，包括諸如Klein瓶或四維時空的奇異流形，“這對在該表面上進行深度學(xué)習(xí)非常有用。”

理論起源：來自愛因斯坦的啟示

規(guī)范等變CNN的起源理論非常廣泛，沿用了以前的幾何深度學(xué)習(xí)方法的內(nèi)在假設(shè)，如旋轉(zhuǎn)等變和球上的移位過濾器。即使是Michael Bronstein的早期方法，也可以讓神經(jīng)網(wǎng)絡(luò)識別彎曲成不同姿勢的單個3D形狀。“Gauge-equivariant是一個非常廣泛的框架。它包含了我們在2015年所做的特定設(shè)置。” Bronstein說。

理論上，CNN計可在任何尺寸的任何曲面上工作，但Cohen及其合作者已在全球氣候數(shù)據(jù)上對其進行了測試，該數(shù)據(jù)必定具有潛在的3D球形結(jié)構(gòu)。他們使用等量線框架構(gòu)造了一個CNN，該CNN經(jīng)過訓(xùn)練可以從氣候模擬數(shù)據(jù)中檢測出極端天氣模式，例如熱帶氣旋。

2017年，政府和學(xué)術(shù)研究人員使用標(biāo)準卷積網(wǎng)絡(luò)以74％的準確性檢測數(shù)據(jù)中的氣旋特征；去年，美國有線電視新聞網(wǎng)（CNN）探測到旋風(fēng)的準確率達到97.9％。（優(yōu)于2018年專門為球體設(shè)計的不太通用的幾何深度學(xué)習(xí)方法，該系統(tǒng)的準確度為94％。）Lawrence Berkeley National Laboratory的氣候科學(xué)家Mayur Mudigonda使用深度學(xué)習(xí)，表示將繼續(xù)關(guān)注測量CNN。

他說：“人類視覺智能的這一方面”（無論模式如何定向）都可以準確地識別出來，“這就是我們想要轉(zhuǎn)化為氣候社區(qū)的東西。”

高通是一家芯片制造商，最近雇用了Cohen和Welling，并收購了他們建立的一家初創(chuàng)公司，將其早期工作納入等變神經(jīng)網(wǎng)絡(luò)。現(xiàn)在，高通正計劃應(yīng)用規(guī)范CNN理論來開發(fā)改進的計算機視覺應(yīng)用，例如可以直接“看到”360度全景的無人機，就像全球氣候數(shù)據(jù)一樣，可以將這個世界的魚眼圖自然地映射到球形表面上。

同時，規(guī)范的CNN在諸如Cranmer之類的物理學(xué)家中越來越受歡迎，他們計劃將其用于處理亞原子粒子相互作用的模擬數(shù)據(jù)。Cranmer說：“我們正在分析與強大的核力量有關(guān)的數(shù)據(jù)，試圖了解質(zhì)子內(nèi)部發(fā)生了什么。”他說，數(shù)據(jù)是四維的，“因此，對于具有這種規(guī)范等變的神經(jīng)網(wǎng)絡(luò)，這是一個完美的應(yīng)用實例。”

前物理學(xué)家Risi Kondor現(xiàn)在正在研究等變神經(jīng)網(wǎng)絡(luò)，他說，規(guī)范CNN的潛在科學(xué)應(yīng)用可能比其在AI中的應(yīng)用更為重要。

他說：“如果在YouTube上即使發(fā)現(xiàn)自己不太擅長識別上下顛倒的貓，也許可以忍受。”但是對于物理學(xué)家來說，至關(guān)重要的是要確保神經(jīng)網(wǎng)絡(luò)不會因為其特定的方向而錯誤地識別力場或粒子軌跡。Kondor說：“這不僅僅是方便的問題，而且必須尊重基本的對稱性。”

但是，盡管物理學(xué)家的數(shù)學(xué)方法啟發(fā)了人們對CNN的了解，物理學(xué)家可能會為它們找到很多用處，但Cohen指出，這些神經(jīng)網(wǎng)絡(luò)本身并不會發(fā)現(xiàn)任何新的物理學(xué)。

他說：“我們現(xiàn)在能夠設(shè)計處理非常奇特的數(shù)據(jù)的網(wǎng)絡(luò)，但必須知道該數(shù)據(jù)的結(jié)構(gòu)是什么。”換句話說，物理學(xué)家之所以可以使用規(guī)范的CNN是因為愛因斯坦已經(jīng)證明時空可以表示為四維彎曲流形。

Cohen的神經(jīng)網(wǎng)絡(luò)將無法獨自“看到”該結(jié)構(gòu)。他說：“目前還沒開始做學(xué)習(xí)對稱性的事情，”盡管他希望將來有可能。

Cohen說：“我一直感覺機器學(xué)習(xí)和物理學(xué)正在做非常相似的事情。這是我發(fā)現(xiàn)真正不可思議的事情之一：我們只是從這個工程問題開始，并且隨著我們開始改進，我們逐漸發(fā)現(xiàn)了越來越多的聯(lián)系。”

參考鏈接：

https://www.quantamagazine.org/an-idea-from-physics-helps-ai-see-in-higher-dimensions-20200109/

推薦閱讀

干貨|學(xué)術(shù)論文怎么寫

資源|NLP書籍及課程推薦（附資料下載）

干貨|全面理解N-Gram語言模型

資源|《Machine Learning for OpenCV》書籍推薦

歡迎關(guān)注我們，看通俗干貨！

總結(jié)

以上是生活随笔為你收集整理的“几何深度学习”受爱因斯坦启示：让AI摆脱平面看到更高的维度！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。