來(lái)源：Quantamagazine

　　【新智元導(dǎo)讀】卷積神經(jīng)網(wǎng)絡(luò)（CNN）已在平面視覺(jué)任務(wù)上大顯身手，但遇見(jiàn)不規(guī)則曲面，其效果往往大打折扣。高通和阿姆斯特丹大學(xué)提出的“規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)”成功突破了平面的限制，將 CNN 的視覺(jué)能力提升了一個(gè)維度，讓 AI 站的更高，看得更遠(yuǎn)。

　　現(xiàn)在，計(jì)算機(jī)可以駕駛汽車，在象棋和圍棋中擊敗世界冠軍，甚至撰寫散文。人工智能的革命很大程度上源于一種特殊類型的人工神經(jīng)網(wǎng)絡(luò)的力量，其設(shè)計(jì)靈感來(lái)自哺乳動(dòng)物視覺(jué)皮層中神經(jīng)元的連接層。事實(shí)證明，這些“卷積神經(jīng)網(wǎng)絡(luò)”（CNN）擅長(zhǎng)于學(xué)習(xí)二維數(shù)據(jù)中的模式，尤其是在計(jì)算機(jī)視覺(jué)任務(wù)中得到了廣泛應(yīng)用。

　　但是，如果將卷積神經(jīng)網(wǎng)絡(luò)用于沒(méi)有內(nèi)置平面幾何形狀的數(shù)據(jù)集（如 3D 計(jì)算機(jī)動(dòng)畫中使用的不規(guī)則形狀的模型，或者自動(dòng)駕駛汽車生成的點(diǎn)云來(lái)繪制周圍環(huán)境），這種強(qiáng)大的機(jī)器學(xué)習(xí)架構(gòu)的效果就要受到影響。2016 年前后，出現(xiàn)了一種稱為幾何深度學(xué)習(xí)的新學(xué)科，其目標(biāo)是將 CNN 拓展到平面之外。

　　現(xiàn)在，研究人員提供了一個(gè)新的理論框架，可用于構(gòu)建可以學(xué)習(xí)任何幾何表面上的圖案的神經(jīng)網(wǎng)絡(luò)。由阿姆斯特丹大學(xué)和高通 AI 研究中心的 Taco Cohen，Maurice Weiler，Berkay Kicanaoglu 和 Max Welling 開(kāi)發(fā)的“等規(guī)卷積神經(jīng)網(wǎng)絡(luò)”，不僅可以檢測(cè) 2D 像素陣列中的模式，而且還可以檢測(cè)在球體和不對(duì)稱彎曲的物體上的模式。Welling 表示：“這個(gè)框架是對(duì)曲面上深度學(xué)習(xí)問(wèn)題的絕對(duì)確定的答案。”

　　在模擬全球氣候數(shù)據(jù)的學(xué)習(xí)模式中，這種新架構(gòu)的性能已大大超過(guò)了其前輩。該算法還可能改善可視 3D 目標(biāo)的無(wú)人機(jī)和無(wú)人駕駛汽車的視覺(jué)效果，對(duì)于心臟、大腦或其他器官的不規(guī)則曲面上收集的數(shù)據(jù)，分析能力也能大為提升。

高通公司和阿姆斯特丹大學(xué)的機(jī)器學(xué)習(xí)研究員 Taco Cohen 是規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)的主要設(shè)計(jì)者之一

　　研究人員要讓深度學(xué)習(xí)模型擺脫平面的束縛，也與物理學(xué)有著深厚的聯(lián)系。描述世界的物理理論，比如愛(ài)因斯坦的廣義相對(duì)論和粒子物理學(xué)的標(biāo)準(zhǔn)模型，都表現(xiàn)出一種稱為“規(guī)范等變”的性質(zhì)。這意味著世界上的量及其關(guān)系不依賴于任意的參照系。

　　無(wú)論觀察者是移動(dòng)還是靜止不動(dòng)，無(wú)論標(biāo)尺上的數(shù)字有什么不同，這些量和關(guān)系都是一致的。在不同的量度上進(jìn)行的測(cè)量要想進(jìn)行轉(zhuǎn)換，必須要能夠相互保留彼此之間這些不變的潛在關(guān)系。

　　舉個(gè)例子，測(cè)量一個(gè)足球場(chǎng)的長(zhǎng)度，首先以碼為單位，然后再以米為單位進(jìn)行測(cè)量，得到的數(shù)字是不同的，但這是一種可預(yù)測(cè)的不同。同樣，兩位攝影師從兩個(gè)不同的有利位置拍攝同一個(gè)對(duì)象的照片會(huì)產(chǎn)生不同的圖像，但是這些圖像可以彼此關(guān)聯(lián)。量表的等方差可確保物理學(xué)家的現(xiàn)實(shí)模型保持一致，無(wú)論他們的觀測(cè)點(diǎn)或測(cè)量單位如何變化。

　　紐約大學(xué)物理學(xué)家凱爾·克蘭默（Kyle Cranmer）說(shuō)：“他們希望將這種思想其、引入神經(jīng)網(wǎng)絡(luò)，要將機(jī)器學(xué)習(xí)應(yīng)用于粒子物理學(xué)數(shù)據(jù)上，而且成功實(shí)現(xiàn)了。”

　　一、規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)：“逃離平面，看懂 3D”

　　倫敦帝國(guó)理工學(xué)院的計(jì)算機(jī)科學(xué)家邁克爾·布朗斯坦（Michael Bronstein）在 2015 年提出“幾何深度學(xué)習(xí)”一詞，用以描述為神經(jīng)網(wǎng)絡(luò)擺脫平面束縛而進(jìn)行的新努力，并設(shè)計(jì)了可以學(xué)習(xí)非平面數(shù)據(jù)模式的神經(jīng)網(wǎng)絡(luò)。這個(gè)詞和相關(guān)研究工作很快流行起來(lái)。

　　Bronstein 明白，要想超越歐幾里德平面，需要重新構(gòu)想一種基本的計(jì)算程序，該程序首先使神經(jīng)網(wǎng)絡(luò)能高效實(shí)現(xiàn) 2D 圖像識(shí)別。此過(guò)程稱為“卷積”，它使神經(jīng)網(wǎng)絡(luò)的一層對(duì)輸入數(shù)據(jù)一小批執(zhí)行數(shù)學(xué)運(yùn)算，然后將結(jié)果傳遞到網(wǎng)絡(luò)中的下一層。

　　“基本上可以將卷積視為滑動(dòng)的窗口，” Bronstein 解釋說(shuō)。卷積神經(jīng)網(wǎng)絡(luò)將許多這些“窗口”滑動(dòng)到數(shù)據(jù)上，例如過(guò)濾器，每一個(gè)都旨在檢測(cè)數(shù)據(jù)中的某種模式。如果是貓的照片，經(jīng)過(guò)訓(xùn)練的 CNN 可能會(huì)使用過(guò)濾器來(lái)檢測(cè)原始輸入像素中的低級(jí)特征，例如邊緣。

　　這些特征會(huì)傳遞到網(wǎng)絡(luò)中的其他層，執(zhí)行其他卷積，并提取更高層的特征，如眼睛，尾巴或三角形的耳朵。用于識(shí)別貓的 CNN 最終將使用這些分層卷積的結(jié)果，為整個(gè)圖像分配標(biāo)簽（“是貓”或“不是貓”）。

卷積神經(jīng)網(wǎng)絡(luò)是如何“看見(jiàn)”目標(biāo)的

　　但這種方法僅適用于平面。韋林說(shuō)：“如果要分析的表面是彎曲的，那么基本上會(huì)遇到麻煩。”

　　在曲面上進(jìn)行卷積（在幾何學(xué)上稱為“流形”），就像在地球上拿著一小塊半透明的方格紙，然后試圖準(zhǔn)確地追蹤格陵蘭島的海岸線一樣困難。不可能在不使紙張起皺的情況下，將正方形按在格陵蘭島上，也就是說(shuō)，當(dāng)再次把這張紙展平時(shí)，圖形將會(huì)出現(xiàn)變形。

　　如果流形不是球形的這樣的整齊球體，而是瓶子的形狀，或是折疊的蛋白質(zhì)等更復(fù)雜、更不規(guī)則的物體，則在這些目標(biāo)上進(jìn)行卷積操作會(huì)變得更加困難。

　　Bronstein 等人在 2015 年找到了解決非歐流形上卷積問(wèn)題的一種解決方案：將“滑動(dòng)窗口”重新想象成更像是圓形蜘蛛網(wǎng)狀，而不是一張方格紙，這樣就可以將其壓在地球上（或任何曲面上），而不會(huì)造成“窗口”的彎曲、拉伸或撕裂。

　　以這種方式更改“滑塊”過(guò)濾器的屬性，可以讓 CNN 能夠更好地“理解”某些幾何關(guān)系。比如可以自動(dòng)識(shí)別出彎成兩個(gè)不同姿勢(shì)的 3D 形狀（一個(gè)站直的人，和一個(gè)抬起一條腿的人）是同一類對(duì)象實(shí)例，而不是兩個(gè)完全不同的對(duì)象。這一變化讓神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率大大提高。Bronstein 說(shuō)，標(biāo)準(zhǔn)的 CNN“需要花數(shù)周時(shí)間進(jìn)行訓(xùn)練，使用數(shù)百萬(wàn)個(gè)形狀示例，我們以不同的姿勢(shì)使用了大約 100 種形狀，只需要大約半小時(shí)的訓(xùn)練。”

　　同時(shí)，塔科·科恩（Taco Cohen）等人開(kāi)始從相反方向著手解決同一問(wèn)題。2015 年，當(dāng)時(shí)還在讀研究生的科恩尚未研究這個(gè)問(wèn)題。當(dāng)時(shí)他對(duì)一個(gè)實(shí)際的工程問(wèn)題很感興趣：提升數(shù)據(jù)效率，即如何用更少的示例來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

　　科恩說(shuō)：“深度學(xué)習(xí)是一種非常緩慢的學(xué)習(xí)。”如果要訓(xùn)練 CNN 來(lái)識(shí)別貓，那么幾乎沒(méi)什么問(wèn)題，因?yàn)榫W(wǎng)絡(luò)上有大量的貓的圖像數(shù)據(jù)。但是，如果想讓 CNN 檢測(cè)更重要的內(nèi)容，例如肺組織圖像中的癌性結(jié)節(jié)，那么找到足夠的訓(xùn)練數(shù)據(jù)（需要醫(yī)學(xué)上準(zhǔn)確、正確標(biāo)記，并且沒(méi)有隱私問(wèn)題）并非易事。訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)示例越少越好。

　　Cohen 知道，提高神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)效率的一種方法是，預(yù)先為數(shù)據(jù)配備某些假設(shè)條件，例如告訴神經(jīng)網(wǎng)絡(luò)，即使肺腫瘤在圖像中出現(xiàn)旋轉(zhuǎn)或映射，它仍然是肺腫瘤。

　　2016 年，Cohen 和 Welling 合寫了一篇論文，定義了如何將其中的一些假設(shè)條件編碼為幾何對(duì)稱的神經(jīng)網(wǎng)絡(luò)。這種方法效果非常好，到 2018 年，Cohen 和 Marysia Winkels 進(jìn)一步推廣了該方法，證明了在 CT 掃描中識(shí)別肺癌的可喜結(jié)果：他們構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，僅使用之前模型十分之一訓(xùn)練數(shù)據(jù)，就能識(shí)別出肺癌的可視化證據(jù)。

　　在此基礎(chǔ)上，研究人員不斷推廣，找到了規(guī)范等變卷積神經(jīng)網(wǎng)絡(luò)。

　　二、從物理學(xué)到 CNN：“等變”思想的擴(kuò)展

　　物理和機(jī)器學(xué)習(xí)具有基本的相似性。正如 Cohen（Cohen）所說(shuō)：“兩個(gè)領(lǐng)域都涉及進(jìn)行觀測(cè)，然后建立模型進(jìn)行預(yù)測(cè)。”并非單個(gè)事物的模型，而是整個(gè)品類的模型。例如，我們不會(huì)為頭朝上的氫原子建一個(gè)模型、頭朝下的氫原子再建一個(gè)。

　　等變（或“協(xié)變”，物理學(xué)家偏愛(ài)的術(shù)語(yǔ)）是自愛(ài)因斯坦以來(lái)，物理學(xué)家賴以推廣其模型的假設(shè)。

　　阿姆斯特丹大學(xué)的理論物理學(xué)家 Miranda Cheng 解釋說(shuō)：“這只是意味著，如果你正確的描述了物理，那么它應(yīng)該不取決于你用的哪種‘尺子’、后者你觀察時(shí)候的視角。”

　　Cheng（上圖）和 Cohen 等撰寫了一篇論文，探討了物理學(xué)與規(guī)范等變 CNN 之間的聯(lián)系。

　　就像愛(ài)因斯坦本人在 1916 年所說(shuō)的那樣：“自然的一般定律應(yīng)由對(duì)所有坐標(biāo)系都適用的方程式表示。”

　　卷積網(wǎng)絡(luò)通過(guò)利用該原理的一個(gè)簡(jiǎn)單示例“平移等變”，成為深度學(xué)習(xí)中最成功的方法之一。一個(gè)窗口過(guò)濾器檢測(cè)圖像中特定特征（例如垂直邊緣），將滑動(dòng)（或“平移”）在像素平面上，并對(duì)所有這些垂直邊緣的位置進(jìn)行編碼；然后，它會(huì)創(chuàng)建一個(gè)標(biāo)記這些位置的“功能圖”，并將其傳遞到網(wǎng)絡(luò)的下一層。

由于平移等變，使得創(chuàng)建特征圖成為可能。神經(jīng)網(wǎng)絡(luò)“假定”同一特征可以出現(xiàn)在 2D 平面中的任何位置，并且能夠?qū)o(wú)論是在右上角還是在左下角的垂直邊緣，都識(shí)別為垂直邊緣。
Weiler 說(shuō)：“關(guān)于等變神經(jīng)網(wǎng)絡(luò)的觀點(diǎn)是[采用]這些明顯的對(duì)稱性并將它們放入網(wǎng)絡(luò)體系結(jié)構(gòu)中，有點(diǎn)像免費(fèi)午餐。”

到 2018 年，Weiler，Cohen 及其博士導(dǎo)師 Max Welling 擴(kuò)大了“免費(fèi)午餐”的范圍，將其他等變包括在內(nèi)。他們的“集群等變” CNN 可以檢測(cè)平面圖像中的旋轉(zhuǎn)或反射特征，而無(wú)需針對(duì)這些方向上的特征訓(xùn)練特定示例；球形 CNN 可以根據(jù)球體表面上的數(shù)據(jù)創(chuàng)建特征圖，而不會(huì)將其扭曲為平面投影。

　　這些方法仍然不夠通用，無(wú)法處理具有顛簸，不規(guī)則結(jié)構(gòu)的流形上的數(shù)據(jù)，該數(shù)據(jù)描述了從土豆到蛋白質(zhì)，到人體，到時(shí)空彎曲的幾乎所有物體的幾何形狀。

　　對(duì)于神經(jīng)網(wǎng)絡(luò)，這些類型的流形沒(méi)有“全局”對(duì)稱性來(lái)做出以下等變假設(shè)：它們上的每個(gè)位置都是不同的。

　　挑戰(zhàn)在于，將細(xì)分過(guò)濾器在表面上滑動(dòng)會(huì)改變過(guò)濾器的方向，具體取決于其采用的特定路徑。

　　想象一下設(shè)計(jì)用于檢測(cè)簡(jiǎn)單圖案的過(guò)濾器：深色斑點(diǎn)在左，淺色在右。在平面網(wǎng)格上下左右滑動(dòng)它，它將始終保持右邊朝上。但是，即使在球體的表面上，這種情況也會(huì)改變。

　　將濾鏡圍繞球面的赤道移動(dòng) 180 度，則濾鏡的方向?qū)⒈３植蛔儯荷钌唿c(diǎn)在左，淺色斑點(diǎn)在右。但如果通過(guò)球體的北極上方移過(guò)，濾鏡就反過(guò)來(lái)了，深右淺左。在更復(fù)雜的歧管上移動(dòng)過(guò)濾器，它最終可能指向許多雙重的方向。幸運(yùn)的是，自愛(ài)因斯坦以來(lái)的物理學(xué)家找到了解決方案：軌距等變。

　　Welling 解釋說(shuō)，關(guān)鍵是忘記跟蹤過(guò)濾器沿不同路徑移動(dòng)時(shí)方向如何變化。取而代之的是，只選擇一個(gè)過(guò)濾器方向（或 gauge），然后定義一種將所有其他方向轉(zhuǎn)換為該方向的一致方法。

　　要注意的是，盡管可以在初始方向上使用任意量度，但將其他量度轉(zhuǎn)換為該參考系必須保留的基本模式。Weiler 說(shuō)，采用這種等量變方法，“實(shí)際數(shù)字發(fā)生了變化，但是它們以完全可預(yù)測(cè)的方式發(fā)生了變化。”

　　Cohen，Weiler 和 Welling 在 2019 年將 gauge-equivariant（最終的“免費(fèi)午餐”）編碼到了他們的卷積神經(jīng)網(wǎng)絡(luò)中。通過(guò)將數(shù)學(xué)約束納入神經(jīng)網(wǎng)絡(luò)可以通過(guò)卷積在數(shù)據(jù)中“看到”。

　　Welling 說(shuō)：“基本上，它可以提供任何表面”，從歐幾里德平面到任意彎曲的物體，包括諸如 Klein 瓶或四維時(shí)空的奇異流形，“這對(duì)在該表面上進(jìn)行深度學(xué)習(xí)非常有用。”

　　三、理論起源：來(lái)自愛(ài)因斯坦的啟示

　　規(guī)范等變 CNN 的起源理論非常廣泛，沿用了以前的幾何深度學(xué)習(xí)方法的內(nèi)在假設(shè)，如旋轉(zhuǎn)等變和球上的移位過(guò)濾器。即使是 Michael Bronstein 的早期方法，也可以讓神經(jīng)網(wǎng)絡(luò)識(shí)別彎曲成不同姿勢(shì)的單個(gè) 3D 形狀。“Gauge-equivariant 是一個(gè)非常廣泛的框架。它包含了我們?cè)?2015 年所做的特定設(shè)置。” Bronstein 說(shuō)。

　　理論上，CNN 計(jì)可在任何尺寸的任何曲面上工作，但 Cohen 及其合作者已在全球氣候數(shù)據(jù)上對(duì)其進(jìn)行了測(cè)試，該數(shù)據(jù)必定具有潛在的 3D 球形結(jié)構(gòu)。他們使用等量線框架構(gòu)造了一個(gè) CNN，該 CNN 經(jīng)過(guò)訓(xùn)練可以從氣候模擬數(shù)據(jù)中檢測(cè)出極端天氣模式，例如熱帶氣旋。

　　2017 年，政府和學(xué)術(shù)研究人員使用標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)以 74％ 的準(zhǔn)確性檢測(cè)數(shù)據(jù)中的氣旋特征；去年，美國(guó)有線電視新聞網(wǎng)（CNN）探測(cè)到旋風(fēng)的準(zhǔn)確率達(dá)到 97.9％。（優(yōu)于 2018 年專門為球體設(shè)計(jì)的不太通用的幾何深度學(xué)習(xí)方法，該系統(tǒng)的準(zhǔn)確度為 94％。）Lawrence Berkeley National Laboratory 的氣候科學(xué)家 Mayur Mudigonda 使用深度學(xué)習(xí)，表示將繼續(xù)關(guān)注測(cè)量 CNN。

　　他說(shuō)：“人類視覺(jué)智能的這一方面”（無(wú)論模式如何定向）都可以準(zhǔn)確地識(shí)別出來(lái)，“這就是我們想要轉(zhuǎn)化為氣候社區(qū)的東西。”

　　高通是一家芯片制造商，最近雇用了 Cohen 和 Welling，并收購(gòu)了他們建立的一家初創(chuàng)公司，將其早期工作納入等變神經(jīng)網(wǎng)絡(luò)。現(xiàn)在，高通正計(jì)劃應(yīng)用規(guī)范 CNN 理論來(lái)開(kāi)發(fā)改進(jìn)的計(jì)算機(jī)視覺(jué)應(yīng)用，例如可以直接“看到”360 度全景的無(wú)人機(jī)，就像全球氣候數(shù)據(jù)一樣，可以將這個(gè)世界的魚眼圖自然地映射到球形表面上。

　　同時(shí)，規(guī)范的 CNN 在諸如 Cranmer 之類的物理學(xué)家中越來(lái)越受歡迎，他們計(jì)劃將其用于處理亞原子粒子相互作用的模擬數(shù)據(jù)。Cranmer 說(shuō)：“我們正在分析與強(qiáng)大的核力量有關(guān)的數(shù)據(jù)，試圖了解質(zhì)子內(nèi)部發(fā)生了什么。”他說(shuō)，數(shù)據(jù)是四維的，“因此，對(duì)于具有這種規(guī)范等變的神經(jīng)網(wǎng)絡(luò)，這是一個(gè)完美的應(yīng)用實(shí)例。”

　　前物理學(xué)家 Risi Kondor 現(xiàn)在正在研究等變神經(jīng)網(wǎng)絡(luò)，他說(shuō)，規(guī)范 CNN 的潛在科學(xué)應(yīng)用可能比其在 AI 中的應(yīng)用更為重要。

　　他說(shuō)：“如果在 YouTube 上即使發(fā)現(xiàn)自己不太擅長(zhǎng)識(shí)別上下顛倒的貓，也許可以忍受。”但是對(duì)于物理學(xué)家來(lái)說(shuō)，至關(guān)重要的是要確保神經(jīng)網(wǎng)絡(luò)不會(huì)因?yàn)槠涮囟ǖ姆较蚨e(cuò)誤地識(shí)別力場(chǎng)或粒子軌跡。Kondor 說(shuō)：“這不僅僅是方便的問(wèn)題，而且必須尊重基本的對(duì)稱性。”

　　但是，盡管物理學(xué)家的數(shù)學(xué)方法啟發(fā)了人們對(duì) CNN 的了解，物理學(xué)家可能會(huì)為它們找到很多用處，但 Cohen 指出，這些神經(jīng)網(wǎng)絡(luò)本身并不會(huì)發(fā)現(xiàn)任何新的物理學(xué)。

　　他說(shuō)：“我們現(xiàn)在能夠設(shè)計(jì)處理非常奇特的數(shù)據(jù)的網(wǎng)絡(luò)，但必須知道該數(shù)據(jù)的結(jié)構(gòu)是什么。”換句話說(shuō)，物理學(xué)家之所以可以使用規(guī)范的 CNN 是因?yàn)閻?ài)因斯坦已經(jīng)證明時(shí)空可以表示為四維彎曲流形。

　　Cohen 的神經(jīng)網(wǎng)絡(luò)將無(wú)法獨(dú)自“看到”該結(jié)構(gòu)。他說(shuō)：“目前還沒(méi)開(kāi)始做學(xué)習(xí)對(duì)稱性的事情，”盡管他希望將來(lái)有可能。

　　Cohen 說(shuō)：“我一直感覺(jué)機(jī)器學(xué)習(xí)和物理學(xué)正在做非常相似的事情。這是我發(fā)現(xiàn)真正不可思議的事情之一：我們只是從這個(gè)工程問(wèn)題開(kāi)始，并且隨著我們開(kāi)始改進(jìn)，我們逐漸發(fā)現(xiàn)了越來(lái)越多的聯(lián)系。”

總結(jié)

以上是生活随笔為你收集整理的“几何深度学习”受爱因斯坦启示：让AI摆脱平面看到更高的维度！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。