一位意大利數學家表示，現在我們可以使用一種新數學方法，讓機器學習系統能更高效、快速地學習識別復雜圖像。該數學家提出的理論已經被 Nature 子刊《Machine Intelligence》接收，該論文的作者表示，這種新方法可以稱為「拓撲數據分析（TDA）」。

從數學理論的角度來理解并提升機器學習方法，這也是近來非常有潛力的研究方向。不論是以前通過常微分方程或偏微分方程形式化神經網絡，還是這一篇從拓撲學的角度強化神經網絡的魯棒性，也許當更多的數學基礎被賦予機器學習時，它的發展與創新就會變得更加有「規律」。

本文介紹了這種基于拓撲學的數學方法，因為具體的推導與證明非常復雜，我們只簡要介紹主體思想與實驗，更多詳細內容可查閱原論文。

目前的 ML 有什么缺陷

ML 有很多缺陷。首先，機器學習系統的魯棒性一直備受質疑。例如，在識別目標時，如果目標發生旋轉，則 ML 系統不能識別這一目標。此外，研究者提到，即使 ML 系統在性能方面表現良好，人們依然不知道模型內部發生了什么。

這兩大問題促使研究者探究——是否可以將知識在訓練前輸入模型中，使其在一個更為有限的空間內進行搜索，而不是考慮搜索空間中所有的可能，哪怕是那些在現實中從來不可能出現的。

「我們想要控制模型學習到的特征所在空間，」論文一作 Mattia Bergomi 表示，「這有點像平庸和大師級象棋選手的差別，前者看到了所有可能的棋路，但是后者只看到那些好的路子。」

據研究者們介紹，他們的研究只集中解決一個問題：「訓練識別路標的深度神經網絡時，如何告訴網絡只需要關注三角形、環形等簡單的幾何形狀即可。」

可以識別圖像旋轉的「機器」。

怎樣解決？

對此，研究者提出了一種名為拓撲數據分析（Topological Data Analysis: TDA）的方法。TDA 可以被視為是一種搜索拓撲特征這一內部結構的工具，根據拓撲特征，任意復雜的目標都能表示為一大組數字。而種拓撲特征只需要通過特定的「鏡頭」，或者過濾器，來對數據進行瀏覽就能得到。

例如，對于人臉數據來說，使用 TDA 可以教會神經網絡在沒有多種角度的人臉數據的情況下進行人臉識別。

為了測試這種方法，研究人員設置了一個教會神經網絡學習識別手寫數字的實驗。根據手寫數字的人的不同，寫出的數字可能是兩個一樣的，或者看起來很不一樣但實際上是一個數字的情況。研究者構建了一系列他們認為有意義的先驗特征，并要求機器從這些不同的「鏡頭」中選擇，并處理圖像。

研究人員從數學角度介紹了這種通用型框架。他們表示，TDA 是一種可以在數據集上進行運算的算子集合。

具體而言，拓撲學數據分析方法用于描述群等不變非擴張算子（group equivariant nonexpansive operators: GENEO）的空間。GENEO 是函數空間和變換之間的映射。研究人員研究了 GENEO 的拓撲和度量性質，用于評價它們的近似率，并設置了用于初始化的泛化策略。在結合了算子后，研究人員最終將它們以樹狀結構連接，用于組成算子網絡。

研究人員發現，用于識別數字 5 和數字 7 的 TDA 增強神經網絡所需要的訓練數據量和訓練時間都相當程度地減少了。

實驗結果

在這一部分中，研究者測試了該方法在分類數據集中的效果。首先作者構建了一種算法以允許選擇并采樣 GENEO，從而通過一種標注函數學習在數據集上歸納的度量。隨后作者定義了 GENEO 將要使用的目標類別，它們都是 MNIST、fashion-MNIST 和 CIFAR-10 數據集中的類別。

選擇和采樣會用于逼近一個智能體，從而允許表達這些數據集潛在的度量標準，這只要觀察每類別 20 到 40 個樣本就可以完成。最后，研究者可以將選擇和采樣的 GENEO 注入到神經網絡的知識中。

圖 2：整個實驗的 Pipeline。

圖 3：在 MNIST 數據集上選定的 IENEO。通過考慮在 GENEO 空間上定義的度量，我們可以選擇能識別 MNIST 數據集的運算子。

圖 4：通過 IENEO 選擇和采樣的度量學習。其中 A 為從 MNIST 數據集中采樣的「7」和「5」，B、C、D 表示層級聚類結果。其中層級聚類通過使用不同維度的 IENEO 來度量驗證樣本屬于「7」和「5」的距離。

圖 5：IENEO 在 fashion-MNIST 和 CIFAR-10 上的度量學習。

參考鏈接：

https://cosmosmagazine.com/mathematics/novel-maths-could-bring-ai-to-next-level

https://www.eurekalert.org/pub_releases/2019-09/ccft-nmc082919.php

總結

以上是生活随笔為你收集整理的为ML带来拓扑学基础，Nature子刊提出拓扑数据分析方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。