出品｜網(wǎng)易科技《智見焦點》

作者｜趙芙瑤

編輯｜丁廣勝

當全球的科技大廠就在加碼AI時，曾為Open AI創(chuàng)始人之一的馬斯克自然不甘落后。

七月中旬，馬斯克創(chuàng)立的人工智能實驗室xAI橫空出世，彼時，馬斯克表示構(gòu)建xAI的目標是要專注于回答更深層次的科學問題，期望未來可以利用AI幫助人們?nèi)ソ鉀Q復(fù)雜的科學和數(shù)學問題，并“理解”宇宙。

仔細查看xAI初創(chuàng)成員的名單，有來自谷歌、微軟以及多倫多大學的研究員，個個經(jīng)驗豐富、履歷出色。其中有一位華人的履歷與經(jīng)歷備受矚目，他是整個團隊初創(chuàng)成員中唯一的本科生，也是OpenAI的貢獻者之一，他就是Greg Yang，楊格。

哈佛求學 加入微軟

摩根獎提名者因數(shù)學而“燃”？

在北京長大的楊格，從小就展現(xiàn)出卓越的數(shù)學才能。他成績優(yōu)異，順利考入了哈佛大學數(shù)學系本科。在哈佛的學習生活中，他學業(yè)表現(xiàn)極為突出，但同時也因?qū)σ魳返臒釔郏瑳Q定休學去追求自己的DJ夢想，短暫開啟了一兩年的“打碟生涯”。未曾想，休學重新點燃了楊格對數(shù)學的熱情，二度休學的他決定再次回到哈佛，專心投入學業(yè)。不得不說，“愛好”休學這一點，楊格和馬斯克頗為相像。

重返哈佛后，楊格發(fā)表了自己的第一篇論文，并迷上了神經(jīng)圖靈機，發(fā)現(xiàn)了代數(shù)拓撲學和機器學習理論中的一個有趣的聯(lián)系。畢業(yè)時，他順利拿到谷歌offer，然而，彼時在楊格的導師丘先生看來，谷歌并不是最優(yōu)之選，勸他放棄。取而代之，丘先生聯(lián)系了他的朋友沈向洋，也就是微軟研究院的負責人。沈向洋通過電話對楊格進行了面試，雖然沈向洋自認數(shù)學水平不足以全面評估楊格，但他安排了菲爾茲獎得主麥克對楊格進行面試。麥克面試后贊嘆不已，稱這個年輕人非常出色。

要知道，微軟研究院平時只招收博士生，而楊格作為本科畢業(yè)生，成為少數(shù)例外。進入微軟研究院后，楊格展現(xiàn)出非凡的才華，特別是在GPT的發(fā)展過程中，發(fā)揮了舉足輕重的作用。

值得一提的是，楊格2018年獲得了摩根獎榮譽提名，在推特簡介中表示自己致力于發(fā)展TensorPrograms理論和擴展neuralnetworks的實踐。xAI官宣后，楊格發(fā)表推文稱，深度學習的數(shù)學是深奧、美麗而又非常有效的。發(fā)展出適用于大型神經(jīng)網(wǎng)絡(luò)的“萬物理論”將對將人工智能提升到新水平起到關(guān)鍵作用。反過來，這種人工智能將使每個人都能以前所未有的方式理解我們的數(shù)學世界。

馬斯克特別邀請楊格成為xAI合伙人，也足以可見對其能力以及實力的認可。

創(chuàng)新提出張量程序

推動深度學習領(lǐng)域研究與發(fā)展

要說楊格對于AI領(lǐng)域的最大貢獻，無疑是創(chuàng)立了Tensor Programs（張量程序）。該理論是一個數(shù)學框架，用于理解和描述大型神經(jīng)網(wǎng)絡(luò)的計算過程。

張量程序理論的核心概念是將神經(jīng)網(wǎng)絡(luò)的計算表示為一系列矩陣乘法和逐元素非線性函數(shù)的組合。這樣的表示形式簡化了對神經(jīng)網(wǎng)絡(luò)計算的分析，使我們能夠更深入地理解神經(jīng)網(wǎng)絡(luò)的行為和性質(zhì)。

這個理論的重要性在于它具有普適性。事實上，幾乎所有深度學習中的計算都可以表示為張量程序。包括像GPT-3這樣的巨大神經(jīng)網(wǎng)絡(luò)，在張量程序的框架下，其計算過程可以用相對簡單的矩陣乘法和非線性函數(shù)的組合來描述，這使得AI研究人員能夠更容易地對復(fù)雜的模型和算法進行分析和理解。

張量程序理論的另一個重要特性是它存在一個“無限寬度”極限，可以從程序本身推導出來。這意味著它能夠提供深度學習計算的無限寬度極限，從而幫助我們更好地理解和優(yōu)化大型神經(jīng)網(wǎng)絡(luò)。

與此同時，張量程序理論為大規(guī)模深度學習提供了理論基礎(chǔ)，有助于解決深度學習中的一些重要問題。其中一個關(guān)鍵的應(yīng)用是超參數(shù)傳遞（hyperparameter transfer），它允許我們在龐大的神經(jīng)網(wǎng)絡(luò)中通過調(diào)整一個較小版本的網(wǎng)絡(luò)的超參數(shù)，來有效地調(diào)整整個大型模型，從而避免了昂貴的多次訓練。

在張量程序理論的發(fā)展過程中，楊格和他的團隊提出了一系列關(guān)鍵論文，包括"Scaling Limits of Wide Neural Networks"系列，其中包括TP1、TP2、TP2b、TP3、TP4和TP5等論文。這些論文逐步展示了張量程序理論的重要性和實際應(yīng)用。

總的來說，張量程序理論提供了更高效的模型優(yōu)化和調(diào)優(yōu)方法，以及更全面的安全性和對齊性考量。這將推動AI技術(shù)的不斷進步，為人工智能的應(yīng)用和發(fā)展打下堅實的理論基礎(chǔ)。

未來，這位馬斯克欽點的AI大咖將如何在xAI大展宏圖？相信很快就會等到答案。

總結(jié)

以上是生活随笔為你收集整理的二度休学、xAI创始团队唯一本科生，摩根奖提名者杨格为何被马斯克看中？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。