UC伯克利博士尤洋回国创业，曾破ImageNet纪录！已获超千万融资
曾刷新ImageNet紀(jì)錄的尤洋，回國創(chuàng)業(yè)了！
尤洋，何許人也？
他是LAMB優(yōu)化器的提出者，曾成功將預(yù)訓(xùn)練一遍BERT的時(shí)間，從原本的三天三夜一舉縮短到一個(gè)多小時(shí)。
作為一個(gè)通用的神經(jīng)網(wǎng)絡(luò)優(yōu)化器，LAMB優(yōu)化器無論是大批量還是小批量的網(wǎng)絡(luò)都可以使用，也無需在學(xué)習(xí)率之外調(diào)試超參數(shù)。
據(jù)英偉達(dá)官方GitHub顯示，LAMB比Adam優(yōu)化器可以快出整整72倍。
微軟的DeepSpeed，用的也是LAMB方法。
而這是尤洋在谷歌實(shí)習(xí)時(shí)作為論文一作提出的。
現(xiàn)在，他已經(jīng)在UC伯克利獲得了博士學(xué)位，帶著LAMB方法回國，創(chuàng)立了潞晨科技。
公司主營業(yè)務(wù)包括分布式軟件系統(tǒng)、大規(guī)模人工智能平臺以及企業(yè)級云計(jì)算解決方案。
base北京中關(guān)村，目前已經(jīng)獲得由創(chuàng)新工場和真格基金合投的超千萬元種子輪融資。
要高效率，也要低能耗
作為高性能計(jì)算領(lǐng)域的優(yōu)秀青年學(xué)者，尤洋回國將在這一領(lǐng)域繼續(xù)深耕。
事實(shí)上，高性能計(jì)算已經(jīng)成為眼下前沿AI發(fā)展的必然選擇。
隨著AI模型的參數(shù)量越來越大，所需的算力也就越來越高，訓(xùn)練一次模型的時(shí)間也就變得十分漫長。
為此，科技巨頭們紛紛部署了自己的集群和超算。
比如Google的TPU Pod，微軟為OpenAI打造的1萬GPU集群，英偉達(dá)的SuperPOD，以及特斯拉的Dojo計(jì)算機(jī)。
△谷歌數(shù)據(jù)中心
但是單純地堆硬件，并不能解決所有問題。
一方面，當(dāng)硬件數(shù)量達(dá)到一定量后，堆機(jī)器無法帶來效率上的提升；
另一方面，中小企業(yè)往往沒有足夠的資金支持如此大規(guī)模的硬件部署。
因此，優(yōu)化技術(shù)成為了絕佳選擇。
潞晨科技就是旨在打造一個(gè)高效率低耗能的分布式人工智能系統(tǒng)。
它可以幫助企業(yè)在最大化提升人工智能部署效率的同時(shí)，還能將部署成本最小化。
而且潞晨打造的系統(tǒng)是一個(gè)通用系統(tǒng)，對大部分超大模型都有效。
就目前的Transformer應(yīng)用而言，該系統(tǒng)在同樣的硬件上相對業(yè)界最好的系統(tǒng)，可以提升2.32倍的效率。
而且隨著機(jī)器數(shù)量的增長，這套系統(tǒng)的優(yōu)勢會越來越大。
考慮到現(xiàn)在的AI模型其實(shí)是往多維度發(fā)展的，尤洋在打造這套系統(tǒng)時(shí)還選擇了動態(tài)模型并行技術(shù)。
這不僅能夠適應(yīng)現(xiàn)在模型的發(fā)展模式，還能極大提升計(jì)算效率。
那么，到底什么是AI模型的多維度發(fā)展呢？
比如，BERT是基于Transformer Encoder，GPT-3是基于Transformer Decoder，Switch Transformer和清華智源是基于混合專家系統(tǒng)。
同樣，超算系統(tǒng)、聯(lián)邦學(xué)習(xí)、跨云計(jì)算等硬件配置也會將系統(tǒng)復(fù)雜化。
這兩者之間的自適應(yīng)配置，將對整個(gè)訓(xùn)練系統(tǒng)的性能起著決定性影響。
為此，尤洋他們實(shí)現(xiàn)了2維網(wǎng)格參數(shù)劃分、3維立體參數(shù)劃分、以及2.5維通信最小化參數(shù)劃分，極大提升了計(jì)算效率。
同時(shí)，他們還進(jìn)行了逐序列劃分?jǐn)?shù)據(jù)，這可用于處理未來的大圖片、視頻、長文本、長時(shí)間醫(yī)療監(jiān)控?cái)?shù)據(jù)等方面的問題。
除了提升效率，尤洋他們還著重考慮了能耗問題。
事實(shí)上，能耗很可能會成為未來人工智能應(yīng)用上的一個(gè)瓶頸。
根據(jù)Emma Strubell等人的研究，從紐約到舊金山每位旅客乘坐飛機(jī)產(chǎn)生二氧化碳排放量1,984 lbs。
然而，訓(xùn)練一個(gè)2億參數(shù)的模型需要的能耗，就能達(dá)到626,155 lbs。
顯而易見，低能耗計(jì)算十分必要。
尤洋他們在研究中發(fā)現(xiàn)，在不改變硬件設(shè)置的情況下，能耗主要來自于數(shù)據(jù)移動。
數(shù)據(jù)移動包括集群內(nèi)服務(wù)器之間的通訊、GPU與CPU之間的通訊、CPU與磁盤的通訊等等。
為此，他們還實(shí)現(xiàn)了一套基于通訊避免算法的系統(tǒng)?？梢栽诓辉黾佑?jì)算量的情況下有效減少數(shù)據(jù)移動量，從而減少能耗。
核心技術(shù)
據(jù)尤洋介紹，以上他們打造的通用系統(tǒng)，依舊離不開LAMB方法。
LAMB的全稱是Layer-wise Adaptive Moments optimizer for Batch training，和大家熟悉的SGD、Adam屬于同類，都是機(jī)器學(xué)習(xí)模型的優(yōu)化器（optimizer）。
之前我們也提到，LAMB無論是大批量還是小批量的網(wǎng)絡(luò)都可以使用，也無需在學(xué)習(xí)率之外調(diào)試超參數(shù)。
靠著這一特點(diǎn)，此前尤洋等人將批大小由512擴(kuò)展到了65536。
這也是第一次有研究用2000以上的超大批量來訓(xùn)練BERT。
帶來的提升就是迭代次數(shù)會大大降低。
這讓BERT-Large模型原本需要1000000次迭代才能完成預(yù)訓(xùn)練過程，有了LAMB加持用上大批量，只需要進(jìn)行8599次迭代，這大幅縮短了預(yù)訓(xùn)練時(shí)間。
此外，尤洋等人最近提出的在線演化調(diào)度程序ONES，也是這套通用系統(tǒng)調(diào)用的一部分。
它可以根據(jù)批大小自動管理每個(gè)job，從而將GPU的利用率最大化。還能通過演化算法，不斷優(yōu)化調(diào)度決策。
評估結(jié)果表明，ONES與當(dāng)前最先進(jìn)的方法相比，在平均JCT（job completion time）上能夠縮短45.6%的時(shí)間，優(yōu)于現(xiàn)有的深度學(xué)習(xí)調(diào)度算法。
據(jù)悉，尤洋團(tuán)隊(duì)已經(jīng)與多家企業(yè)展開合作。
他們表示，公司的戰(zhàn)略是“先造錘子，再找釘子”。創(chuàng)業(yè)初期希望打造一個(gè)通用系統(tǒng)，1年內(nèi)完成系統(tǒng)優(yōu)化，用于中小型企業(yè)。
清華學(xué)子歸國創(chuàng)業(yè)
說起尤洋，就不得不說一說他的“學(xué)霸史”了。
尤洋曾以第一名的成績保送清華計(jì)算機(jī)系碩士。
后來在申請博士時(shí)，他從UC伯克利、CMU、芝加哥大學(xué)、UIUC、佐治亞理工、西北大學(xué)六所名校的全獎(jiǎng)offer中，選擇了UC伯克利。
讀博期間，尤洋先后在Google Brain、英特爾實(shí)驗(yàn)室、微軟研究院、英偉達(dá)、IBM沃森研究中心等知名企業(yè)、研究院實(shí)習(xí)，實(shí)習(xí)期間為TensorFlow、英偉達(dá)GPU上部署caffe、英特爾CPU部署caffe等大型知名開源項(xiàng)目作出了貢獻(xiàn)。
△實(shí)習(xí)期間尤洋曾去老黃家開party
博士畢業(yè)時(shí)，尤洋還獲得了頒發(fā)給UC伯克利優(yōu)秀畢業(yè)生的Lotfi A. Zadeh Prize，并被提名為ACM Doctoral Dissertation Award候選人（81名博士畢業(yè)生中選2人）。
畢業(yè)后，他加入新加坡國立大學(xué)計(jì)算機(jī)系，擔(dān)任校長青年教授 （Presidential Young Professor）。
在學(xué)術(shù)研究上，尤洋也同樣戰(zhàn)績斐然。
他曾以一作的身份獲得2015年國際并行與分布式處理大會(IPDPS)的最佳論文和2018年國際并行處理大會(ICPP)最佳論文獎(jiǎng)。
其發(fā)表論文《Imagenet training in minutes》所提出的方法刷新了ImageNet訓(xùn)練速度的世界紀(jì)錄。
2021年，他還被選入福布斯30歲以下精英榜 （亞洲）。
事實(shí)上，潞晨團(tuán)隊(duì)可不止尤洋一位大神。
其團(tuán)隊(duì)核心成員來自美國加州大學(xué)伯克利分校、斯坦福大學(xué)、清華大學(xué)、北京大學(xué)、新加坡國立大學(xué)、新加坡南洋理工大學(xué)等國內(nèi)外知名高校。
核心團(tuán)隊(duì)在高性能計(jì)算、人工智能、分布式系統(tǒng)方面已有十余年的技術(shù)積累，并在國際頂級學(xué)術(shù)刊物或會議發(fā)表論文30余篇。
此外，還有美國科學(xué)院院士，工程院院士James Demmel教授擔(dān)任團(tuán)隊(duì)顧問。
Demmel教授是加州大學(xué)伯克利分校前EECS院長兼計(jì)算機(jī)系主任、中關(guān)村戰(zhàn)略科學(xué)家、ACM/IEEE Fellow，現(xiàn)任加州大學(xué)伯克利分校杰出教授。
目前，潞晨科技還在廣納英才。招聘全職/實(shí)習(xí)軟件工程師，全職/實(shí)習(xí)人工智能工程師。
崗位職責(zé)主要有：
開發(fā)分布式人工智系統(tǒng)并部署到大規(guī)模集群或云端。從具體的場景和問題出發(fā)，研發(fā)和優(yōu)化算法系統(tǒng)，產(chǎn)出解決方案應(yīng)用到場景中。參與人工智能技術(shù)與現(xiàn)有工具的融合設(shè)計(jì)和優(yōu)化，提高產(chǎn)品性能。撰寫高質(zhì)量的科技論文，有機(jī)會擔(dān)任重要論文的第一作者 (未來換工作或升學(xué)的重要加分項(xiàng))。任職要求為：
精通TensorFlow, PyTorch, Ray, DeepSpeed, NVIDIA Megatron，熟悉上述系統(tǒng)的內(nèi)部運(yùn)行機(jī)制。熟悉各類優(yōu)化算法與模型架構(gòu)，熟悉python或C++的優(yōu)化算法庫，包括各類基于梯度的經(jīng)典算法與經(jīng)典模型 (BERT, GPT-3, Switch Transformer, ViT, MLP-Mixer)。有較強(qiáng)的編程能力和工程實(shí)現(xiàn)能力。獲得過編程競賽獎(jiǎng)或發(fā)表過高質(zhì)量論文的優(yōu)先錄用。211、985、海外知名高校本科以上學(xué)位(或在讀)，計(jì)算機(jī)科學(xué)、軟件工程，電子信息，自動化，數(shù)學(xué)，物理或其它人工智能相關(guān)專業(yè)。如果想入職潞晨，不知道現(xiàn)在惡補(bǔ)還來得及嗎？
簡歷投遞郵箱：luchen.tech@gmail.com
總結(jié)
以上是生活随笔為你收集整理的UC伯克利博士尤洋回国创业，曾破ImageNet纪录！已获超千万融资的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： vue 事件总线EventBus的概念、
- 下一篇： 速神经网络的训练算法LARS/LAMB工