无监督学习?Yann LeCun说:或许应该叫它预测性学习
新智元報道
來源:danrose
編輯:白峰
【新智元導(dǎo)讀】隨著機(jī)器學(xué)習(xí)的不斷發(fā)展,無監(jiān)督學(xué)習(xí)在近年來備受關(guān)注。Yann LeCun 提出賦予無監(jiān)督學(xué)習(xí)新的名字——預(yù)測性學(xué)習(xí)。
隨著機(jī)器學(xué)習(xí)的不斷發(fā)展,無監(jiān)督學(xué)習(xí)在近年來備受關(guān)注。近日,有人提出賦予無監(jiān)督學(xué)習(xí)新的名字——預(yù)測性學(xué)習(xí)。推崇這次改名的正是前些日子在推特「大火」的 Facebook 的首席 AI 科學(xué)家,Yann LeCun。
Yann LeCun 將「預(yù)測性學(xué)習(xí)」稱為「下一個 AI 前沿」。因?yàn)樵谶^去的十年中,監(jiān)督學(xué)習(xí)有著豐碩的成果。而接下來的十年,無監(jiān)督學(xué)習(xí),即預(yù)測性學(xué)習(xí)可能會變得越來越流行。
監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí):機(jī)器學(xué)習(xí)的三駕馬車
認(rèn)識無監(jiān)督學(xué)習(xí)的新名字之前,我們來看一看機(jī)器學(xué)習(xí)多樣的組成元素。最廣泛用于應(yīng)用和業(yè)務(wù)用途的機(jī)器學(xué)習(xí)類別是監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)需要標(biāo)記非常非常多的數(shù)據(jù),也因此在給定情況下教給模型較為正確的答案。
無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)恰恰相反,使用未標(biāo)記的數(shù)據(jù)訓(xùn)練 AI,通常僅用于對數(shù)據(jù)進(jìn)行聚類和分組。無監(jiān)督學(xué)習(xí)的質(zhì)量自然不如監(jiān)督學(xué)習(xí)。因此,近些年半監(jiān)督學(xué)習(xí)也時常被褒獎。半監(jiān)督學(xué)習(xí)可以看做監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的折中狀態(tài)。
機(jī)器學(xué)習(xí)中還有一個「重要的玩家」強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)主要用于實(shí)驗(yàn)和研究案例,到目前為止在商業(yè)中使用不多。有科學(xué)家指出 AlphaGo 是一個很好的例子,通常通過加強(qiáng)學(xué)習(xí)來完成游戲模型的教學(xué),但 Alphago 確切架構(gòu)沒有公布,這僅僅是一種猜想。
昂貴且復(fù)雜的數(shù)據(jù)標(biāo)記讓監(jiān)督學(xué)習(xí)變得困難
去年,監(jiān)督學(xué)習(xí)取得了長足的發(fā)展。例如在 GPU 上進(jìn)行訓(xùn)練,更多可用的標(biāo)記訓(xùn)練數(shù)據(jù)。以及一些技術(shù)進(jìn)步,比如說 ReLU(神經(jīng)網(wǎng)絡(luò)中最具成本效益的解決方案)。
但是獲取標(biāo)簽數(shù)據(jù)仍然是一個問題。這是非常昂貴的,并且始終會有偏差的數(shù)據(jù)。偏差的數(shù)據(jù)會使模型產(chǎn)生偏差,因此開發(fā)者始終需要了解模型行為異常的極端情況。科學(xué)家們解決這個問題的方法是:如果可以避免使用帶標(biāo)簽的數(shù)據(jù),而改為使用無標(biāo)簽的數(shù)據(jù),則可以以更低的成本和更少的偏差機(jī)會去處理更多的數(shù)據(jù)。
如果將人類智慧與人工智能進(jìn)行比較,人們意識到很多人類智慧是不受監(jiān)督的。在我們了解的事物中,很少有學(xué)習(xí)示例可以教的。因此,即使監(jiān)督學(xué)習(xí)給我們帶來了巨大的成就,它也有其局限性。無監(jiān)督學(xué)習(xí)日益受到重視。
無監(jiān)督學(xué)習(xí)(預(yù)測性學(xué)習(xí))正在登上歷史舞臺
正如 YannLeCun 所說,無監(jiān)督學(xué)習(xí)是「填補(bǔ)空白」。填補(bǔ)空白不僅僅是將相似的事物歸類,填補(bǔ)空白就像是想象。在訓(xùn)練預(yù)測學(xué)習(xí)模型時,目的是了解當(dāng)前的世界。
一個很好的例子是圖像完成問題。圖像不完整時,模型想「填補(bǔ)空白」。預(yù)測性學(xué)習(xí)可以做到這一點(diǎn)。
該模型可以預(yù)測上下文中可能缺少的內(nèi)容。另一個非常好的例子是來自 OpenAI 的 GPT-3。GPT-3 是一種語言模型,未經(jīng)大量數(shù)據(jù)訓(xùn)練就可以接受訓(xùn)練,并且在此基礎(chǔ)上再加上一點(diǎn)點(diǎn)監(jiān)督學(xué)習(xí),就可以擁有一個非常有效的模型。但是,這里預(yù)測性學(xué)習(xí)是模型是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型。較早的無監(jiān)督模型不基于神經(jīng)網(wǎng)絡(luò)。
「預(yù)測性學(xué)習(xí)」可能會改變我們的未來
過去,當(dāng)需要一個解決方案時,我們通常會用監(jiān)督學(xué)習(xí)去訓(xùn)練模型。但是監(jiān)督學(xué)習(xí)是昂貴的。無監(jiān)督學(xué)習(xí)可以為我們提供一種有效的,非常有價值的方式去訓(xùn)練模型,并得到預(yù)測性的結(jié)果。
拍攝廣告時,這可以被用于將多余的游客從我們的度假圖片或背景物體中刪除。它會填補(bǔ)很多地方的空白。另一方面,預(yù)測性學(xué)習(xí)還能用于檢測出何時出現(xiàn)異常情況。
GPT-3 的流行就展示了無監(jiān)督學(xué)習(xí),或者說預(yù)測性學(xué)習(xí)對于科技社會產(chǎn)生的巨大影響。我們有理由相信,正如 YannLeCun 所說,「預(yù)測性學(xué)習(xí)」將成為「下一個 AI 前沿」。
總結(jié)
以上是生活随笔為你收集整理的无监督学习?Yann LeCun说:或许应该叫它预测性学习的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 8年后再起波澜 上海小i机器人起诉苹果S
- 下一篇: TikTok的红旗还能打多久?