【学术相关】李沐:如何把近十页的论文读成半页
最近李沐沐神橫空出世,開(kāi)始在知乎和B站上傳各種課程和論文解讀視頻,一下就拉高了技術(shù)自媒體的門檻,讓我開(kāi)始思考要不要轉(zhuǎn)向舞蹈區(qū)或者鬼畜區(qū)。大佬果然做什么事情都能做好,從年初3月份到現(xiàn)在,B站已經(jīng)突破了十萬(wàn)粉,投稿104個(gè),這是深度垂直內(nèi)容很難達(dá)到的高度(不過(guò)相信照現(xiàn)在ML的卷度有望成為百大)。
沐神甚至開(kāi)始專門為大家開(kāi)啟了斯坦福課程中文版,而且是日更,每天B站閑逛的我刷到時(shí)都倍感焦慮(因?yàn)槲覜](méi)在學(xué)習(xí)),底下評(píng)論區(qū)都勸沐神要多注意休息。還有的同學(xué)說(shuō)整個(gè)實(shí)驗(yàn)室包括導(dǎo)師都在追沐神的課,B站智能姬也專門為評(píng)論區(qū)的同學(xué)灰度了字幕功能,這個(gè)學(xué)習(xí)氣氛真的太濃郁了,甚至有同學(xué)說(shuō)沐神直接在B站帶研究生。
總之引用評(píng)論區(qū)同學(xué)的一句話就是,Mu Li Is All You Need。還在入門的同學(xué)跟著走就行了(我的文章也可以偶爾看看,瘋狂求生)。
今天就順著沐神的視頻「如何讀論文」,也分享一些我的個(gè)人私貨。
地址:https://www.bilibili.com/video/BV1H44y1t75x看了沐神的視頻后,真是相見(jiàn)恨晚。其實(shí)我自己讀論文的方法也差不多,但卻是我迭代了一兩年才迭代出來(lái)的,如果最開(kāi)始就知道這個(gè)方法會(huì)省去很多時(shí)間。
在我最開(kāi)始讀論文的時(shí)候,必須要把所有文章都打印出來(lái),從頭讀到尾,用筆去各種劃線做筆記。只有脫離屏幕,我才能靜下心來(lái)把那些東西裝進(jìn)腦子里。直到后來(lái)我打印的論文越來(lái)越多,才不得已在電腦上看。再后來(lái)因?yàn)閷懼醪┛?#xff0c;在那段BERT變體瘋狂出世的時(shí)期,我讀論文的速度越來(lái)越快,總想第一個(gè)把新研究分享出來(lái),當(dāng)知乎NLP前沿最快的女人。到了現(xiàn)在,我似乎又比之前提高了一些,大家有時(shí)會(huì)驚訝于我出文的速度,如果文章不太復(fù)雜的話,我其實(shí)讀了標(biāo)題、摘要、圖表之后就開(kāi)始打草稿了。。。
沐神視頻總結(jié)
論文通常分為6個(gè)部分:Title、Abstract、Introduction (包含Related works)、Method、Experiments、Conclusion。
沐神建議大家分三遍來(lái)讀一篇論文。
第一遍,目的是大概知道論文在講什么,適不適合自己。先讀一下標(biāo)題和摘要,了解論文在做什么,再直接看結(jié)論,雖然大部分都是重復(fù)的,但也會(huì)把摘要里提到的問(wèn)題用實(shí)際結(jié)論再證明一下。再去瞄一眼關(guān)鍵的圖和表。這一遍大概要十幾分鐘,如果確定適合自己,就可以開(kāi)始第二遍。
第二遍,通讀一遍文章,目的是了解文章解決了什么問(wèn)題,用了什么方法,搞清楚重要的圖和表都在干什么,相比別人的方法有什么優(yōu)點(diǎn)。讀的時(shí)候可以把有用的東西圈出來(lái),比如重要的參考文獻(xiàn)、不懂的句子。這一遍不用特別細(xì)節(jié),一些公式和證明可以略過(guò)。這遍讀完后,如果覺(jué)得這份工作對(duì)自己有價(jià)值,可以繼續(xù)第三遍的精讀。
第三遍,知道每一段每一句都在干什么,把自己放到作者的位置,開(kāi)始思考自己如何去解決這個(gè)問(wèn)題,如何設(shè)計(jì)實(shí)驗(yàn),能不能做得更好,或者哪些地方可以繼續(xù)深入。這樣以后基于這份工作擴(kuò)展,或者使用這個(gè)方法的時(shí)候就會(huì)更自如。
以上就是沐神分享的方法,我的整體差不多,只是不同場(chǎng)景會(huì)有diff。一類場(chǎng)景是某類論文的集中調(diào)研,可能是項(xiàng)目要落地,也可能是要做research,總之會(huì)有個(gè)大概的領(lǐng)域和任務(wù)限定;另一類場(chǎng)景是隨便讀讀,畢竟周圍的人都讀,不進(jìn)則退,被迫好學(xué)。下面就分這兩個(gè)場(chǎng)景介紹一下我的方法。
有方向的調(diào)研
首先是怎么找論文,這是我后臺(tái)經(jīng)常收到的問(wèn)題。在做research之前一定要調(diào)研充分,否則論文都寫了一半發(fā)現(xiàn)跟之前的撞了,或者審稿人直接給你丟過(guò)來(lái)一篇就很尷尬。找論文可以從以下四方面:
先去搜索最近的該領(lǐng)域綜述,綜述讀下來(lái)就對(duì)該領(lǐng)域有初步理解,知道了歷史SOTA
最近一兩年的頂會(huì)(NLP比如ACL、NAACL、EMNLP、AAAI、ICLR等),去他們公開(kāi)的paper list按關(guān)鍵詞搜索。怎么找關(guān)鍵詞?從之前看的綜述里面找
在Google Scholar等搜索引擎搜關(guān)鍵詞,頂會(huì)畢竟有幾個(gè)月的延遲,可能人家先掛出來(lái)了
用上面的方法讀了幾篇之后,去看他們Related Works、實(shí)驗(yàn)對(duì)比里的其他方法,基本都是該領(lǐng)域有代表性的
之后是怎么篩選論文,優(yōu)先看知名會(huì)議、機(jī)構(gòu)、作者的文章,一般來(lái)說(shuō)質(zhì)量還是有保障的。其他的就用沐神的方法先快速掃一下,沒(méi)價(jià)值就不看了。
最后就是讀論文了,沐神講的方法很好,我略微補(bǔ)充幾點(diǎn):
既然是有方向的調(diào)研,就要調(diào)研出體系,這個(gè)領(lǐng)域有幾種問(wèn)題,每種問(wèn)題都有什么解決辦法,對(duì)比起來(lái)有什么優(yōu)缺點(diǎn)
如果是自己要follow的方法,實(shí)驗(yàn)分析環(huán)節(jié)要仔細(xì)的看,怎么處理的數(shù)據(jù),用了什么超參數(shù)等
如果要發(fā)自己的文章,就要更精細(xì)地看一下其他paper都是怎么講的motivation和contribution
最最后,怎么樣想新的idea?就像沐神說(shuō)的那樣,用作者思維去思考,讀個(gè)一二十篇就能有些感覺(jué)。想第一次就發(fā)一篇驚世巨作太難了,更多的人還是先f(wàn)ollow前人的工作,從其他領(lǐng)域借鑒一些改動(dòng),并學(xué)習(xí)英文的寫作方式。所以不要自己干想。
隨便看看
我現(xiàn)在日常就是隨便看看,碰到我感興趣的工作就分享給大家。
首先還是怎么找論文:
Arxiv網(wǎng)站每天都會(huì)更新大家上傳的論文,推薦我之前參與的項(xiàng)目:https://arxiv.xixiaoyao.cn/,我們把論文的作者機(jī)構(gòu)和發(fā)表的會(huì)議單獨(dú)篩了出來(lái),方便快速篩選
頂會(huì)paper list也可以刷刷
之后讀論文的方法就差不多了。熟能生巧,當(dāng)對(duì)特定領(lǐng)域的論文+偶爾思考超過(guò)一定數(shù)量之后(感覺(jué)自己也就讀了不到100篇吧),速度一下就能上去。我速讀時(shí)的attention主要在:
Abstract的重點(diǎn)(也就兩三句話)
Introduction中作者提出motivation和contribution那里
Related works里列的方法
Method里面的圖表和說(shuō)明(不太復(fù)雜的方法就那么幾句話,數(shù)據(jù)集也都是常見(jiàn)那些)
Experiments里面的主實(shí)驗(yàn)、消融實(shí)驗(yàn)和其他有趣的分析
這么算下來(lái),一篇方法不復(fù)雜的論文半夜紙就能講清楚,所有故事都能概括成起因經(jīng)過(guò)結(jié)果。
當(dāng)然如果要寫出來(lái)分享給大家,我會(huì)把自己放在作者思維再琢磨一下,想想模型處理的細(xì)節(jié)、哪里不嚴(yán)謹(jǐn),再去文中找對(duì)應(yīng)的解釋。
以上,就是學(xué)姐我這么多年積攢的經(jīng)驗(yàn)了,白嫖的你,開(kāi)不開(kāi)心。
往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載中國(guó)大學(xué)慕課《機(jī)器學(xué)習(xí)》(黃海廣主講)機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載本站qq群955171419,加入微信群請(qǐng)掃碼:總結(jié)
以上是生活随笔為你收集整理的【学术相关】李沐:如何把近十页的论文读成半页的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 搜狐视频怎么清除应用缓存
- 下一篇: 【学术相关】如何将半页纸论文写到十页?