【学术相关】李沐:如何把近十页的论文读成半页
最近李沐沐神橫空出世,開始在知乎和B站上傳各種課程和論文解讀視頻,一下就拉高了技術(shù)自媒體的門檻,讓我開始思考要不要轉(zhuǎn)向舞蹈區(qū)或者鬼畜區(qū)。大佬果然做什么事情都能做好,從年初3月份到現(xiàn)在,B站已經(jīng)突破了十萬粉,投稿104個,這是深度垂直內(nèi)容很難達(dá)到的高度(不過相信照現(xiàn)在ML的卷度有望成為百大)。
沐神甚至開始專門為大家開啟了斯坦福課程中文版,而且是日更,每天B站閑逛的我刷到時都倍感焦慮(因為我沒在學(xué)習(xí)),底下評論區(qū)都勸沐神要多注意休息。還有的同學(xué)說整個實(shí)驗室包括導(dǎo)師都在追沐神的課,B站智能姬也專門為評論區(qū)的同學(xué)灰度了字幕功能,這個學(xué)習(xí)氣氛真的太濃郁了,甚至有同學(xué)說沐神直接在B站帶研究生。
總之引用評論區(qū)同學(xué)的一句話就是,Mu Li Is All You Need。還在入門的同學(xué)跟著走就行了(我的文章也可以偶爾看看,瘋狂求生)。
今天就順著沐神的視頻「如何讀論文」,也分享一些我的個人私貨。
地址:https://www.bilibili.com/video/BV1H44y1t75x看了沐神的視頻后,真是相見恨晚。其實(shí)我自己讀論文的方法也差不多,但卻是我迭代了一兩年才迭代出來的,如果最開始就知道這個方法會省去很多時間。
在我最開始讀論文的時候,必須要把所有文章都打印出來,從頭讀到尾,用筆去各種劃線做筆記。只有脫離屏幕,我才能靜下心來把那些東西裝進(jìn)腦子里。直到后來我打印的論文越來越多,才不得已在電腦上看。再后來因為寫知乎博客,在那段BERT變體瘋狂出世的時期,我讀論文的速度越來越快,總想第一個把新研究分享出來,當(dāng)知乎NLP前沿最快的女人。到了現(xiàn)在,我似乎又比之前提高了一些,大家有時會驚訝于我出文的速度,如果文章不太復(fù)雜的話,我其實(shí)讀了標(biāo)題、摘要、圖表之后就開始打草稿了。。。
沐神視頻總結(jié)
論文通常分為6個部分:Title、Abstract、Introduction (包含Related works)、Method、Experiments、Conclusion。
沐神建議大家分三遍來讀一篇論文。
第一遍,目的是大概知道論文在講什么,適不適合自己。先讀一下標(biāo)題和摘要,了解論文在做什么,再直接看結(jié)論,雖然大部分都是重復(fù)的,但也會把摘要里提到的問題用實(shí)際結(jié)論再證明一下。再去瞄一眼關(guān)鍵的圖和表。這一遍大概要十幾分鐘,如果確定適合自己,就可以開始第二遍。
第二遍,通讀一遍文章,目的是了解文章解決了什么問題,用了什么方法,搞清楚重要的圖和表都在干什么,相比別人的方法有什么優(yōu)點(diǎn)。讀的時候可以把有用的東西圈出來,比如重要的參考文獻(xiàn)、不懂的句子。這一遍不用特別細(xì)節(jié),一些公式和證明可以略過。這遍讀完后,如果覺得這份工作對自己有價值,可以繼續(xù)第三遍的精讀。
第三遍,知道每一段每一句都在干什么,把自己放到作者的位置,開始思考自己如何去解決這個問題,如何設(shè)計實(shí)驗,能不能做得更好,或者哪些地方可以繼續(xù)深入。這樣以后基于這份工作擴(kuò)展,或者使用這個方法的時候就會更自如。
以上就是沐神分享的方法,我的整體差不多,只是不同場景會有diff。一類場景是某類論文的集中調(diào)研,可能是項目要落地,也可能是要做research,總之會有個大概的領(lǐng)域和任務(wù)限定;另一類場景是隨便讀讀,畢竟周圍的人都讀,不進(jìn)則退,被迫好學(xué)。下面就分這兩個場景介紹一下我的方法。
有方向的調(diào)研
首先是怎么找論文,這是我后臺經(jīng)常收到的問題。在做research之前一定要調(diào)研充分,否則論文都寫了一半發(fā)現(xiàn)跟之前的撞了,或者審稿人直接給你丟過來一篇就很尷尬。找論文可以從以下四方面:
先去搜索最近的該領(lǐng)域綜述,綜述讀下來就對該領(lǐng)域有初步理解,知道了歷史SOTA
最近一兩年的頂會(NLP比如ACL、NAACL、EMNLP、AAAI、ICLR等),去他們公開的paper list按關(guān)鍵詞搜索。怎么找關(guān)鍵詞?從之前看的綜述里面找
在Google Scholar等搜索引擎搜關(guān)鍵詞,頂會畢竟有幾個月的延遲,可能人家先掛出來了
用上面的方法讀了幾篇之后,去看他們Related Works、實(shí)驗對比里的其他方法,基本都是該領(lǐng)域有代表性的
之后是怎么篩選論文,優(yōu)先看知名會議、機(jī)構(gòu)、作者的文章,一般來說質(zhì)量還是有保障的。其他的就用沐神的方法先快速掃一下,沒價值就不看了。
最后就是讀論文了,沐神講的方法很好,我略微補(bǔ)充幾點(diǎn):
既然是有方向的調(diào)研,就要調(diào)研出體系,這個領(lǐng)域有幾種問題,每種問題都有什么解決辦法,對比起來有什么優(yōu)缺點(diǎn)
如果是自己要follow的方法,實(shí)驗分析環(huán)節(jié)要仔細(xì)的看,怎么處理的數(shù)據(jù),用了什么超參數(shù)等
如果要發(fā)自己的文章,就要更精細(xì)地看一下其他paper都是怎么講的motivation和contribution
最最后,怎么樣想新的idea?就像沐神說的那樣,用作者思維去思考,讀個一二十篇就能有些感覺。想第一次就發(fā)一篇驚世巨作太難了,更多的人還是先follow前人的工作,從其他領(lǐng)域借鑒一些改動,并學(xué)習(xí)英文的寫作方式。所以不要自己干想。
隨便看看
我現(xiàn)在日常就是隨便看看,碰到我感興趣的工作就分享給大家。
首先還是怎么找論文:
Arxiv網(wǎng)站每天都會更新大家上傳的論文,推薦我之前參與的項目:https://arxiv.xixiaoyao.cn/,我們把論文的作者機(jī)構(gòu)和發(fā)表的會議單獨(dú)篩了出來,方便快速篩選
頂會paper list也可以刷刷
之后讀論文的方法就差不多了。熟能生巧,當(dāng)對特定領(lǐng)域的論文+偶爾思考超過一定數(shù)量之后(感覺自己也就讀了不到100篇吧),速度一下就能上去。我速讀時的attention主要在:
Abstract的重點(diǎn)(也就兩三句話)
Introduction中作者提出motivation和contribution那里
Related works里列的方法
Method里面的圖表和說明(不太復(fù)雜的方法就那么幾句話,數(shù)據(jù)集也都是常見那些)
Experiments里面的主實(shí)驗、消融實(shí)驗和其他有趣的分析
這么算下來,一篇方法不復(fù)雜的論文半夜紙就能講清楚,所有故事都能概括成起因經(jīng)過結(jié)果。
當(dāng)然如果要寫出來分享給大家,我會把自己放在作者思維再琢磨一下,想想模型處理的細(xì)節(jié)、哪里不嚴(yán)謹(jǐn),再去文中找對應(yīng)的解釋。
以上,就是學(xué)姐我這么多年積攢的經(jīng)驗了,白嫖的你,開不開心。
往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載中國大學(xué)慕課《機(jī)器學(xué)習(xí)》(黃海廣主講)機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載本站qq群955171419,加入微信群請掃碼:總結(jié)
以上是生活随笔為你收集整理的【学术相关】李沐:如何把近十页的论文读成半页的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 搜狐视频怎么清除应用缓存
- 下一篇: Windows平台RTMP推送摄像头对接