Fashion-MNIST 一周年 | Google NIPS最爱，还登上了Science
導(dǎo)語(yǔ)：本文回顧了Fashion-MNIST發(fā)布后的一年里在人工智能/機(jī)器學(xué)習(xí)學(xué)術(shù)圈和社區(qū)中所取得的進(jìn)展。該數(shù)據(jù)集的初衷是替代MNIST，為機(jī)器學(xué)習(xí)提供一個(gè)新的基準(zhǔn)集。一年里，Fashion-MNIST有超過250篇學(xué)術(shù)論文引用。來(lái)自Google, Cambridge, 北大, UCLA, Microsoft等250家研究機(jī)構(gòu)橫跨38個(gè)國(guó)家的研究員在實(shí)驗(yàn)中使用了這個(gè)數(shù)據(jù)集，他們的成果發(fā)表在NIPS、ICLR、ICML等頂會(huì)甚至Science等知名刊物上。
距離我2017年8月發(fā)布Fashion-MNIST數(shù)據(jù)集已經(jīng)有一年的時(shí)間了。正如我在其README中寫到的那樣：Fashion-MNIST的目標(biāo)是要替代經(jīng)典數(shù)字MNIST數(shù)據(jù)集，幫助研究者更好的評(píng)測(cè)和理解機(jī)器學(xué)習(xí)算法。在過去的一年里，我看到ML/AI社區(qū)朝這個(gè)方向不斷前進(jìn)著。越來(lái)越多的研究人員、工程師、學(xué)生和愛好者和初學(xué)者都愛上了這個(gè)數(shù)據(jù)集。
今天你可以在網(wǎng)上找到關(guān)于Fashion-MNIST數(shù)以千計(jì)的討論、代碼和教程。在Github，Fashion-MNIST已經(jīng)獲得了超過4100顆星星，被引用在400多個(gè)代碼倉(cāng)庫(kù)中，1000多條commits里和7000多個(gè)代碼片段中。在Google Scholar中，超過250篇學(xué)術(shù)論文使用或引用了Fashion-MNIST數(shù)據(jù)集。甚至連來(lái)自AAAS的「科學(xué)」(Science)雜志都引用了這個(gè)數(shù)據(jù)集。而在Kaggle上，這個(gè)數(shù)據(jù)集在數(shù)千個(gè)數(shù)據(jù)集中是名列前茅，并附有300多個(gè)Kernels。目前，所有主流的深度學(xué)習(xí)庫(kù)都內(nèi)置了這個(gè)數(shù)據(jù)集：你只需要一行import，就可以直接使用它。
毫無(wú)疑問，Fashion-MNIST是一個(gè)非常成功的項(xiàng)目。在這里，我會(huì)對(duì)它在過去一年里所取得的重要成就做一個(gè)總結(jié)。
2017年8月的一天，那時(shí)我還在Zalando Research部門工作。我的上司讓我調(diào)研一把生成對(duì)抗網(wǎng)絡(luò)(GAN)并實(shí)現(xiàn)其中一兩個(gè)模型，借機(jī)熟悉一下。我很快就寫完并在MNIST數(shù)據(jù)集上做了測(cè)試。但我發(fā)現(xiàn)在MNIST上的生成結(jié)果似乎總是不錯(cuò)，無(wú)論你用的網(wǎng)絡(luò)復(fù)雜度如何，參數(shù)設(shè)置如何。或許因?yàn)镸NIST過于簡(jiǎn)單？于是，我決定增加一些難度，把公司數(shù)據(jù)庫(kù)中的衣服圖片扔到網(wǎng)絡(luò)里去。很顯然，這就需要我重新寫一個(gè)用于輸入處理的pipeline：把圖片居中、調(diào)整白平衡、縮放等等，最后再載入到模型中。最終，我決定將圖片做離線處理后，存儲(chǔ)為MNIST的格式，省去了自己寫data loader。這就是Fashion-MNIST最初的第一個(gè)版本。
隨后的幾天里，我一直在玩這個(gè)新數(shù)據(jù)集，利用它做各種實(shí)驗(yàn)。同時(shí)，我不斷改善它的圖片質(zhì)量，并在Tensorflow, Keras中為它提供更通用的API接口。最終，我把它發(fā)布為公司內(nèi)部的一個(gè)開源項(xiàng)目(inner source project)。在我的前同事Kashif Rasul和Lauri Apple的鼓勵(lì)下，我們最終決定把這個(gè)數(shù)據(jù)集發(fā)布到Github和arXiv上。為了在國(guó)際上擴(kuò)大影響力，我也將數(shù)據(jù)集的說明翻譯成了中文和日文。剩下的事情可能大家都已經(jīng)知道了：這個(gè)數(shù)據(jù)集最先被Reddit下的r/MachineLearning板塊討論，隨后迅速在HackerNews, Github，Twitter和Facebook上傳播開來(lái)。連續(xù)三天內(nèi)，Fashion-MNIST成為Github上最熱門的開源項(xiàng)目之一。幾天后，甚至Yann LeCun本人都在他的Facebook主頁(yè)上發(fā)帖鼓勵(lì)大家嘗試這個(gè)新數(shù)據(jù)集。
在這次的經(jīng)歷中，我想特別感謝我的前同事Lauri Apple的支持。Lauri是一位長(zhǎng)期致力于開源事業(yè)的女性。在一開始，我的想法（采用Fashion-MNIST替換MNIST)遭到其他人的嘲笑和不理解，他們認(rèn)為圈子里根本不會(huì)在乎這個(gè)數(shù)據(jù)集。這個(gè)時(shí)候，Lauri站了出來(lái)告訴我：那些真正做出改變的人永遠(yuǎn)是那些相信改變的人(people who actually make change are the ones who believe that change is possible)。
在我今天寫這篇總結(jié)的時(shí)候，已經(jīng)有超過260篇學(xué)術(shù)論文在實(shí)驗(yàn)環(huán)節(jié)引用或使用了Fashion-MNIST數(shù)據(jù)集（根據(jù)截止9月18日的Google Scholar結(jié)果）。考慮到數(shù)據(jù)集僅僅發(fā)布1年，這個(gè)數(shù)量還是非常可觀的。經(jīng)過一番篩選之后，我留下了其中247篇放在了一個(gè)Google表格里，大家可以自行查閱。那么這247篇論文出自誰(shuí)之手，在哪發(fā)表，又研究了哪些問題？在下面，我會(huì)向大家做一個(gè)全面的介紹。
頂級(jí)的AI研究機(jī)構(gòu)青睞Fashion-MNIST
下圖給出了247篇論文中按照機(jī)構(gòu)的統(tǒng)計(jì)圖。如果一篇論文由多個(gè)機(jī)構(gòu)合作完成，則在統(tǒng)計(jì)時(shí)每個(gè)機(jī)構(gòu)都加1。而如果一篇論文中多個(gè)作者來(lái)自同一機(jī)構(gòu)，則這一機(jī)構(gòu)只加1。并且，我還把同組織的機(jī)構(gòu)合并在一起，比如Google Research, Google Brain, Deep Mind合并為了Google；馬普（Max Planck Institute）旗下的信息所、智能所和量子光學(xué)所合并為Max Planck Institute。為了更加清晰的展示，論文數(shù)量小于3機(jī)構(gòu)沒有在這里展示，但大家仍然可以在這里查看全部機(jī)構(gòu)的統(tǒng)計(jì)列表。
在這個(gè)圖表中，我們不難發(fā)現(xiàn)來(lái)自北美、亞洲和歐洲地區(qū)頂尖的AI研究機(jī)構(gòu)。在它們之中，Google以9篇使用Fashion-MNIST的論文位居榜首。其次是英國(guó)劍橋大學(xué)，7篇；IBM Research、加拿大蒙特利爾大學(xué)、北京大學(xué)和加州大學(xué)洛杉磯分校以6篇并列第三。中國(guó)方面，除北京大學(xué)外，中科院、南京大學(xué)、清華大學(xué)及京東也非常青睞Fashion-MNIST這個(gè)數(shù)據(jù)集。而在工業(yè)界，除了已經(jīng)列出的Google, IBM Research和Microsoft，在完整列表中可以找到更多大家耳順能詳?shù)墓綟acebook (2篇), Telefónica Research (2篇) Uber (1篇), Apple (1篇), Samsung (1篇), 華為 (1篇) and Twitter (1篇)。同時(shí)，我還注意到有不少北美地區(qū)的機(jī)器視覺創(chuàng)業(yè)公司也在Fashion-MNIST數(shù)據(jù)集上做了非常有意思的研究，并發(fā)表了高質(zhì)量的論文。
AI領(lǐng)域的競(jìng)爭(zhēng)和合作
下圖展示了這些文章出自于哪些國(guó)家或地區(qū)。如果一個(gè)論文由多個(gè)國(guó)家或地區(qū)合作完成，則在統(tǒng)計(jì)時(shí)每個(gè)國(guó)家或地區(qū)時(shí)都加1。而如果一篇論文中多個(gè)作者來(lái)自同一國(guó)家或地區(qū)，則這一國(guó)家或地區(qū)只加1。為了更清晰的展示結(jié)果，論文數(shù)量小于4的國(guó)家或地區(qū)沒有在這里展示，但大家仍然可以在這里查看全部國(guó)家或地區(qū)的統(tǒng)計(jì)列表。
很明顯，美國(guó)以94篇引用Fashion-MNIST的論文的絕對(duì)多數(shù)占據(jù)了榜首，其次是中國(guó)44篇。加拿大、英國(guó)德國(guó)的研究人員也顯示了對(duì)這個(gè)數(shù)據(jù)集的濃厚興趣，分列第3，4，5位。榜上前5名的國(guó)家貢獻(xiàn)了大約50%的論文量。總體來(lái)講，共有來(lái)自38個(gè)國(guó)家的研究人員在他們的論文中使用了這個(gè)數(shù)據(jù)集。
盡管中美AI領(lǐng)域競(jìng)爭(zhēng)激烈，但我們?nèi)匀豢吹絻蓢?guó)在AI研究領(lǐng)域中大量的合作。在過去的一年內(nèi)，兩國(guó)共有10篇合作的論文使用了Fashion-MNIST數(shù)據(jù)集，高于任何其他兩國(guó)之間的合作。其次是英國(guó)和德國(guó)，共合作了4篇論文。完整的國(guó)家地區(qū)合作列表可以在這里看到。
我非常愿意看到更多的國(guó)家與國(guó)家之間在AI領(lǐng)域的合作。這也是Fashion-MNIST的使命之一：增加整個(gè)社區(qū)的凝聚力和多元化。特別是今天，當(dāng)AI技術(shù)已經(jīng)越出象牙塔，國(guó)與國(guó)之間的交流合作變得極為重要。
當(dāng)然，論文不是靠數(shù)量而是靠質(zhì)量取勝的。那么這些論文都是在哪里發(fā)表的呢？他們的質(zhì)量又如何呢？下圖給出了按照會(huì)議和期刊的統(tǒng)計(jì)表。我只統(tǒng)計(jì)了過去一年中已經(jīng)確定被正式錄取的論文，而那些正在審核狀態(tài)的論文并沒有在這個(gè)圖表中展示。完整的列表可以在這里查看。
大部分的論文都是在2018年涌現(xiàn)出來(lái)的，尤其是在諸如NIPS, ICLR, ICML等頂會(huì)。在NIPS 2018中，一共有17篇錄用的論文使用了Fashion-MNIST數(shù)據(jù)集。而2017年這個(gè)數(shù)字是：零。不過這顯而易見，因?yàn)樵贜IPS2017年的5月份的投稿截止時(shí)，Fashion-MNIST還沒有誕生。而在稍后一點(diǎn)的11月戒指的NIPS 2017 Workshop中，我們已經(jīng)可以看到研究者在論文中使用了這個(gè)數(shù)據(jù)集。
除了在會(huì)議上發(fā)表，也有很多畢業(yè)論文和頂級(jí)期刊中引用到了Fashion-MNIST，其中知名的期刊包括：Journal of Machine Learning Research (2篇)，Neurocomputing(2篇)，Nature Communications (1篇), 和Science (1篇)！
Fashion-MNIST 在「科學(xué)」雜志中被引用
這其中最讓我驕傲的一篇論文引用，發(fā)表在Science科學(xué)雜志上。
在這篇題為“All-optical machine learning using diffractive deep neural networks”的Science論文中，一個(gè)來(lái)自加州大學(xué)洛杉磯分校的團(tuán)隊(duì)建造了一個(gè)全光學(xué)的深度”神經(jīng)”網(wǎng)絡(luò)，并且用3D打印機(jī)打印了出來(lái)。這個(gè)光學(xué)深度神經(jīng)網(wǎng)絡(luò)功能上沒什么不同，它能對(duì)MNIST/Fashion-MNIST的圖像進(jìn)行分類，只不過它的分類速度是——光速！
下圖展示了MNIST和Fashion-MNIST模型上5個(gè)不同的物理層。這些層可以被3D打印出來(lái)，而層上面的每個(gè)點(diǎn)都有著不同的功能：或是允許光子通過，或是直接把光子反射回去，這就好比神經(jīng)元之間的連接。在下圖右側(cè)，就是一個(gè)打印出的3D打印的全光學(xué)神經(jīng)網(wǎng)絡(luò)。
在實(shí)際分類時(shí)，這個(gè)3D打印的網(wǎng)絡(luò)被放在如下的儀器中。通過判斷在最后一層上光學(xué)信號(hào)最強(qiáng)的區(qū)域來(lái)獲得分類結(jié)果。
生成對(duì)抗網(wǎng)絡(luò)(GAN)近幾年一直是深度學(xué)習(xí)領(lǐng)域的研究重點(diǎn)，尤其是在圖像生成、圖像處理等應(yīng)用領(lǐng)域，GAN經(jīng)常能取得驚人的效果。也不難理解為什么GAN的研究員喜歡Fashion-MNIST這個(gè)數(shù)據(jù)集：它比較輕量；不需要重新寫data-loader；卻比MNIST包含更復(fù)雜的和多元的局部模式信息。對(duì)于圖像GAN的研究者來(lái)說，在打造一個(gè)新的算法時(shí)，第一個(gè)測(cè)試就是在MNIST和Fashion-MNIST上進(jìn)行測(cè)試。下圖展示了247篇論文按照關(guān)鍵詞分類結(jié)果。很多論文作者沒有提供關(guān)鍵詞，對(duì)于這些論文，我在讀過Abstract和Related Work后，為這些論文手工總結(jié)了一些關(guān)鍵詞。為了更清晰的展示結(jié)果，論文數(shù)量小于5的關(guān)鍵詞沒有在這里展示，但大家仍然可以在這里查看全部關(guān)鍵詞的統(tǒng)計(jì)列表。
新的機(jī)器學(xué)習(xí)算法也喜歡使用Fashion-MNIST來(lái)做評(píng)測(cè)，例如膠囊網(wǎng)絡(luò)(Capsule Networks)。膠囊網(wǎng)絡(luò)自從發(fā)表以來(lái)就收到很多的討論：有不少人質(zhì)疑膠囊網(wǎng)絡(luò)從設(shè)計(jì)上是否為MNIST做了特別的優(yōu)化，而這種結(jié)構(gòu)是否在其他數(shù)據(jù)集上仍然有效。不說大的ImageNet數(shù)據(jù)集，膠囊網(wǎng)絡(luò)是否在Fashion-MNIST上仍然有效呢？在過去的一年里，有9篇新的膠囊網(wǎng)絡(luò)的論文實(shí)驗(yàn)中使用了Fashion-MNIST數(shù)據(jù)集。他們?cè)O(shè)計(jì)了更穩(wěn)定的路由算法以確保空間特征能夠保留住。
在我發(fā)布Fashion-MNIST幾周后，我受邀到亞馬遜柏林辦公室做了一個(gè)演講。在問答環(huán)節(jié)，我被一個(gè)研究員問道，是否擔(dān)心Fashion-MNIST成為那些懶惰的研究員逃避現(xiàn)實(shí)問題的一個(gè)借口。畢竟，他們現(xiàn)在可以說自己的算法有了份”雙保險(xiǎn)”（在兩個(gè)MNIST上驗(yàn)證過了）。
這個(gè)社區(qū)從來(lái)沒有讓我失望，這些高質(zhì)量的論文已經(jīng)很好的證明了自己。而除了學(xué)術(shù)圈的論文，這個(gè)社區(qū)還找到了Fashion-MNIST另一個(gè)重要用途：教學(xué)。在網(wǎng)上你可以找到數(shù)以千計(jì)的討論、代碼和教程，尤其是在機(jī)器學(xué)習(xí)入門的第一講。Fashion-MNIST增加了整個(gè)社區(qū)的多元化：它吸引了很多年輕的AI（特別是女性）愛好者、學(xué)生甚至是藝術(shù)家和設(shè)計(jì)師。他們?cè)赥witter上表示，第一眼看到這個(gè)數(shù)據(jù)集都會(huì)覺得非常可愛，因此很想動(dòng)手實(shí)踐。在2018年9月，Google在中國(guó)舉辦的開發(fā)者大會(huì)上，來(lái)自Google的演講者使用Fashion-MNIST作為例子向在場(chǎng)的數(shù)百名參會(huì)者普及Keras深度學(xué)習(xí)庫(kù)和機(jī)器學(xué)習(xí)技術(shù)。而就在前幾天，2018年10月，Google Colab發(fā)布的TPU示例中，也使用了Fashion-MNIST作為演示的例子來(lái)展現(xiàn)TPU的超強(qiáng)算力。
人工智能的進(jìn)步需要來(lái)自整個(gè)社區(qū)的共同努力。我很欣慰的看到在過去的一年里，Fashion-MNIST為這個(gè)社區(qū)做出了自己的貢獻(xiàn)：它不僅吸引了多元化背景的愛好者，也促進(jìn)研究人員設(shè)計(jì)更嚴(yán)密更具說服力的實(shí)驗(yàn)。所以無(wú)論你是研究員、學(xué)生、教授還是愛好者，無(wú)論你是想把Fashion-MNIST用在講座、論文、研討會(huì)、競(jìng)賽還是培訓(xùn)中，只要你喜歡，都可以去做。最重要的是享受技術(shù)帶來(lái)的樂趣，讓更多的人體驗(yàn)到機(jī)器學(xué)習(xí)和人工智能的魅力。
附：作者Blog的原始英文版本地址：https://hanxiao.github.io
總結(jié)
以上是生活随笔為你收集整理的Fashion-MNIST 一周年 | Google NIPS最爱，还登上了Science的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Paxos和Raft的前世今生
- 下一篇： 腾讯Blade Team胡珀：IoT时代