Fashion-MNIST 一周年 | Google NIPS最爱，还登上了Science
導(dǎo)語：本文回顧了Fashion-MNIST發(fā)布后的一年里在人工智能/機器學(xué)習(xí)學(xué)術(shù)圈和社區(qū)中所取得的進展。該數(shù)據(jù)集的初衷是替代MNIST，為機器學(xué)習(xí)提供一個新的基準(zhǔn)集。一年里，Fashion-MNIST有超過250篇學(xué)術(shù)論文引用。來自Google, Cambridge, 北大, UCLA, Microsoft等250家研究機構(gòu)橫跨38個國家的研究員在實驗中使用了這個數(shù)據(jù)集，他們的成果發(fā)表在NIPS、ICLR、ICML等頂會甚至Science等知名刊物上。
距離我2017年8月發(fā)布Fashion-MNIST數(shù)據(jù)集已經(jīng)有一年的時間了。正如我在其README中寫到的那樣：Fashion-MNIST的目標(biāo)是要替代經(jīng)典數(shù)字MNIST數(shù)據(jù)集，幫助研究者更好的評測和理解機器學(xué)習(xí)算法。在過去的一年里，我看到ML/AI社區(qū)朝這個方向不斷前進著。越來越多的研究人員、工程師、學(xué)生和愛好者和初學(xué)者都愛上了這個數(shù)據(jù)集。
今天你可以在網(wǎng)上找到關(guān)于Fashion-MNIST數(shù)以千計的討論、代碼和教程。在Github，Fashion-MNIST已經(jīng)獲得了超過4100顆星星，被引用在400多個代碼倉庫中，1000多條commits里和7000多個代碼片段中。在Google Scholar中，超過250篇學(xué)術(shù)論文使用或引用了Fashion-MNIST數(shù)據(jù)集。甚至連來自AAAS的「科學(xué)」(Science)雜志都引用了這個數(shù)據(jù)集。而在Kaggle上，這個數(shù)據(jù)集在數(shù)千個數(shù)據(jù)集中是名列前茅，并附有300多個Kernels。目前，所有主流的深度學(xué)習(xí)庫都內(nèi)置了這個數(shù)據(jù)集：你只需要一行import，就可以直接使用它。
毫無疑問，Fashion-MNIST是一個非常成功的項目。在這里，我會對它在過去一年里所取得的重要成就做一個總結(jié)。
2017年8月的一天，那時我還在Zalando Research部門工作。我的上司讓我調(diào)研一把生成對抗網(wǎng)絡(luò)(GAN)并實現(xiàn)其中一兩個模型，借機熟悉一下。我很快就寫完并在MNIST數(shù)據(jù)集上做了測試。但我發(fā)現(xiàn)在MNIST上的生成結(jié)果似乎總是不錯，無論你用的網(wǎng)絡(luò)復(fù)雜度如何，參數(shù)設(shè)置如何。或許因為MNIST過于簡單？于是，我決定增加一些難度，把公司數(shù)據(jù)庫中的衣服圖片扔到網(wǎng)絡(luò)里去。很顯然，這就需要我重新寫一個用于輸入處理的pipeline：把圖片居中、調(diào)整白平衡、縮放等等，最后再載入到模型中。最終，我決定將圖片做離線處理后，存儲為MNIST的格式，省去了自己寫data loader。這就是Fashion-MNIST最初的第一個版本。
隨后的幾天里，我一直在玩這個新數(shù)據(jù)集，利用它做各種實驗。同時，我不斷改善它的圖片質(zhì)量，并在Tensorflow, Keras中為它提供更通用的API接口。最終，我把它發(fā)布為公司內(nèi)部的一個開源項目(inner source project)。在我的前同事Kashif Rasul和Lauri Apple的鼓勵下，我們最終決定把這個數(shù)據(jù)集發(fā)布到Github和arXiv上。為了在國際上擴大影響力，我也將數(shù)據(jù)集的說明翻譯成了中文和日文。剩下的事情可能大家都已經(jīng)知道了：這個數(shù)據(jù)集最先被Reddit下的r/MachineLearning板塊討論，隨后迅速在HackerNews, Github，Twitter和Facebook上傳播開來。連續(xù)三天內(nèi)，Fashion-MNIST成為Github上最熱門的開源項目之一。幾天后，甚至Yann LeCun本人都在他的Facebook主頁上發(fā)帖鼓勵大家嘗試這個新數(shù)據(jù)集。
在這次的經(jīng)歷中，我想特別感謝我的前同事Lauri Apple的支持。Lauri是一位長期致力于開源事業(yè)的女性。在一開始，我的想法（采用Fashion-MNIST替換MNIST)遭到其他人的嘲笑和不理解，他們認為圈子里根本不會在乎這個數(shù)據(jù)集。這個時候，Lauri站了出來告訴我：那些真正做出改變的人永遠是那些相信改變的人(people who actually make change are the ones who believe that change is possible)。
在我今天寫這篇總結(jié)的時候，已經(jīng)有超過260篇學(xué)術(shù)論文在實驗環(huán)節(jié)引用或使用了Fashion-MNIST數(shù)據(jù)集（根據(jù)截止9月18日的Google Scholar結(jié)果）。考慮到數(shù)據(jù)集僅僅發(fā)布1年，這個數(shù)量還是非常可觀的。經(jīng)過一番篩選之后，我留下了其中247篇放在了一個Google表格里，大家可以自行查閱。那么這247篇論文出自誰之手，在哪發(fā)表，又研究了哪些問題？在下面，我會向大家做一個全面的介紹。
頂級的AI研究機構(gòu)青睞Fashion-MNIST
下圖給出了247篇論文中按照機構(gòu)的統(tǒng)計圖。如果一篇論文由多個機構(gòu)合作完成，則在統(tǒng)計時每個機構(gòu)都加1。而如果一篇論文中多個作者來自同一機構(gòu)，則這一機構(gòu)只加1。并且，我還把同組織的機構(gòu)合并在一起，比如Google Research, Google Brain, Deep Mind合并為了Google；馬普（Max Planck Institute）旗下的信息所、智能所和量子光學(xué)所合并為Max Planck Institute。為了更加清晰的展示，論文數(shù)量小于3機構(gòu)沒有在這里展示，但大家仍然可以在這里查看全部機構(gòu)的統(tǒng)計列表。
在這個圖表中，我們不難發(fā)現(xiàn)來自北美、亞洲和歐洲地區(qū)頂尖的AI研究機構(gòu)。在它們之中，Google以9篇使用Fashion-MNIST的論文位居榜首。其次是英國劍橋大學(xué)，7篇；IBM Research、加拿大蒙特利爾大學(xué)、北京大學(xué)和加州大學(xué)洛杉磯分校以6篇并列第三。中國方面，除北京大學(xué)外，中科院、南京大學(xué)、清華大學(xué)及京東也非常青睞Fashion-MNIST這個數(shù)據(jù)集。而在工業(yè)界，除了已經(jīng)列出的Google, IBM Research和Microsoft，在完整列表中可以找到更多大家耳順能詳?shù)墓綟acebook (2篇), Telefónica Research (2篇) Uber (1篇), Apple (1篇), Samsung (1篇), 華為 (1篇) and Twitter (1篇)。同時，我還注意到有不少北美地區(qū)的機器視覺創(chuàng)業(yè)公司也在Fashion-MNIST數(shù)據(jù)集上做了非常有意思的研究，并發(fā)表了高質(zhì)量的論文。
AI領(lǐng)域的競爭和合作
下圖展示了這些文章出自于哪些國家或地區(qū)。如果一個論文由多個國家或地區(qū)合作完成，則在統(tǒng)計時每個國家或地區(qū)時都加1。而如果一篇論文中多個作者來自同一國家或地區(qū)，則這一國家或地區(qū)只加1。為了更清晰的展示結(jié)果，論文數(shù)量小于4的國家或地區(qū)沒有在這里展示，但大家仍然可以在這里查看全部國家或地區(qū)的統(tǒng)計列表。
很明顯，美國以94篇引用Fashion-MNIST的論文的絕對多數(shù)占據(jù)了榜首，其次是中國44篇。加拿大、英國德國的研究人員也顯示了對這個數(shù)據(jù)集的濃厚興趣，分列第3，4，5位。榜上前5名的國家貢獻了大約50%的論文量。總體來講，共有來自38個國家的研究人員在他們的論文中使用了這個數(shù)據(jù)集。
盡管中美AI領(lǐng)域競爭激烈，但我們?nèi)匀豢吹絻蓢贏I研究領(lǐng)域中大量的合作。在過去的一年內(nèi)，兩國共有10篇合作的論文使用了Fashion-MNIST數(shù)據(jù)集，高于任何其他兩國之間的合作。其次是英國和德國，共合作了4篇論文。完整的國家地區(qū)合作列表可以在這里看到。
我非常愿意看到更多的國家與國家之間在AI領(lǐng)域的合作。這也是Fashion-MNIST的使命之一：增加整個社區(qū)的凝聚力和多元化。特別是今天，當(dāng)AI技術(shù)已經(jīng)越出象牙塔，國與國之間的交流合作變得極為重要。
當(dāng)然，論文不是靠數(shù)量而是靠質(zhì)量取勝的。那么這些論文都是在哪里發(fā)表的呢？他們的質(zhì)量又如何呢？下圖給出了按照會議和期刊的統(tǒng)計表。我只統(tǒng)計了過去一年中已經(jīng)確定被正式錄取的論文，而那些正在審核狀態(tài)的論文并沒有在這個圖表中展示。完整的列表可以在這里查看。
大部分的論文都是在2018年涌現(xiàn)出來的，尤其是在諸如NIPS, ICLR, ICML等頂會。在NIPS 2018中，一共有17篇錄用的論文使用了Fashion-MNIST數(shù)據(jù)集。而2017年這個數(shù)字是：零。不過這顯而易見，因為在NIPS2017年的5月份的投稿截止時，Fashion-MNIST還沒有誕生。而在稍后一點的11月戒指的NIPS 2017 Workshop中，我們已經(jīng)可以看到研究者在論文中使用了這個數(shù)據(jù)集。
除了在會議上發(fā)表，也有很多畢業(yè)論文和頂級期刊中引用到了Fashion-MNIST，其中知名的期刊包括：Journal of Machine Learning Research (2篇)，Neurocomputing(2篇)，Nature Communications (1篇), 和Science (1篇)！
Fashion-MNIST 在「科學(xué)」雜志中被引用
這其中最讓我驕傲的一篇論文引用，發(fā)表在Science科學(xué)雜志上。
在這篇題為“All-optical machine learning using diffractive deep neural networks”的Science論文中，一個來自加州大學(xué)洛杉磯分校的團隊建造了一個全光學(xué)的深度”神經(jīng)”網(wǎng)絡(luò)，并且用3D打印機打印了出來。這個光學(xué)深度神經(jīng)網(wǎng)絡(luò)功能上沒什么不同，它能對MNIST/Fashion-MNIST的圖像進行分類，只不過它的分類速度是——光速！
下圖展示了MNIST和Fashion-MNIST模型上5個不同的物理層。這些層可以被3D打印出來，而層上面的每個點都有著不同的功能：或是允許光子通過，或是直接把光子反射回去，這就好比神經(jīng)元之間的連接。在下圖右側(cè)，就是一個打印出的3D打印的全光學(xué)神經(jīng)網(wǎng)絡(luò)。
在實際分類時，這個3D打印的網(wǎng)絡(luò)被放在如下的儀器中。通過判斷在最后一層上光學(xué)信號最強的區(qū)域來獲得分類結(jié)果。
生成對抗網(wǎng)絡(luò)(GAN)近幾年一直是深度學(xué)習(xí)領(lǐng)域的研究重點，尤其是在圖像生成、圖像處理等應(yīng)用領(lǐng)域，GAN經(jīng)常能取得驚人的效果。也不難理解為什么GAN的研究員喜歡Fashion-MNIST這個數(shù)據(jù)集：它比較輕量；不需要重新寫data-loader；卻比MNIST包含更復(fù)雜的和多元的局部模式信息。對于圖像GAN的研究者來說，在打造一個新的算法時，第一個測試就是在MNIST和Fashion-MNIST上進行測試。下圖展示了247篇論文按照關(guān)鍵詞分類結(jié)果。很多論文作者沒有提供關(guān)鍵詞，對于這些論文，我在讀過Abstract和Related Work后，為這些論文手工總結(jié)了一些關(guān)鍵詞。為了更清晰的展示結(jié)果，論文數(shù)量小于5的關(guān)鍵詞沒有在這里展示，但大家仍然可以在這里查看全部關(guān)鍵詞的統(tǒng)計列表。
新的機器學(xué)習(xí)算法也喜歡使用Fashion-MNIST來做評測，例如膠囊網(wǎng)絡(luò)(Capsule Networks)。膠囊網(wǎng)絡(luò)自從發(fā)表以來就收到很多的討論：有不少人質(zhì)疑膠囊網(wǎng)絡(luò)從設(shè)計上是否為MNIST做了特別的優(yōu)化，而這種結(jié)構(gòu)是否在其他數(shù)據(jù)集上仍然有效。不說大的ImageNet數(shù)據(jù)集，膠囊網(wǎng)絡(luò)是否在Fashion-MNIST上仍然有效呢？在過去的一年里，有9篇新的膠囊網(wǎng)絡(luò)的論文實驗中使用了Fashion-MNIST數(shù)據(jù)集。他們設(shè)計了更穩(wěn)定的路由算法以確保空間特征能夠保留住。
在我發(fā)布Fashion-MNIST幾周后，我受邀到亞馬遜柏林辦公室做了一個演講。在問答環(huán)節(jié)，我被一個研究員問道，是否擔(dān)心Fashion-MNIST成為那些懶惰的研究員逃避現(xiàn)實問題的一個借口。畢竟，他們現(xiàn)在可以說自己的算法有了份”雙保險”（在兩個MNIST上驗證過了）。
這個社區(qū)從來沒有讓我失望，這些高質(zhì)量的論文已經(jīng)很好的證明了自己。而除了學(xué)術(shù)圈的論文，這個社區(qū)還找到了Fashion-MNIST另一個重要用途：教學(xué)。在網(wǎng)上你可以找到數(shù)以千計的討論、代碼和教程，尤其是在機器學(xué)習(xí)入門的第一講。Fashion-MNIST增加了整個社區(qū)的多元化：它吸引了很多年輕的AI（特別是女性）愛好者、學(xué)生甚至是藝術(shù)家和設(shè)計師。他們在Twitter上表示，第一眼看到這個數(shù)據(jù)集都會覺得非常可愛，因此很想動手實踐。在2018年9月，Google在中國舉辦的開發(fā)者大會上，來自Google的演講者使用Fashion-MNIST作為例子向在場的數(shù)百名參會者普及Keras深度學(xué)習(xí)庫和機器學(xué)習(xí)技術(shù)。而就在前幾天，2018年10月，Google Colab發(fā)布的TPU示例中，也使用了Fashion-MNIST作為演示的例子來展現(xiàn)TPU的超強算力。
人工智能的進步需要來自整個社區(qū)的共同努力。我很欣慰的看到在過去的一年里，Fashion-MNIST為這個社區(qū)做出了自己的貢獻：它不僅吸引了多元化背景的愛好者，也促進研究人員設(shè)計更嚴(yán)密更具說服力的實驗。所以無論你是研究員、學(xué)生、教授還是愛好者，無論你是想把Fashion-MNIST用在講座、論文、研討會、競賽還是培訓(xùn)中，只要你喜歡，都可以去做。最重要的是享受技術(shù)帶來的樂趣，讓更多的人體驗到機器學(xué)習(xí)和人工智能的魅力。
附：作者Blog的原始英文版本地址：https://hanxiao.github.io
總結(jié)
以上是生活随笔為你收集整理的Fashion-MNIST 一周年 | Google NIPS最爱，还登上了Science的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Paxos和Raft的前世今生
- 下一篇： 腾讯Blade Team胡珀：IoT时代