CS231n簡介

CS231n的全稱是CS231n: Convolutional Neural Networks for Visual Recognition，即面向視覺識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)。該課程是斯坦福大學(xué)計(jì)算機(jī)視覺實(shí)驗(yàn)室推出的課程。需要注意的是，目前大家說CS231n，大都指的是2016年冬季學(xué)期（一月到三月）的最新版本。

課程描述：請(qǐng)?jiān)试S我們引用課程主頁上的官方描述如下。

計(jì)算機(jī)視覺在社會(huì)中已經(jīng)逐漸普及，并廣泛運(yùn)用于搜索檢索、圖像理解、手機(jī)應(yīng)用、地圖導(dǎo)航、醫(yī)療制藥、無人機(jī)和無人駕駛汽車等領(lǐng)域。而這些應(yīng)用的核心技術(shù)就是圖像分類、圖像定位和圖像探測等視覺識(shí)別任務(wù)。近期神經(jīng)網(wǎng)絡(luò)（也就是“深度學(xué)習(xí)”）方法上的進(jìn)展極大地提升了這些代表當(dāng)前發(fā)展水平的視覺識(shí)別系統(tǒng)的性能。

本課程將深入講解深度學(xué)習(xí)框架的細(xì)節(jié)問題，聚焦面向視覺識(shí)別任務(wù)（尤其是圖像分類任務(wù)）的端到端學(xué)習(xí)模型。在10周的課程中，學(xué)生們將會(huì)學(xué)習(xí)如何實(shí)現(xiàn)、訓(xùn)練和調(diào)試他們自己的神經(jīng)網(wǎng)絡(luò)，并建立起對(duì)計(jì)算機(jī)視覺領(lǐng)域的前沿研究方向的細(xì)節(jié)理解。最終的作業(yè)將包括訓(xùn)練一個(gè)有幾百萬參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用到最大的圖像分類數(shù)據(jù)庫（ImageNet）上。我們將會(huì)聚焦于教授如何確定圖像識(shí)別問題，學(xué)習(xí)算法（比如反向傳播算法），對(duì)網(wǎng)絡(luò)的訓(xùn)練和精細(xì)調(diào)整（fine-tuning）中的工程實(shí)踐技巧，指導(dǎo)學(xué)生動(dòng)手完成課程作業(yè)和最終的課程項(xiàng)目。本課程的大部分背景知識(shí)和素材都來源于ImageNet Challenge競賽。

課程內(nèi)容：官方課程安排及資源獲取請(qǐng)點(diǎn)擊這里，課程視頻請(qǐng)?jiān)赮outube上查看Andrej Karpathy創(chuàng)建的播放列表，也可私信我們獲取云盤視頻資源。通過查看官方課程表，我們可以看到：CS231n課程資源主要由授課視頻與PPT，授課知識(shí)詳解筆記和課程作業(yè)三部分組成。其中：

• 授課視頻15課。每節(jié)課時(shí)約1小時(shí)左右，每節(jié)課一份PPT。
  
• 授課知識(shí)詳解筆記共9份。光看課程視頻是不夠的，深入理解課程筆記才能比較扎實(shí)地學(xué)習(xí)到知識(shí)。
• 課程作業(yè)3次。其中每次作業(yè)中又包含多個(gè)小作業(yè)，完成作業(yè)能確保對(duì)于課程關(guān)鍵知識(shí)的深入理解和實(shí)現(xiàn)。
• 課程項(xiàng)目1個(gè)。這個(gè)更多是面向斯坦福的學(xué)生，組隊(duì)實(shí)現(xiàn)課程項(xiàng)目。
• 拓展閱讀若干。課程推薦的拓展閱讀大多是領(lǐng)域內(nèi)的經(jīng)典著作節(jié)選或論文，推薦想要深入學(xué)習(xí)的同學(xué)閱讀。

課程評(píng)價(jià)：我們覺得贊！很多人都覺得贊！當(dāng)然也有人覺得不好。具體如何，大家搜搜CS231n在網(wǎng)絡(luò)，在知乎上的評(píng)價(jià)不就好了嘛！個(gè)人認(rèn)為：入門深度學(xué)習(xí)的一門良心課。適合絕大多數(shù)想要學(xué)習(xí)深度學(xué)習(xí)知識(shí)的人。

課程不足：課程后期從RCNN開始就沒有課程筆記。

課程學(xué)習(xí)方法

三句話總結(jié)：

• 看授課視頻形成概念，發(fā)現(xiàn)個(gè)人感興趣方向。
• 讀課程筆記理解細(xì)節(jié)，夯實(shí)工程實(shí)現(xiàn)的基礎(chǔ)。
  
• 碼課程作業(yè)實(shí)現(xiàn)算法，積累實(shí)驗(yàn)技巧與經(jīng)驗(yàn)。

引用一下學(xué)習(xí)金字塔的圖，意思大家都懂的：

我們的工作

• 完成了CS231n全部9篇課程知識(shí)詳解筆記的翻譯：
  

原文：[python/numpy tutorial]。

翻譯：Python Numpy教程。

我們將使用Python編程語言來完成本課程的所有作業(yè)。Python是一門偉大的通用編程語言，在一些常用庫（numpy, scipy, matplotlib）的幫助下，它又會(huì)變成一個(gè)強(qiáng)大的科學(xué)計(jì)算環(huán)境。我們期望你們中大多數(shù)人對(duì)于Python語言和Numpy庫比較熟悉，而對(duì)于沒有Python經(jīng)驗(yàn)的同學(xué)，這篇教程可以幫助你們快速了解Python編程環(huán)境和如何使用Python作為科學(xué)計(jì)算工具。

原文：[image classification notes]。

翻譯：圖像分類筆記（上）（下）。

該筆記是一篇介紹性教程，面向非計(jì)算機(jī)視覺領(lǐng)域的同學(xué)。教程將向同學(xué)們介紹圖像分類問題和數(shù)據(jù)驅(qū)動(dòng)方法，內(nèi)容列表：

• 圖像分類、數(shù)據(jù)驅(qū)動(dòng)方法和流程
  
• Nearest Neighbor分類器
  • k-Nearest Neighbor?譯者注：上篇翻譯截止處
    
• 驗(yàn)證集、交叉驗(yàn)證集和超參數(shù)調(diào)參
  
• Nearest Neighbor的優(yōu)劣
  
• 小結(jié)
  
• 小結(jié)：應(yīng)用kNN實(shí)踐
  
• 拓展閱讀

原文：[linear classification notes]。

翻譯：線性分類筆記（上）（中）（下）。

我們將要實(shí)現(xiàn)一種更強(qiáng)大的方法來解決圖像分類問題，該方法可以自然地延伸到神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)上。這種方法主要有兩部分組成：一個(gè)是評(píng)分函數(shù)（score function），它是原始圖像數(shù)據(jù)到類別分值的映射。另一個(gè)是損失函數(shù)（loss function），它是用來量化預(yù)測分類標(biāo)簽的得分與真實(shí)標(biāo)簽之間一致性的。該方法可轉(zhuǎn)化為一個(gè)最優(yōu)化問題，在最優(yōu)化過程中，將通過更新評(píng)分函數(shù)的參數(shù)來最小化損失函數(shù)值。內(nèi)容列表：

• 線性分類器簡介
• 線性評(píng)分函數(shù)
• 闡明線性分類器?譯者注：上篇翻譯截止處
• 損失函數(shù)
  • 多類SVM
  • Softmax分類器
  • SVM和Softmax的比較
• 基于Web的可交互線性分類器原型
• 小結(jié)

原文：[optimization notes]。

翻譯：最優(yōu)化筆記（上）（下）。

該筆記介紹了圖像分類任務(wù)的第三個(gè)關(guān)鍵部分：最優(yōu)化。內(nèi)容列表如下：

• 簡介
  
• 損失函數(shù)可視化
• 最優(yōu)化
  • 策略#1：隨機(jī)搜索
  • 策略#2：隨機(jī)局部搜索
  • 策略#3：跟隨梯度?譯者注：上篇截止處
• 梯度計(jì)算
  • 使用有限差值進(jìn)行數(shù)值計(jì)算
  • 微分計(jì)算梯度
• 梯度下降
• 小結(jié)

原文：[backprop notes]。

翻譯：反向傳播筆記。

該筆記本將幫助讀者對(duì)反向傳播形成直觀而專業(yè)的理解。反向傳播是利用鏈?zhǔn)椒▌t遞歸計(jì)算表達(dá)式的梯度的方法。理解反向傳播過程及其精妙之處，對(duì)于理解、實(shí)現(xiàn)、設(shè)計(jì)和調(diào)試神經(jīng)網(wǎng)絡(luò)非常關(guān)鍵。內(nèi)容里列表如下：

• 簡介
• 簡單表達(dá)式和理解梯度
• 復(fù)合表達(dá)式，鏈?zhǔn)椒▌t，反向傳播
• 直觀理解反向傳播
• 模塊：Sigmoid例子
• 反向傳播實(shí)踐：分段計(jì)算
• 回傳流中的模式
• 用戶向量化操作的梯度
• 小結(jié)

原文：Neural Nets notes 1。

翻譯：神經(jīng)網(wǎng)絡(luò)筆記1（上）（下）。

該筆記介紹了神經(jīng)網(wǎng)絡(luò)的建模與結(jié)構(gòu)，內(nèi)容列表如下：

• 不用大腦做類比的快速簡介
• 單個(gè)神經(jīng)元建模
  • 生物動(dòng)機(jī)和連接
  • 作為線性分類器的單個(gè)神經(jīng)元
  • 常用的激活函數(shù)
• 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
  • 層組織
  • 前向傳播計(jì)算例子
  • 表達(dá)能力
  • 設(shè)置層的數(shù)量和尺寸
• 小節(jié)
• 參考文獻(xiàn)

原文：Neural Nets notes 2。

翻譯：神經(jīng)網(wǎng)絡(luò)筆記2。

該筆記介紹了數(shù)據(jù)的預(yù)處理，正則化和損失函數(shù)，內(nèi)容列表如下：

• 設(shè)置數(shù)據(jù)和模型
  • 數(shù)據(jù)預(yù)處理
  • 權(quán)重初始化
  • 批量歸一化（Batch Normalization）
  • 正則化（L2/L1/Maxnorm/Dropout）
• 損失函數(shù)
• 小結(jié)

原文：Neural Nets notes 3。

翻譯：神經(jīng)網(wǎng)絡(luò)筆記3（上）（下）。

該筆記講解了神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)部分，即神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)參數(shù)和搜索最優(yōu)超參數(shù)的過程。內(nèi)容列表如下：

• 梯度檢查
• 合理性（Sanity）檢查
• 檢查學(xué)習(xí)過程
  • 損失函數(shù)
  • 訓(xùn)練集與驗(yàn)證集準(zhǔn)確率
  • 權(quán)重：更新比例
  • 每層的激活數(shù)據(jù)與梯度分布
  • 可視化?譯者注：上篇翻譯截止處
• 參數(shù)更新
  • 一階（隨機(jī)梯度下降）方法，動(dòng)量方法，Nesterov動(dòng)量方法
  • 學(xué)習(xí)率退火
  • 二階方法
  • 逐參數(shù)適應(yīng)學(xué)習(xí)率方法（Adagrad，RMSProp）
• 超參數(shù)調(diào)優(yōu)
• 評(píng)價(jià)
  • 模型集成
• 總結(jié)
• 拓展引用

原文：ConvNet notes。

翻譯：卷積神經(jīng)網(wǎng)絡(luò)筆記。

內(nèi)容列表：

• 結(jié)構(gòu)概述
• 用來構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的各種層
  
  • 卷積層
  • 匯聚層
  • 歸一化層
  • 全連接層
  • 將全連接層轉(zhuǎn)化成卷積層
• 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
  • 層的排列規(guī)律
  • 層的尺寸設(shè)置規(guī)律
  • 案例學(xué)習(xí)（LeNet / AlexNet / ZFNet / GoogLeNet / VGGNet）
  • 計(jì)算上的考量
• 拓展資源

• 完成了3個(gè)課程作業(yè)頁面的翻譯：
  

原文：[Assignment #1]。

翻譯：CS231n課程作業(yè)#1簡介。

作業(yè)內(nèi)容：實(shí)現(xiàn)k-NN，SVM分類器，Softmax分類器和兩層神經(jīng)網(wǎng)絡(luò)，實(shí)踐一個(gè)簡單的圖像分類流程。

原文：[Assignment #2]。

翻譯：CS231n課程作業(yè)#2簡介。

作業(yè)內(nèi)容：練習(xí)編寫反向傳播代碼，訓(xùn)練神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。

原文：[Assignment #3]。

翻譯：CS231n課程作業(yè)#3簡介。

作業(yè)內(nèi)容：實(shí)現(xiàn)循環(huán)網(wǎng)絡(luò)，并將其應(yīng)用于在微軟的COCO數(shù)據(jù)庫上進(jìn)行圖像標(biāo)注。實(shí)現(xiàn)DeepDream等有趣應(yīng)用。

• 幫助知友@智靖遠(yuǎn)發(fā)起了在Youtube上合力翻譯課程字幕的倡議：

原文：知友智靖遠(yuǎn)關(guān)于CS231n課程字幕翻譯的倡議。當(dāng)時(shí)，@智靖遠(yuǎn)已經(jīng)貢獻(xiàn)了他對(duì)第一課字幕的翻譯，目前這個(gè)翻譯項(xiàng)目仍在進(jìn)行中，歡迎各位知友積極參與。具體操作方式在倡議原文中有，請(qǐng)大家點(diǎn)擊查看。

有很多知友私信我們，詢問為何不做字幕。現(xiàn)在統(tǒng)一答復(fù)：請(qǐng)大家積極參加@智靖遠(yuǎn)的字幕翻譯項(xiàng)目。他先進(jìn)行的字幕貢獻(xiàn)與翻譯，我們不能奪人之美。后續(xù)，我們也會(huì)向該翻譯項(xiàng)目進(jìn)行貢獻(xiàn)。

翻譯團(tuán)隊(duì)

CS231n課程筆記的翻譯，始于@杜客在一次回答問題“應(yīng)該選擇TensorFlow還是Theano？”中的機(jī)緣巧合，在取得了授權(quán)后申請(qǐng)了知乎專欄智能單元 - 知乎專欄獨(dú)自翻譯。隨著翻譯的進(jìn)行，更多的知友參與進(jìn)來。他們是@ShiqingFan，@猴子，@堃堃和@李藝穎。

大家因?yàn)檎J(rèn)同這件事而聚集在一起，犧牲了很多個(gè)人的時(shí)間來進(jìn)行翻譯，校對(duì)和潤色。而翻譯的質(zhì)量，我們不愿意自我表揚(yáng)，還是請(qǐng)各位知友自行閱讀評(píng)價(jià)吧。現(xiàn)在筆記翻譯告一段落，下面是團(tuán)隊(duì)成員的簡短感言：

@ShiqingFan?：一個(gè)偶然的機(jī)會(huì)讓自己加入到這個(gè)翻譯小隊(duì)伍里來。CS231n給予了我知識(shí)的源泉和思考的靈感，前期的翻譯工作也督促自己快速了學(xué)習(xí)了這門課程。雖然科研方向是大數(shù)據(jù)與并行計(jì)算，不過因?yàn)橥瑫r(shí)對(duì)深度學(xué)習(xí)比較感興趣，于是乎現(xiàn)在的工作與兩者都緊密相連。Merci!

@猴子：在CS231n翻譯小組工作的兩個(gè)多月的時(shí)間非常難忘。我向杜客申請(qǐng)加入翻譯小組的時(shí)候，才剛接觸這門課不久，翻譯和校對(duì)的工作讓我對(duì)這門課的內(nèi)容有了更深刻的理解。作為一個(gè)機(jī)器學(xué)習(xí)的初學(xué)者，我非常榮幸能和翻譯小組一起工作并做一點(diǎn)貢獻(xiàn)。希望以后能繼續(xù)和翻譯小組一起工作和學(xué)習(xí)。

@堃堃?：感謝組內(nèi)各位成員的辛勤付出，很幸運(yùn)能夠參與這份十分有意義的工作，希望自己的微小工作能夠幫助到大家，謝謝！

@李藝穎?：當(dāng)你真正沉下心來要做一件事情的時(shí)候才是學(xué)習(xí)和提高最好的狀態(tài)；當(dāng)你有熱情做事時(shí)，并不會(huì)覺得是在犧牲時(shí)間，因?yàn)槟鞘怯幸饬x并能帶給你成就感和充實(shí)感的；不需要太過刻意地在乎大牛的巨大光芒，你只需像傻瓜一樣堅(jiān)持下去就好了，也許回頭一看，你已前進(jìn)了很多。就像老杜說的，我們就是每一步慢慢走，怎么就“零星”地把這件事給搞完了呢？

@杜客?：做了一點(diǎn)微小的工作，哈哈。

未來工作

目前通過大家的反饋，之后會(huì)有新的創(chuàng)作方向，會(huì)更多與大家互動(dòng)，敬請(qǐng)期待吧！

感謝

感謝所有給我們的翻譯提出過批評(píng)指正的知友，每篇文章末尾處的譯者反饋部分我們都列出了大家的具體指正與貢獻(xiàn)；

感謝所有給我們的翻譯點(diǎn)贊的知友，你們的贊是我們的精神糧食；

感謝給文章贊賞小錢錢的知友，謝謝老板們：）

最后

懇請(qǐng)大家點(diǎn)贊和分享到其他社交網(wǎng)絡(luò)上，讓更多想要入門與系統(tǒng)學(xué)習(xí)深度學(xué)習(xí)的小伙伴能夠看到這篇總集。同時(shí)，也歡迎大家在來專欄分享你的知識(shí)，發(fā)現(xiàn)志同道合的朋友！

原文地址：?https://zhuanlan.zhihu.com/p/21930884

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的CS231n官方笔记授权翻译总集篇发布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。