Deeplearning.ai深度学习课程笔记-在线版
注意：請(qǐng)點(diǎn)擊閱讀原文
課程概述
課程視頻離線版本可以到github：https://github.com/fengdu78/deeplearning_ai_books 查找下載。
課程地址：https://mooc.study.163.com/university/deeplearning_ai#/c
這些課程專為已有一定基礎(chǔ)（基本的編程知識(shí)，熟悉Python、對(duì)機(jī)器學(xué)習(xí)有基本了解），想要嘗試進(jìn)入人工智能領(lǐng)域的計(jì)算機(jī)專業(yè)人士準(zhǔn)備。介紹顯示：“深度學(xué)習(xí)是科技業(yè)最熱門的技能之一，本課程將幫你掌握深度學(xué)習(xí)。”
在這5堂課中，學(xué)生將可以學(xué)習(xí)到深度學(xué)習(xí)的基礎(chǔ)，學(xué)會(huì)構(gòu)建神經(jīng)網(wǎng)絡(luò)，并用在包括吳恩達(dá)本人在內(nèi)的多位業(yè)界頂尖專家指導(dǎo)下創(chuàng)建自己的機(jī)器學(xué)習(xí)項(xiàng)目。Deep Learning Specialization對(duì)卷積神經(jīng)網(wǎng)絡(luò) (CNN)、遞歸神經(jīng)網(wǎng)絡(luò) (RNN)、長(zhǎng)短期記憶 (LSTM) 等深度學(xué)習(xí)常用的網(wǎng)絡(luò)結(jié)構(gòu)、工具和知識(shí)都有涉及。
課程中也會(huì)有很多實(shí)操項(xiàng)目，幫助學(xué)生更好地應(yīng)用自己學(xué)到的深度學(xué)習(xí)技術(shù)，解決真實(shí)世界問(wèn)題。這些項(xiàng)目將涵蓋醫(yī)療、自動(dòng)駕駛、和自然語(yǔ)言處理等時(shí)髦領(lǐng)域，以及音樂(lè)生成等等。Coursera上有一些特定方向和知識(shí)的資料，但一直沒(méi)有比較全面、深入淺出的深度學(xué)習(xí)課程——《深度學(xué)習(xí)專業(yè)》的推出補(bǔ)上了這一空缺。
課程的語(yǔ)言是Python，使用的框架是Google開源的TensorFlow。最吸引人之處在于，課程導(dǎo)師就是吳恩達(dá)本人，兩名助教均來(lái)自斯坦福計(jì)算機(jī)系。完成課程所需時(shí)間根據(jù)不同的學(xué)習(xí)進(jìn)度，大約需要3-4個(gè)月左右。學(xué)生結(jié)課后，Coursera將授予他們Deep Learning Specialization結(jié)業(yè)證書。
“我們將幫助你掌握深度學(xué)習(xí)，理解如何應(yīng)用深度學(xué)習(xí)，在人工智能業(yè)界開啟你的職業(yè)生涯。”吳恩達(dá)在課程頁(yè)面中提到。
本人黃海廣博士，以前寫過(guò)吳恩達(dá)老師的機(jī)器學(xué)習(xí)個(gè)人筆記。目前我正在組織團(tuán)隊(duì)整理中文筆記，由熱心的朋友無(wú)償幫忙制作整理，并持續(xù)更新。我們的團(tuán)隊(duì)的工作致力于AI在國(guó)內(nèi)的推廣，不會(huì)損害Coursera以及吳恩達(dá)老師的商業(yè)利益。
本人水平有限，如有公式、算法錯(cuò)誤，請(qǐng)及時(shí)指出，發(fā)郵件給我。
筆記是根據(jù)視頻和字幕寫的，沒(méi)有技術(shù)含量，只需要專注和嚴(yán)謹(jǐn)。
黃海廣
主要編寫人員：黃海廣、林興木（第四所有底稿，第五課第一二周，第三周前三節(jié)）、祝彥森:（第三課所有底稿）、賀志堯（第五課第三周底稿）、王翔、胡瀚文、 余笑、 鄭浩、李懷松、 朱越鵬、陳偉賀、 曹越、 路皓翔、邱牧宸、 唐天澤、 張浩、 陳志豪、 游忍、 澤霖、沈偉臣、 賈紅順、 時(shí)超、 陳哲、趙一帆、 胡瀟楊、段希、于沖、張?chǎng)钨?/p>
參與編輯人員：黃海廣、陳康凱、石晴路、鐘博彥、向偉、嚴(yán)鳳龍、劉成 、賀志堯、段希、陳瑤、林家泳、王翔、 謝士晨、蔣鵬
深度學(xué)習(xí)筆記目錄
第一門課 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)(Neural Networks and Deep Learning)
第一周：深度學(xué)習(xí)引言(Introduction to Deep Learning)
1.1 歡迎(Welcome)
1.2 什么是神經(jīng)網(wǎng)絡(luò)？(What is a Neural Network)
1.3 神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)(Supervised Learning with Neural Networks)
1.4 為什么神經(jīng)網(wǎng)絡(luò)會(huì)流行？(Why is Deep Learning taking off?)
1.5 關(guān)于本課程(About this Course)
1.6 課程資源(Course Resources)
1.7 Geoffery Hinton 專訪(Geoffery Hinton interview)
第二周：神經(jīng)網(wǎng)絡(luò)的編程基礎(chǔ)(Basics of Neural Network programming)
2.1 二分類(Binary Classification)
2.2 邏輯回歸(Logistic Regression)
2.3 邏輯回歸的代價(jià)函數(shù)（Logistic Regression Cost Function）
2.4 梯度下降（Gradient Descent）
2.5 導(dǎo)數(shù)（Derivatives）
2.6 更多的導(dǎo)數(shù)例子（More Derivative Examples）
2.7 計(jì)算圖（Computation Graph）
2.8 計(jì)算圖導(dǎo)數(shù)（Derivatives with a Computation Graph）
2.9 邏輯回歸的梯度下降（Logistic Regression Gradient Descent）
2.10 梯度下降的例子(Gradient Descent on m Examples)
2.11 向量化(Vectorization)
2.12 更多的向量化例子（More Examples of Vectorization）
2.13 向量化邏輯回歸(Vectorizing Logistic Regression)
2.14 向量化邏輯回歸的梯度計(jì)算（Vectorizing Logistic Regression's Gradient）
2.15 Python中的廣播機(jī)制（Broadcasting in Python）
2.16 關(guān)于 Python與numpy向量的使用（A note on python or numpy vectors）
2.17 Jupyter/iPython Notebooks快速入門（Quick tour of Jupyter/iPython Notebooks）
2.18 邏輯回歸損失函數(shù)詳解（Explanation of logistic regression cost function）
第三周：淺層神經(jīng)網(wǎng)絡(luò)(Shallow neural networks)
3.1 神經(jīng)網(wǎng)絡(luò)概述（Neural Network Overview）
3.2 神經(jīng)網(wǎng)絡(luò)的表示（Neural Network Representation）
3.3 計(jì)算一個(gè)神經(jīng)網(wǎng)絡(luò)的輸出（Computing a Neural Network's output）
3.4 多樣本向量化（Vectorizing across multiple examples）
3.5 向量化實(shí)現(xiàn)的解釋（Justification for vectorized implementation）
3.6 激活函數(shù)（Activation functions）
3.7 為什么需要非線性激活函數(shù)？（why need a nonlinear activation function?）
3.8 激活函數(shù)的導(dǎo)數(shù)（Derivatives of activation functions）
3.9 神經(jīng)網(wǎng)絡(luò)的梯度下降（Gradient descent for neural networks）
3.10（選修）直觀理解反向傳播（Backpropagation intuition）
3.11 隨機(jī)初始化（Random+Initialization）
第四周：深層神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks)
4.1 深層神經(jīng)網(wǎng)絡(luò)（Deep L-layer neural network）
4.2 前向傳播和反向傳播（Forward and backward propagation）
4.3 深層網(wǎng)絡(luò)中的前向和反向傳播（Forward propagation in a Deep Network）
4.4 核對(duì)矩陣的維數(shù)（Getting your matrix dimensions right）
4.5 為什么使用深層表示？（Why deep representations?）
4.6 搭建神經(jīng)網(wǎng)絡(luò)塊（Building blocks of deep neural networks）
4.7 參數(shù)VS超參數(shù)（Parameters vs Hyperparameters）
4.8 深度學(xué)習(xí)和大腦的關(guān)聯(lián)性（What does this have to do with the brain?）
第二門課 改善深層神經(jīng)網(wǎng)絡(luò)：超參數(shù)調(diào)試、正則化以及優(yōu)化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization)
第一周：深度學(xué)習(xí)的實(shí)用層面(Practical aspects of Deep Learning)
1.1 訓(xùn)練，驗(yàn)證，測(cè)試集（Train / Dev / Test sets）
1.2 偏差，方差（Bias /Variance）
1.3 機(jī)器學(xué)習(xí)基礎(chǔ)（Basic Recipe for Machine Learning）
1.4 正則化（Regularization）
1.5 為什么正則化有利于預(yù)防過(guò)擬合呢？（Why regularization reduces overfitting?）
1.6 dropout 正則化（Dropout Regularization）
1.7 理解 dropout（Understanding Dropout）
1.8 其他正則化方法（Other regularization methods）
1.9 標(biāo)準(zhǔn)化輸入（Normalizing inputs）
1.10 梯度消失/梯度爆炸（Vanishing / Exploding gradients）
1.11 神經(jīng)網(wǎng)絡(luò)的權(quán)重初始化（Weight Initialization for Deep NetworksVanishing /Exploding gradients）
1.12 梯度的數(shù)值逼近（Numerical approximation of gradients）
1.13 梯度檢驗(yàn)（Gradient checking）
1.14 梯度檢驗(yàn)應(yīng)用的注意事項(xiàng)（Gradient Checking Implementation Notes）
第二周：優(yōu)化算法 (Optimization algorithms)
2.1 Mini-batch 梯度下降（Mini-batch gradient descent）
2.2 理解Mini-batch 梯度下降（Understanding Mini-batch gradient descent）
2.3 指數(shù)加權(quán)平均（Exponentially weighted averages）
2.4 理解指數(shù)加權(quán)平均（Understanding Exponentially weighted averages）
2.5 指數(shù)加權(quán)平均的偏差修正（Bias correction in exponentially weighted averages）
2.6 momentum梯度下降（Gradient descent with momentum）
2.7 RMSprop——root mean square prop（RMSprop）
2.8 Adam優(yōu)化算法（Adam optimization algorithm）
2.9 學(xué)習(xí)率衰減（Learning rate decay）
2.10 局部最優(yōu)問(wèn)題（The problem of local optima）
第三周超參數(shù)調(diào)試，batch正則化和程序框架（Hyperparameter tuning, Batch Normalization and Programming Frameworks)
3.1 調(diào)試處理（Tuning process）
3.2 為超參數(shù)選擇和適合范圍（Using an appropriate scale to pick hyperparameters）
3.3 超參數(shù)訓(xùn)練的實(shí)踐：Pandas vs. Caviar（Hyperparameters tuning in practice: Pandas vs. Caviar）
3.4 網(wǎng)絡(luò)中的正則化激活函數(shù)（Normalizing activations in a network）
3.5 將 Batch Norm擬合進(jìn)神經(jīng)網(wǎng)絡(luò)（Fitting Batch Norm into a neural network）
3.6 為什么Batch Norm奏效？（Why does Batch Norm work?）
3.7 測(cè)試時(shí)的Batch Norm（Batch Norm at test time）
3.8 Softmax 回歸（Softmax Regression）
3.9 訓(xùn)練一個(gè)Softmax 分類器（Training a softmax classifier）
3.10 深度學(xué)習(xí)框架（Deep learning frameworks）
3.11 TensorFlow（TensorFlow）
第三門課 結(jié)構(gòu)化機(jī)器學(xué)習(xí)項(xiàng)目 (Structuring Machine Learning Projects)
第一周：機(jī)器學(xué)習(xí)策略（1）(ML Strategy (1))
1.1 為什么是ML策略？ (Why ML Strategy)
1.2 正交化(Orthogonalization)
1.3 單一數(shù)字評(píng)估指標(biāo)(Single number evaluation metric)
1.4 滿足和優(yōu)化指標(biāo) (Satisficing and Optimizing metric)
1.5 訓(xùn)練集、開發(fā)集、測(cè)試集的劃分(Train/dev/test distributions)
1.6 開發(fā)集和測(cè)試集的大小 (Size of the dev and test sets)
1.7 什么時(shí)候改變開發(fā)集/測(cè)試集和評(píng)估指標(biāo)(When to change dev/test sets and metrics)
1.8 為什么是人的表現(xiàn) (Why human-level performance?)
1.9 可避免偏差(Avoidable bias)
1.10 理解人類的表現(xiàn) (Understanding human-level performance)
1.11 超過(guò)人類的表現(xiàn)(Surpassing human-level performance)
1.12 改善你的模型表現(xiàn) (Improving your model performance)
第二周：機(jī)器學(xué)習(xí)策略（2）(ML Strategy (2))
2.1 誤差分析 (Carrying out error analysis)
2.2 清除標(biāo)注錯(cuò)誤的數(shù)據(jù)(Cleaning up incorrectly labeled data)
2.3 快速搭建你的第一個(gè)系統(tǒng)，并進(jìn)行迭代(Build your first system quickly, then iterate)
2.4 在不同的分布上的訓(xùn)練集和測(cè)試集 (Training and testing on different distributions)
2.5 數(shù)據(jù)分布不匹配的偏差與方差分析 (Bias and Variance with mismatched data distributions)
2.6 處理數(shù)據(jù)不匹配問(wèn)題(Addressing data mismatch)
2.7 遷移學(xué)習(xí) (Transfer learning)
2.8 多任務(wù)學(xué)習(xí)(Multi-task learning)
2.9 什么是端到端的深度學(xué)習(xí)？ (What is end-to-end deep learning?)
2.10 是否使用端到端的深度學(xué)習(xí)方法 (Whether to use end-to-end deep learning)
第四門課 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）
第一周 卷積神經(jīng)網(wǎng)絡(luò)(Foundations of Convolutional Neural Networks)
1.1 計(jì)算機(jī)視覺(jué)（Computer vision）
1.2 邊緣檢測(cè)示例（Edge detection example）
1.3 更多邊緣檢測(cè)內(nèi)容（More edge detection）
1.4 Padding
1.5 卷積步長(zhǎng)（Strided convolutions）
1.6 三維卷積（Convolutions over volumes）
1.7 單層卷積網(wǎng)絡(luò)（One layer of a convolutional network）
1.8 簡(jiǎn)單卷積網(wǎng)絡(luò)示例（A simple convolution network example）
1.9 池化層（Pooling layers）
1.10 卷積神經(jīng)網(wǎng)絡(luò)示例（Convolutional neural network example）
1.11 為什么使用卷積？（Why convolutions?）
第二周 深度卷積網(wǎng)絡(luò)：實(shí)例探究(Deep convolutional models: case studies)
2.1 為什么要進(jìn)行實(shí)例探究？（Why look at case studies?）
2.2 經(jīng)典網(wǎng)絡(luò)（Classic networks）
2.3 殘差網(wǎng)絡(luò)（Residual Networks (ResNets)）
2.4 殘差網(wǎng)絡(luò)為什么有用？（Why ResNets work?）
2.5 網(wǎng)絡(luò)中的網(wǎng)絡(luò)以及 1×1 卷積（Network in Network and 1×1 convolutions）
2.6 谷歌 Inception 網(wǎng)絡(luò)簡(jiǎn)介（Inception network motivation）
2.7 Inception 網(wǎng)絡(luò)（Inception network）
2.8 使用開源的實(shí)現(xiàn)方案（Using open-source implementations）
2.9 遷移學(xué)習(xí)（Transfer Learning）
2.10 數(shù)據(jù)擴(kuò)充（Data augmentation）
2.11 計(jì)算機(jī)視覺(jué)現(xiàn)狀（The state of computer vision）
第三周 目標(biāo)檢測(cè)（Object detection）
3.1 目標(biāo)定位（Object localization）
3.2 特征點(diǎn)檢測(cè)（Landmark detection）
3.3 目標(biāo)檢測(cè)（Object detection）
3.4 卷積的滑動(dòng)窗口實(shí)現(xiàn)（Convolutional implementation of sliding windows）
3.5 Bounding Box預(yù)測(cè)（Bounding box predictions）
3.6 交并比（Interp over union）
3.7 非極大值抑制（Non-max suppression）
3.8 Anchor Boxes
3.9 YOLO 算法（Putting it together: YOLO algorithm）
3.10 候選區(qū)域（選修）（Region proposals (Optional)）
第四周 特殊應(yīng)用：人臉識(shí)別和神經(jīng)風(fēng)格轉(zhuǎn)換（Special applications: Face recognition &Neural style transfer）
4.1 什么是人臉識(shí)別？(What is face recognition?)
4.2 One-Shot學(xué)習(xí)（One-shot learning）
4.3 Siamese 網(wǎng)絡(luò)（Siamese network）
4.4 Triplet 損失（Triplet 損失）
4.5 面部驗(yàn)證與二分類（Face verification and binary classification）
4.6 什么是神經(jīng)風(fēng)格轉(zhuǎn)換？（What is neural style transfer?）
4.7 什么是深度卷積網(wǎng)絡(luò)？（What are deep ConvNets learning?）
4.8 代價(jià)函數(shù)（Cost function）
4.9 內(nèi)容代價(jià)函數(shù)（Content cost function）
4.10 風(fēng)格代價(jià)函數(shù)（Style cost function）
4.11 一維到三維推廣（1D and 3D generalizations of models）
第五門課 序列模型(Sequence Models)
第一周 循環(huán)序列模型（Recurrent Neural Networks）1.1 為什么選擇序列模型？（Why Sequence Models?）
1.2 數(shù)學(xué)符號(hào)（Notation）
1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)模型（Recurrent Neural Network Model）
1.4 通過(guò)時(shí)間的反向傳播（Backpropagation through time）
1.5 不同類型的循環(huán)神經(jīng)網(wǎng)絡(luò)（Different types of RNNs）
1.6 語(yǔ)言模型和序列生成（Language model and sequence generation）
1.7 對(duì)新序列采樣（Sampling novel sequences）
1.8 循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失（Vanishing gradients with RNNs）
1.9 GRU單元（Gated Recurrent Unit（GRU））
1.10 長(zhǎng)短期記憶（LSTM（long short term memory）unit）
1.11 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional RNN）
1.12 深層循環(huán)神經(jīng)網(wǎng)絡(luò)（Deep RNNs）
第二周 自然語(yǔ)言處理與詞嵌入（Natural Language Processing and Word Embeddings）
2.1 詞匯表征（Word Representation）
2.2 使用詞嵌入（Using Word Embeddings）
2.3 詞嵌入的特性（Properties of Word Embeddings）
2.4 嵌入矩陣（Embedding Matrix）
2.5 學(xué)習(xí)詞嵌入（Learning Word Embeddings）
2.6 Word2Vec
2.7 負(fù)采樣（Negative Sampling）
2.8 GloVe 詞向量（GloVe Word Vectors）
2.9 情緒分類（Sentiment Classification）
2.10 詞嵌入除偏（Debiasing Word Embeddings）
第三周 序列模型和注意力機(jī)制（Sequence models & Attention mechanism）
3.1 基礎(chǔ)模型（Basic Models）
3.2 選擇最可能的句子（Picking the most likely sentence）
3.3 集束搜索（Beam Search）
3.4 改進(jìn)集束搜索（Refinements to Beam Search）
3.5 集束搜索的誤差分析（Error analysis in beam search）
3.6 Bleu 得分（選修）（Bleu Score (optional)）
3.7 注意力模型直觀理解（Attention Model Intuition）
3.8注意力模型（Attention Model）
3.9語(yǔ)音識(shí)別（Speech recognition）
3.10觸發(fā)字檢測(cè)（Trigger Word Detection）
3.11結(jié)論和致謝（Conclusion and thank you）
人工智能大師訪談
吳恩達(dá)采訪 Geoffery Hinton
吳恩達(dá)采訪 Ian Goodfellow
吳恩達(dá)采訪 Ruslan Salakhutdinov
吳恩達(dá)采訪 Yoshua Bengio
吳恩達(dá)采訪 林元慶
吳恩達(dá)采訪 Pieter Abbeel
吳恩達(dá)采訪 Andrej Karpathy
附件
深度學(xué)習(xí)符號(hào)指南（原課程翻譯）注意：請(qǐng)點(diǎn)擊閱讀原文
請(qǐng)關(guān)注和分享本公眾號(hào)：
精華文章：
吳恩達(dá)老師的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)課程筆記打印版打印版
吳恩達(dá)老師機(jī)器學(xué)習(xí)課程個(gè)人筆記在線版
機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)
總結(jié)
以上是生活随笔為你收集整理的Deeplearning.ai深度学习课程笔记-在线版的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 吴恩达老师的机器学习和深度学习课程笔记打
- 下一篇： 首发：深度学习测试题中英对照版