深度学习枕边书
? ? ? ? ? ? ? ? ? ? ? ?/*本文可以隨便轉載，轉載時請注明作者及文章出處*/
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?作者：新浪微博 ?張俊林
? ? ? 所謂“深度學習枕邊書”，我的目的是希望能夠找到初學者能夠了解深度學習的最小知識集合，也就是介紹那些最重要必須要了解的技術點。目標一個方面是知識最小集，以節省入門者的時間精力；另外一方面是通俗易懂，容易理解又能有一定深度，期待讀者是從放棄到入門，而不是從入門到放棄。具體方式則是將博客分門別類梳理，也會陸陸續續將一些必要知識點逐步加入，最后多久時間能形成最小知識集我也不確定，也許1年也許5年，有時間和精力就會補充一些知識點上來。
一.深度學習基礎
? ? ? 1.1 Normalization
?????????? 1.1.1綜述
???????? ? ? -深度學習中的Normalization(BatchNorm/LayerNorm/GroupNorm/InstanceNorm等)
?????????? 1.1.2 Batch Normalization
? ? ? ? ? ? ?-Batch Normalization導讀
? ? ? ? ? ? ?-在CNN和RNN中如何引入BatchNorm
? ? ? 1.2 注意力模型
? ? ? ? ? ? -深度學習中的注意力模型
? ? ? ? ? ? -以Attention Model為例談談科研中的創新模式
? ? ? 1.3 極深網絡：ResNet/DenseNet等
? ? ? ? ? ?-極深網絡:SkipConnection為何有效？
二.深度學習在自然語言處理的應用
? ? ? 2.1 基礎模型概述
? ? ? ? ? ? 2.1.1 RNN模型綜述
? ? ? ? ? ? ? ? ? -深度學習與自然語言處理之：從RNN到LSTM
? ? ? ? ? ? ? ? ? -深度學習中“門函數”的作用
? ? ? ? ? ? 2.1.2 CNN模型綜述
? ? ? ? ? ? ? ? ? -深度學習與自然語言處理之：CNN模型
? ? ? ? ? ? ? ? ?-自然語言處理中CNN常用的Max Pooling操作
?????????? 2.1.3 Transformer(目前最強的特征抽取器，建議熟練掌握)
???????????????? -The Illustrated Transformer中文翻譯?? ：簡單好理解，入門最佳
???????????????? -The Annotated Transformer. （哈佛大學介紹，目前我發現的網上最好的介紹資料）
????????????? ?? -放棄幻想，全面擁抱Transformer：自然語言處理三大特征抽取器（CNN/RNN/TF）比較??
? ? ?2.2 自然語言處理應用
??????????? 2.2.1 預訓練模型（Word Embedding-ELMO-GPT-BERT）
??????????????? -從Word Embedding到Bert模型—自然語言處理中的預訓練技術發展史
? ? ? ? ? ? 2.2.2 序列標注問題
? ? ? ? ? ? ? ? ? -使用RNN解決序列標注問題的通用思路
? ? ? ? ? ?2.2.3 句子對匹配
? ? ? ? ? ? ? ? ?-使用RNN解決句子對匹配的常用網絡結構
? ? ? ? ??2.2.4 聊天機器人
? ? ? ? ? ? ? ? -使用深度學習打造智能聊天機器人
? ? ? ? ? 2.2.5 機器閱讀理解
? ? ? ? ? ? ? ? -深度學習解決閱讀理解的研究進展
三.深度學習在推薦領域的應用
? ? ?3.1 CTR預估的綜述
? ? ? ? ? -深度學習在CTR預估任務中的應用
? ? ?3.2 推薦系統應用的綜述
? ? ? ? ? -深度學習在搜索和推薦領域的應用
超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生總結
- 上一篇： 博主新书：《大数据日知录：架构与算法》目
- 下一篇： 深度学习框架Neon