【李宏毅机器学习2021】Task02 回归
【李宏毅機器學習2021】本系列是針對datawhale《李宏毅機器學習-2022 10月》的學習筆記。本次是對回歸的學習總結。本節通過視頻學習到回歸任務的提出，三個要素，及如何優化。李老師通過層層遞進，提出問題解決問題的方式不斷打磨方法，從中介紹回歸任務的始末，引出深度學習及網絡加深伴隨的過擬合問題。
目錄
Task02 回歸
不同的機器學習方程類型：
回歸
分類
?structure learning
如何求得方程：
1.寫出帶有未知數的方程
?2.為訓練數據定義損失函數
3.優化（Optimization）
模型優化：
1.增加para數據量，引入更多有效信息
2.更改模型
Task02 回歸
書接上回，Machine Learning的本質就是讓計算機找一個解決問題的方程。
不同的機器學習方程類型：
回歸
例如給定一些特征，對數據進行預測。例如給定PM2.5相關的參數，如臭氧、今日的PM2.5、今日溫度濕度等，預測明天的溫度。
?
分類
給定特征，對數據進行分類。且分類的目標已經提前告訴計算機，讓計算機做選擇題。例如判斷郵箱郵件是不是垃圾郵件。?
再比如告訴計算機棋盤的情況，讓計算機下棋，計算機自己選擇19*19矩陣內的一點。
?
?structure learning
分類回歸只是一小部分，深度學習能做的還有很多很多！！！
如何求得方程：
?
?在這里李老師給出了一個任務，就是給出歷史的YouTuBe的視頻播放量，預測明天視頻播放量是多少。
這里的方程任務就是輸入歷史數據，輸出預測情況（回歸）。
1.寫出帶有未知數的方程
將輸出和輸出用函數表示聯系起來，同時加入未知數w（權重）和b（偏值）。
?2.為訓練數據定義損失函數
?損失函數的出現是為了判斷你在1中提出的方程有多好，例如通過你的預測在輸入17年1月1日后預測2號的播放量為5.3K 實際播放量為4.9K? 相差0.4K即為當前的loss。
兩種loss：?
MAE 平均值loss
MSE 方差loss（作業里使用）
知道了怎么評價，下一個問題又來了。如何調整方程，讓他更好的進行預測呢？
3.優化（Optimization）
采用梯度下降算法對提出的函數優化，讓函數找到一個局部最優解。在向梯度下降的位置移動，找到梯度為零的點。
引入學習率的概念，學習率表示每次找到梯度下降方向后要移動的大小尺寸。?
通過梯度下降的方法，對w參數不斷優化，保證loss下降。函數找到合適的參數。?
?
這里又引出另一個問題，如果在local minima點梯度下降算法失效，會帶來什么問題呢？一般來說局部最優解（local minima） 就可以解決問題了（在參數選擇正態分布參數時）。而更嚴重的問題是過擬合問題。
在例子中梯度優化的步驟如上圖。?
整體效果：
在經過上述三部操作后得到以下結果：
模型優化：
1.增加para數據量，引入更多有效信息
針對訓練數據從一天的尺度不斷擴充，從一天到七天，從七天到一個月、兩個月。可以發現剛開始增加尺度還是有一定效果的，但是到后面增加數據也沒了收益。
2.更改模型
將模型更新成紅色部分的函數，這樣的函數進行預測應該有更好的效果。?
?和傅里葉級數的概念差不多，一般函數常見函數（除了一些怪異的也不會在深度學習問題里出現）都可以用這樣的分段函數去表示。他們的組合疊加，像傅里葉級數的信號疊加一樣。
?
這里就會出現另一個問題，如何表示這樣的折線函數呢？
Sigmoid函數
這里引入了sigmoid函數，去做分段函數。其實用這個Sigmoid函數的工作也是模擬了神經元，在輸入信號達到一定值時，會做出反應，如果沒有達到閾值反應比較微弱或沒有反應。
?通過采用不同的w和b及c可以調整sigmoid函數的表示，讓他們綜合起來可以表現任意函數。= =看起來就很像橫過來的tanθ函數。
?
加入了sigmoid函數就復雜起來了，整體函數表現如下：
?
?看上去式子比較復雜，其實改改就很清晰了
括號內的內容可以用r=b+wx矩陣形式表示。
?
?
??最終式子就如上所示。
這里所有未知數都看作是θ
這里我們計算loss
?最后進行迭代優化
其實也一樣，都差不多。
?
當然對每個數據做一次opt非常麻煩，這里對數據進行劃分，每個batch優化一次loss。?
所以有數據集中數據都跑完叫一個epoch
?簡單算一下:1000個數據 每個batch100個數據，這樣就做十次opt
RELU
這里對sigmoid函數做優化調整，引入relu函數。
?
?
模型加深，進化成DeepLearning
?
?
這里表示很多網絡疊加在一起，為什么要這樣做，有什么好處呢？為什不橫向加寬呢？
這里就買了一個包袱。
?這里盲目加深網絡，會帶來過擬合問題。over fitting?
?
最后讓大家去猜如果用三層的，預測后天的結果會不會小于0.38。讓大家真實感受一下預測的情況，我覺得大于0.38的概率大一些哈哈。?
【結語】本節課學習了深度學習的搭建方法，從一個線性預測一步步到神經網絡再到深度學習模型。后面會跟著更新一個對作業的筆記。作業我也詳細寫一下筆記，雖然學過很多知識但是看完視頻還是收獲頗豐，繼續加油吧~
總結
以上是生活随笔為你收集整理的【李宏毅机器学习2021】Task02 回归的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： java6_64.tar配置,Ubunt
- 下一篇： HTTP的幂等性