李宏毅機器學(xué)習(xí)hw1~4作業(yè) 強化點總結(jié)

• 李宏毅機器學(xué)習(xí)hw1
• • 1. 特征選擇
  • 2. 激活函數(shù)
  • 3. 學(xué)習(xí)率
• 李宏毅機器學(xué)習(xí)hw2
• • HMM
• 李宏毅機器學(xué)習(xí)hw3
• • 1. dropout
  • 2. 目標(biāo)檢測Loss設(shè)置
  • 3. 模型融合
• 李宏毅機器學(xué)習(xí)hw4
• • 1. Conformer
  • 2. Self-attention pooling

李宏毅機器學(xué)習(xí)hw1

1. 特征選擇

利用sklearn中的特征選擇方法，選擇了少量最有影響的特征。對特征進行歸一化處理，將其轉(zhuǎn)換到[0, 1]區(qū)間內(nèi)。
參考：基于sklearn的特征選擇方法

2. 激活函數(shù)

LeakyReLU

優(yōu)點：
1、針對Relu函數(shù)中存在的Dead Relu Problem，Leaky Relu函數(shù)在輸入為負值時，給予輸入值一個很小的斜率，在解決了負輸入情況下的0梯度問題的基礎(chǔ)上，也很好的緩解了Dead Relu問題；
2、該函數(shù)的輸出為負無窮到正無窮，即leaky擴大了Relu函數(shù)的范圍，其中α的值一般設(shè)置為一個較小值，如0.01；

缺點：
1、理論上來說，該函數(shù)具有比Relu函數(shù)更好的效果，但是大量的實踐證明，其效果不穩(wěn)定，故實際中該函數(shù)的應(yīng)用并不多。
2、由于在不同區(qū)間應(yīng)用的不同的函數(shù)所帶來的不一致結(jié)果，將導(dǎo)致無法為正負輸入值提供一致的關(guān)系預(yù)測。

ELU

優(yōu)點：
1、ELU具有Relu的大多數(shù)優(yōu)點，不存在Dead Relu問題，輸出的均值也接近為0值；
2、該函數(shù)通過減少偏置偏移的影響，使正常梯度更接近于單位自然梯度，從而使均值向0加速學(xué)習(xí)；
3、該函數(shù)在負數(shù)域存在飽和區(qū)域，從而對噪聲具有一定的魯棒性；

缺點：
1、計算強度較高，含有冪運算；
2、在實踐中同樣沒有較Relu更突出的效果，故應(yīng)用不多；

3. 學(xué)習(xí)率

余弦退火算法

余弦退火通過周期性的改變學(xué)習(xí)率大小，在可能陷入局部最小值時，有可能跳出“局部最小值”。

李宏毅機器學(xué)習(xí)hw2

HMM

利用HMM與分詞、詞性標(biāo)注、命名實體識別

下面引用 HMM隱馬爾可夫模型詳解

使用HMM模型時我們的問題一般有這兩個特征：
１）我們的問題是基于序列的，比如時間序列，或者狀態(tài)序列。
２）我們的問題中有兩類數(shù)據(jù)，一類序列數(shù)據(jù)是可以觀測到的，即觀測序列；而另一類數(shù)據(jù)是不能觀察到的，即隱藏狀態(tài)序列，簡稱狀態(tài)序列。

有了這兩個特征，那么這個問題一般可以用HMM模型來嘗試解決。這樣的問題在實際生活中是很多的。比如：我現(xiàn)在在打字寫博客，我在鍵盤上敲出來的一系列字符就是觀測序列，而我實際想寫的一段話就是隱藏序列，輸入法的任務(wù)就是從敲入的一系列字符盡可能的猜測我要寫的一段話，并把最可能的詞語放在最前面讓我選擇，這就可以看做一個HMM模型了。再舉一個，我在和你說話，我發(fā)出的一串連續(xù)的聲音就是觀測序列，而我實際要表達的一段話就是狀態(tài)序列，你大腦的任務(wù)，就是從這一串連續(xù)的聲音中判斷出我最可能要表達的話的內(nèi)容。

從這些例子中，我們可以發(fā)現(xiàn)，HMM模型可以無處不在。但是上面的描述還不精確，下面我們用精確的數(shù)學(xué)符號來表述我們的HMM模型。

原理可參考：HMM（隱馬爾可夫）簡介

李宏毅機器學(xué)習(xí)hw3

1. dropout

dropout，一般用來解決過擬合問題

注意：dropout一定放到全連接層，千萬不要放到卷積層

參考：深度學(xué)習(xí)中Dropout原理解析

2. 目標(biāo)檢測Loss設(shè)置

FocalLoss

FocalLoss相對于CrossEntropy，考慮樣本不均衡的問題并增加了錯誤分類樣本loss的權(quán)重，可以通過減少易分類樣本的權(quán)重，使得模型在訓(xùn)練時更專注于難分類的樣本。

Equalized Focal Loss

通過將一個類別相關(guān)的調(diào)制因子引入Focal Loss。具有兩個解耦的動態(tài)因子（即聚焦因子和加權(quán)因子）的調(diào)制因子獨立處理不同類別的正負不平衡。focusing factor根據(jù)硬正樣本對應(yīng)類別的不平衡程度，決定了對硬正樣本的學(xué)習(xí)集中度。加權(quán)因子增加了稀有類別的影響，確保了稀有樣本的損失貢獻不會被頻繁的樣本所淹沒。這兩個因素的協(xié)同作用使EFL在長尾場景中應(yīng)用一階段檢測器時，能夠均勻地克服前景-背景不平衡和前景類別不平衡。
————————————————
版權(quán)聲明：本文為CSDN博主「中科哥哥」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/weixin_38353277/article/details/123369497

3. 模型融合

感覺與作業(yè)的初衷不符，這里只簡單的做個介紹

【機器學(xué)習(xí)】kaggle比賽大殺器——模型融合

kaggle比賽集成指南

李宏毅機器學(xué)習(xí)hw4

1. Conformer

論文地址: Conformer
conformer的思路很簡單，就是將Transformer和CNN進行結(jié)合。原因：
1.Transformer中由于attention機制，擁有很好的全局性。
2.CNN擁有較好的局部性，可以對細粒度的信息進行提取。
兩者結(jié)合在語音上有較好的效果。論文中闡述了具體的model架構(gòu)。
————————————————
版權(quán)聲明：本文為CSDN博主「loco_monkey」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/loco_monkey/article/details/125635953

參考：深度學(xué)習(xí)中Dropout原理解析

2. Self-attention pooling

self attention pooling論文
主要看論文中的self-attention pooling架構(gòu)，和mean pooling相比之下，self-attention
pooling是通過可學(xué)習(xí)參數(shù)來進行pooling，相比mean pooling可以提取到一些信息。 參考大佬視頻講解
————————————————
版權(quán)聲明：本文為CSDN博主「loco_monkey」的原創(chuàng)文章，遵循CC 4.0
BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/loco_monkey/article/details/125635953

總結(jié)

以上是生活随笔為你收集整理的李宏毅机器学习hw1~4作业 强化点的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。