半監(jiān)督學(xué)習(xí)前提假設(shè)

1.連續(xù)性假設(shè)（Continuity Assumption）

分類問題- input是比較接近的時(shí)候，ouput的后驗(yàn)概率矩陣也應(yīng)該距離比較小

2.聚類假設(shè)（Cluster Assumption）

類類內(nèi)聚，類間分開

3.流形假設(shè)（Manifold Assumption）

1. 所有數(shù)據(jù)點(diǎn)可以被多個(gè)低維流形表達(dá)。簡單理解就是，將高維冗余特征降維到低維空間
2. 相同流形上的數(shù)據(jù)點(diǎn)，標(biāo)簽一樣。換句話說，降維之后同樣標(biāo)簽的數(shù)據(jù)要接近或一致

半監(jiān)督學(xué)習(xí)數(shù)學(xué)定義

半監(jiān)督學(xué)習(xí)本質(zhì)上就是設(shè)計(jì)了一個(gè)損失函數(shù)，三個(gè)部分組成：有監(jiān)督loss，無監(jiān)督loss以及正則項(xiàng)

半監(jiān)督學(xué)習(xí)的實(shí)施方法

生成式模型：Semi-supervised GANs ; Semi-supervised VAEs

Re-using Discriminator

?Discriminator 鑒別器其實(shí)就充當(dāng)?shù)氖嵌诸惼?#xff0c;對輸入或生成的圖片判定真假；在半監(jiān)督中重用這個(gè)鑒別器，是將這個(gè)鑒別器做成k分類分類器，構(gòu)建方法是輸入數(shù)據(jù)不僅是有標(biāo)簽的數(shù)據(jù)對，還有生成的數(shù)據(jù)，以及沒有標(biāo)簽的數(shù)據(jù)。用這三塊構(gòu)建損失。

Generated Samples to regularize a classifier

圖片表征學(xué)習(xí)。Discriminator還是一個(gè)二分類器，設(shè)計(jì)了輸入。XG是生成樣本，m：binary mask（矩陣，只有0和1）相當(dāng)于 特征抽取器?

inference model

?在Discriminator部分增加了C-類別。這里的是k+1類分類器，多的一類別是生成器產(chǎn)生，多出來的這個(gè)類別要跟真實(shí)的某一個(gè)類別接近。當(dāng)模型訓(xùn)練完備以后，可以認(rèn)為這個(gè)Discriminator具有分類能力。

Generate Data

?增廣數(shù)據(jù)，產(chǎn)生更多數(shù)據(jù)

一致性損失（Consistency Regularization一致性正則）

設(shè)計(jì)思路：

II Model?

x是unlabeled數(shù)據(jù)，Aug是增廣策略（隨機(jī)翻轉(zhuǎn)，增加噪聲等等），送入模型進(jìn)行識別，輸出兩個(gè)接近的后驗(yàn)概率或特征。每個(gè)訓(xùn)練的epoch，X會被前向推理兩次，這兩次的輸入雖然經(jīng)過不同的隨機(jī)增廣，但輸出應(yīng)該是具有一致性的。

圖神經(jīng)網(wǎng)絡(luò)：AutoEncoder-based models ; GNN-based models

偽標(biāo)簽: Disagreement-based models ; Self-training models

Pseudo-label偽標(biāo)簽，標(biāo)簽是預(yù)測出來的。loss設(shè)計(jì)：第一項(xiàng)是有標(biāo)記的損失，第二項(xiàng)是預(yù)測的偽標(biāo)簽進(jìn)入模型的loss

偽標(biāo)簽方法設(shè)計(jì)：結(jié)構(gòu)上，訓(xùn)練流程，偽標(biāo)簽預(yù)測方法上做設(shè)計(jì)。但是偽標(biāo)簽存在弊端，即1.標(biāo)簽選擇不易，因?yàn)槟Ｐ驮谟?xùn)練初期并不是完備的模型，預(yù)測一個(gè)偽標(biāo)簽若是錯(cuò)的，那么在迭代過程中會使模型誤差變大。2.alpha值（權(quán)重系數(shù)）很難確定。（也有基于這兩個(gè)弊端進(jìn)行改進(jìn)的方法）

混合方法

結(jié)合上述方法的優(yōu)點(diǎn)以提升訓(xùn)練結(jié)果。

總結(jié)

以上是生活随笔為你收集整理的几种典型的半监督学习方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。