文章目錄

• • • LDL-HR摘要
    • 問題解決
    • 符號系統
    • LDL and Classification
    • Learn the Highest label
    • Learn the Rest Label Description Degrees

LDL-HR摘要

Learn the Highest Label and Rest Label Description Degrees
盡管標簽分布學習（LDL）在各種分類問題中得到了廣泛的應用，但它可能面臨目標不匹配的挑戰——LDL為了學習整個標簽分布而忽略了最優標簽，從而導致性能下降 ，為了提高分類性能并解決目標不匹配問題。耿老師提出了一種新的 LDL 算法，稱為 LDL-HR。 LDL-HR 提供了標簽分布的新視角，即最高標簽和其余標簽描述度的組合。 它的工作原理如下： 首先，通過擬合退化標簽分布和大邊距來學習最高標簽。 其次，學習其余標簽描述度來提高模型的泛化能力。 理論分析顯示了 LDL-HR 的泛化性。此外，在18個真實數據集上的實驗結果驗證了方法的統計優勢。

• 提出問題：不匹配問題，放棄了最優的標簽來學習標簽分布。可以這樣的理解，最優的標簽在標簽分布里面大于任意一個其他的標簽分布。
• LDL-HR提供了解決方法：第一步學習最優的標簽，然后再去學習其余的標簽來提高LDL的泛化能力。
• 值得注意的是，這次的實驗開展在18數據集上面，實驗還是比較充分。同時數據集名稱也換成新的名稱yeast-alpha變成alpha，此外human-gene 3w條數據變成17892條，其實從官網下載下來就是17892條，可能是耿老師官網統計出了點錯誤。數據集如下：

ID.Dataset#Examples#Features#Labels

1	Alpha	2,465	24	18
2	Cdc	2,465	24	15
3	Cold	2,465	24	4
4	Diau	2,465	24	7
5	Dtt	2,465	24	4
6	Elu	2,465	24	14
7	Heat	2,465	24	6
8	Spo	2,465	24	6
9	Spo5	2,465	24	3
10	Spoem	2,465	24	2
11	Scene	2,000	294	9
12	Gene	17,892	36	68
13	Movie	7,755	1,869	5
14	SJAFFE	213	243	6
15	SBU_3DFE	2,500	243	6
16	M2B	1,240	250	5
17	SCUT-FBP	1,500	300	5
18	fbp5500	5,500	512	5

---

問題解決

雖然LDL在大量的分類應用中得以應用，但是存在一個問題：Objective mismatch。什么是目標匹配錯誤呢，我們可以從這副圖中理解到這個問題。

• Objective mismatch: 對于 (a)，學習的 LDL 函數具有較小的 $L_1$-norm 損失，而預測最優標簽 $\left(y_2\right)$ 與真實最優標簽 $\left(y_1\right)$不同。 然而，對于 $(b)$，預測的 LDL 函數具有較大的 $L_1$-norm loss，但預測的標簽 $\left(y_2\right)$ 等于最優的 $\left(y_2\right)$。
• 0/1 loss：對于一個二分類問題，現在假設數據標注 $y_i\in \{?1,+1\}$ 。最在乎的自然是模型最終的Accuracy，那么能否直接基于Accuracy作為損失函數呢? 考慮如下 $0?1$ 損失函數：
  $$\begin{array}{rl}?\left(y_i,f\left(x_i\right)\right)& =\{\begin{array}{ll}0& \text{?if?}{y}_{i}f\left(x_i\right)>0\\ 1& \text{?if?}{y}_{i}f\left(x_i\right)\le 0\end{array}\end{array}\text{\hspace{1em}(1)}$$

該損失函數意味著，當 $y_i$ 與 $f\left(x_i\right)$ 同號時，視模型預測正確，損失為 0 ；否則，視模型預測錯誤，損失為 1 。

符號系統

$\mathcal{X}?{\mathbb{R}}^q$ 代表輸入空間， $\mathcal{Y}=\left\{y_1,?,y_m\right\}$代表標簽空間。每個 $\mathbf{x}\in \mathcal{X}$ 具有一個標簽分布 $D={\left[d_{\mathbf{x}}^{y_1},?,d_{\mathbf{x}}^{y_m}\right]}^{?}$, 其中 $d_{\mathbf{x}}^{y_j}$ 為一個標簽的描述度，同時$d_{\mathbf{x}}^{y_j}\ge 0$ ， ${\sum }_{j=1}^m{d}_{\mathbf{x}}^{y_j}=1$。對于訓練集有 $n$ 個實例， $S=$ $\left\{\left({\mathbf{x}}_1,D_1\right),\left({\mathbf{x}}_2,D_2\right),?,\left({\mathbf{x}}_n,D_n\right)\right\}$，LDL的目標是輸出一個多輸出函數 $p:\mathcal{X}\to {\mathbb{R}}^m$ 。

Let $\Vert ?{\Vert }_2$ 和 $\Vert ?{\Vert }_{\mathrm{F}}$ 分別代表 the $L_2$-norm 和 Frobenius norm， $[m]$ 為集合 $\{1,?,m\}$。 $\mathrm{sign}(?)$ 為符號函數 ， $\mathcal{D}$ 為未知的分布在 $\mathcal{X}$上的。
$$y_{\mathbf{x}}=\arg \underset{\bar{y}\in \mathcal{Y}}{\max }{d}_{\mathbf{x}}^{\bar{y}}\text{\hspace{1em}(1)}$$
具有最優標簽描述度的最高標簽。 令 $y\in \mathcal{Y}$ 為隨機標簽變量， 假設標簽分布函數是條件概率分布函數, i.e., $d_{\mathbf{x}}^{y_j}=\mathbb{P}\left(y=y_j\mid \mathbf{x}\right)$。 $L_1^{?}$ 為貝葉斯誤差。

• 貝葉斯誤差（Bayes error）:從預先知道的真實分布 p(x,y) 預測而出現的誤差。在統計學中，是指針對任意分類器隨機輸出的最低可能誤差。
  理想模型假設我們能夠預先知道生成數據（訓練集和測試集數據通過數據集上被稱為數據生成過程（data generating process）的概率分布生成）的真實概率分布。然而這樣的模型仍然會在很多問題上發生一些錯誤，因為分布中仍然會有一些噪聲。在監督學習中，從x 到 y 的映射可能內在是隨機的，或者 y 可能是其他變量（包括 x 在內）的確定性函數。
  既然已經預先知道分布了，那么為什么還有誤差呢？
  分布是真實的，但預測的輸出只能是一個值，所以會有誤差。例如，假設真實世界中90%長頭發的人為女性，10%為男性（這是已知的真實分布）；此時已知一個人頭發長，預測該同學性別。由于只能預測男/女。此時即使你知道真實分布，預測為女，也會有10%的誤差。這就是貝葉斯誤差。

LDL and Classification

用 LDL 進行的分類可以表述如下： 首先，通過從訓練集 $S$ 學習 LDL 函數 $h$
$$\underset{\mathbf{W}}{\min }\sum _i?\left(D_i,h\left({\mathbf{x}}_i;\mathbf{W}\right)\right),\text{\hspace{1em}(2)}$$
其中$W$是參數，$?$是損失函數。 隨后，定義一個分類器
$$f(\mathbf{x})=\arg \underset{\bar{y}\in \mathcal{Y}}{\max }{h}_{\mathbf{x}}^{\bar{y}}\text{\hspace{1em}(3)}$$

其中$h_{\mathbf{x}}^{\bar{y}}$是$\bar{y}$對于$\mathbf{x}$的預測標簽描述度，即將預測標簽描述度最高$h$的標簽視為預測標簽。 LDL-HR 的目標是最小化誤差 $\mathbb{P}(f(\mathbf{x})=y)$。

Learn the Highest label

首先，耿老師通過學習最高標簽來解決目標不匹配問題。
在第 1 節所討論的，LDL 在用于分類問題時面臨客觀不匹配的挑戰。為了緩解這種情況，耿老師通過學習退化的標簽分布和大邊距來學習最高標簽。
首先，耿老師定義退化的標??簽分布。具體來說，對于每個 $\mathbf{x}$，定義 $\bar{D}={\left[{\bar{d}}_{\mathbf{x}}^{y_1},{\bar{d}}_{\mathbf{x}}^{y_2},?,{\bar{d}}_{\mathbf{x}}^{y_m}\right]}^{?}$, 其中${\bar{d}}_{\mathbf{x}}^{y_j}$ 被如下定義：
$${\bar{d}}_{\mathbf{x}}^{y_j}=\{\begin{array}{ll}1& \text{?if?}{y}_j=y_{\mathbf{x}}\\ 0& \text{?otherwise.?}\end{array}\text{\hspace{1em}(4)}$$

也就是說，將度數 1 分配給最高標簽，將 $0$ 分配給其他標簽。在學習退化標簽分布時，LDL模型將主要關注最高標簽，因為最高標簽的標簽描述程度優于其他標簽。因此，退化的標簽分布有助于緩解目標不匹配。下圖顯示了學習真實值和退化標簽分布的示例：

其中紅色條是真實值和退化分布，藍色條是學習分布。從該圖中，我們可以看到 (a) 和 (b) 的學習 LDL 函數都實現了 $L_1$-norm loss $0.2$，并且 (b) 的預測標簽 $\left(y_1\right)$ 等于最優標簽 $\left(y_1\right)$ 而 (a) $\left(y_2\right)$ 的預測標簽不同，這顯示了學習退化標簽分布的優勢。
此外，學習退化的標簽分布也有理論保證，耿老師的第一個定理證明如下：

• 期待$0/1$ loss of $f$ 滿足下面的邊界：
  $$\mathbb{P}(f(\mathbf{x})=y)?L_1^{?}\le {\mathbb{E}}_{\mathbf{x}～\mathcal{D}}\left[\sum _{\bar{y}}\left|h_{\mathbf{x}}^{\bar{y}}?{\bar{d}}_{\mathbf{x}}^{\bar{y}}\right|\right].\text{\hspace{1em}(5)}$$
  定理 1 表示，如果學習的 LDL 函數的輸出接近 $L_1$-范數距離意義上的退化標簽分布，則分類器的預期 $0/1$ 損失將接近貝葉斯誤差。 也就是說，要學習一個損失較小的 $0/1$ 分類器，只需最小化 LDL 函數學習到的分布和退化分布之間的 $L_1$-norm 距離即可。

• 根據定理 1，使用 $L_1$-norm loss 來學習退化的標簽分布。采用由下式定義的最大熵模型
  $$h_{\mathbf{x}}^{y_l}=\frac{\exp \left({\mathbf{w}}_l?\mathbf{x}\right)}{{\sum }_{j=1}^m\exp \left({\mathbf{w}}_j?\mathbf{x}\right)},\text{?for?}l\in [m].\text{\hspace{1em}(6)}$$

• 則 LDL 可轉換為如下優化問題
  $$\underset{\mathbf{W}}{\min }\sum _{i,j}\left|h_{{\mathbf{x}}_i}^{y_j}?{\bar{d}}_{{\mathbf{x}}_i}^{y_j}\right|+\frac{{\lambda }_1}{2}\Vert \mathbf{W}{\Vert }_{\mathrm{F}}^2,\text{\hspace{1em}(7)}$$
  其中 $\mathbf{W}=\left[{\mathbf{w}}_1,?,{\mathbf{w}}_m\right]$ 是模型參數, ${\lambda }_1$ 是正則化參數。

接下來，借用大邊距理論來進一步提高分類性能。 耿老師的基本思想是鼓勵最高標簽的預測標簽描述度比其他標簽大一個邊距$\rho >0$。 因此，預測的標簽將與最高的標簽一致，這減輕了目標不匹配。使得最高的標簽 $y_{{\mathbf{x}}_i}=\arg {\max }_{\bar{y}}{d}_{{\mathbf{x}}_i}^{\bar{y}}$，同時增加最大邊界在 Eq. (7)中, 則優化目標為：
$$\begin{array}{rl}\underset{\mathbf{W},\mathbf{\xi }}{\min }& \sum _{i,j}\left|h_{{\mathbf{x}}_i}^{y_j}?{\bar{d}}_{{\mathbf{x}}_i}^{y_j}\right|+{\lambda }_2\sum _{i,j:y_j=y_{{\mathbf{x}}_i}}\frac{{\xi }_{i,j}}{\rho }\\ & +\frac{{\lambda }_1}{2}\Vert \mathbf{W}{\Vert }_{\mathrm{F}}^2\\ \text{?s.t.?}& h_{{\mathbf{x}}_i}^{y_{{\mathbf{x}}_i}}?h_{{\mathbf{x}}_i}^{y_j}\ge \rho ?{\xi }_{i,j}\\ & {\xi }_{i,j}\ge 0,?i\in [n],?j\in \left\{l\mid l\in [m],y_l=y_{{\mathbf{x}}_i}\right\}\end{array}\text{\hspace{1em}(8)}$$
其中 ${\xi }_{i,j}$ 為松弛變量, ${\lambda }_2$ 是trade-off parameter. 約束促使$y_{{\mathbf{x}}_i}$ 的預測標簽描述度比其他標簽的大通過$\rho$。

---

Learn the Rest Label Description Degrees

這個章節描述了剩下的標簽分布怎么學習，前面的部分已經講了學習最優的標簽。

觀察Eq（8）只學習了最高的標簽而忽略了其余的標簽描述度（即除了最高標簽之外的所有標簽的標簽描述度），這丟失了很多監督信息。ground-truth 標簽分布比退化的標簽分布具有更多的監督信息，特別是對于除最高標簽之外的標簽。事實上，其余標簽描述度對于 LDL 的泛化性是必要的。具體來說，令 $f^{\prime }$ 為由下式定義的次優分類器：
$$f^{\prime }(\mathbf{x})=\underset{\bar{y}\in \mathcal{Y}\backslash \left\{y_{\mathbf{x}}\right\}}{\max }{d}_{\mathbf{x}}^{\bar{y}}，\text{\hspace{1em}(9)}$$
它輸出其余標簽描述度中最高的標簽（標簽描述度第二高的標簽）。通過 $L_2^{?}=$ $\mathbb{P}\left(f^{\prime }(\mathbf{x})=y\right)$ 定義 $f^{\prime }$ 的預期 0/1 損失。下一個定理顯示了 LDL 的泛化也就是學習其余標簽描述度。

該理論定義：令 $h$ 為學習的 LDL 函數，$f$ 為Eq（3）中定義的分類器。然后，$f$ 的預期 0/1 損失滿足以下界限：
$$\mathbb{P}(f(\mathbf{x})=y)\le L_2^{?}+{\mathbb{E}}_{\mathbf{x}～\mathcal{D}}?\sum _{\bar{y}=y_{\mathbf{x}}}\left|d_{\mathbf{x}}^{\bar{y}}?h_{\mathbf{x}}^{\bar{y}}\right|?$$

上述定理表示分類器的預期 $0/1$ 損失可以由兩項之和限制。第一個是次優分類器的預期 0/1 損失，第二個是學習的 LDL 函數的輸出與其余標簽描述度之間的預期 $L_1$-norm 距離。換句話說，即使分類器的預期 $0/1$ 損失沒有達到貝葉斯錯誤，只要學習的 LDL 函數的輸出接近于$L_1$-norm 距離意義上的其余標簽描述度數。通過定理 2，耿老師使用 $L_1$-norm 損失學習其余標簽描述度以利用泛化，并重新轉換 Eq (8) 如下：

$$\begin{array}{rl}\underset{\mathbf{W},\mathbf{\xi }}{\min }& \sum _{i=1}^n\sum _{j=1}^m\left|h_{{\mathbf{x}}_i}^{y_j}?{\bar{d}}_{{\mathbf{x}}_i}^{y_j}\right|+{\lambda }_2\sum _{i=1}^n\sum _{j:y_j=y_{{\mathbf{x}}_i}}\frac{{\xi }_{i,j}}{\rho }\\ & +\frac{{\lambda }_1}{2}\Vert \mathbf{W}{\Vert }_{\mathrm{F}}^2+{\lambda }_3\sum _{i=1}^n\sum _{j:y_j=y_{{\mathbf{x}}_i}}\left|h_{{\mathbf{x}}_i}^{y_j}?d_{{\mathbf{x}}_i}^{y_j}\right|\\ \text{?s.t.?}& h_{{\mathbf{x}}_i}^{y_{{\mathbf{x}}_i}}?h_{{\mathbf{x}}_i}^{y_j}\ge \rho ?{\xi }_{i,j}\\ & {\xi }_{i,j}\ge 0,?i\in [n],?j\in \left\{l\mid l\in [m],y_l=y_{{\mathbf{x}}_i}\right\}\end{array}$$
其中${\lambda }_3$是 trade-off parameter，最后一項學習的剩下的標簽分布。

總結

以上是生活随笔為你收集整理的2022/12/1 组会的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。