一些 one-stage 的目標(biāo)檢測(cè)器通常會(huì)產(chǎn)生很多數(shù)量的 anchor box，但是只有極少數(shù)是正樣本，導(dǎo)致正負(fù)樣本數(shù)量不均衡。這里假設(shè)我們計(jì)算分類損失函數(shù)為交叉熵公式。

由于在目標(biāo)檢測(cè)中，大量的候選目標(biāo)都是易分樣本，這些樣本的損失很低，但是由于數(shù)量極不平衡，易分樣本數(shù)量相對(duì)來(lái)說(shuō)太多，最終主導(dǎo)了總的損失，但是模型也應(yīng)該關(guān)注那些難分樣本（難分樣本又分為普通難分樣本和特別難分樣本，后面即將講到的GHM就是為了解決特別難分樣本的問(wèn)題）。

梯度模長(zhǎng)g：\(g\) 正比于檢測(cè)的難易程度，\(g\) 越大則檢測(cè)難度越大，\(g\) 從交叉熵?fù)p失求梯度得來(lái)
\[ g=|p-p^*|= \begin{cases} 1-p, & \text{if p* = 1} \\ p, & \text{if p* = 0} \end{cases} \]
\(p\) 是模型預(yù)測(cè)的概率，\(p^*\) 是 Ground-Truth 的標(biāo)簽（取值為1或者0）；

\(g\) 正比于檢測(cè)的難易程度，\(g\) 越大則檢測(cè)難度越大；

梯度模長(zhǎng)與樣本數(shù)量的關(guān)系：梯度模長(zhǎng)接近于 0 時(shí)樣本數(shù)量最多（這些可歸類為易分樣本），隨著梯度模長(zhǎng)的增長(zhǎng)，樣本數(shù)量迅速減少，但是當(dāng)梯度模長(zhǎng)接近于 1 時(shí)樣本數(shù)量也挺多（這些可歸類為難分樣本）。如果過(guò)多關(guān)注難分樣本，由于其梯度模長(zhǎng)比一般樣本大很多，可能會(huì)降低模型的準(zhǔn)確度。因此，要同時(shí)抑制易分樣本和難分樣本！

抑制方法之梯度密度 \(G(D)\)： 因?yàn)橐追謽颖竞吞貏e難分樣本數(shù)量都要比一般樣本多一些，而我們要做的就是衰減 單位區(qū)間數(shù)量多的那類樣本，也就是物理學(xué)上的密度概念。
\[ GD(g) = \frac{1}{l_{\epsilon}}\sum_{k=1}^{N}\delta_{\epsilon}(g_k, g) \]
\(\delta_{\epsilon}(g_k, g)\) 表示樣本 \(1 \sim N(樣本數(shù)量)\) 中，梯度模長(zhǎng)分布在 \((g-\frac{\epsilon}{2}, g+\frac{\epsilon}{2} )\) 范圍內(nèi)的樣本個(gè)數(shù)，\(l_{\epsilon}(g)\) 代表了 \((g-\frac{\epsilon}{2}, g+\frac{\epsilon}{2} )\) 區(qū)間的長(zhǎng)度；

最后對(duì)每個(gè)樣本，用交叉熵 \(CE\) \(\times\) 該樣本梯度密度的倒數(shù)即可。