這篇記錄沒啥用，這個(gè)論文我沒看懂
Does Learning Require Memorization? A Short Tale about a Long Tail

發(fā)表時(shí)間：STOC 2020 （ACM SIGACT Symposium on Theory of Computing）

---

論文內(nèi)容

研究問題

分類模型對(duì)訓(xùn)練數(shù)據(jù)的記憶是否必要。

Intuition

即使標(biāo)簽隨機(jī)分配，模型也能達(dá)到很低的訓(xùn)練誤差。這種不可預(yù)測的標(biāo)簽也能擬合，只有通過全部記住樣本和它對(duì)應(yīng)的標(biāo)簽。

具體分析

泛化誤差：
$${\text{err}}_P(h)={\text{err}}_S(h)+({\text{err}}_P(h)?{\text{err}}_S(h))$$

• ${\text{err}}_p(h)$–泛化誤差
• ${\text{err}}_s(h)$–經(jīng)驗(yàn)/估計(jì)誤差
• $P$–數(shù)據(jù)分布
• $S$–訓(xùn)練集
  通過模型復(fù)雜度或者算法穩(wěn)定性近似。

應(yīng)該是這個(gè)論文里最重要的一個(gè)結(jié)論：
$$\overline{\text{err}}(\pi ,\mathcal{F},\mathcal{A})\le \text{(}opt)(\pi ,\mathcal{F})+{\tau }_1?\text{E}[{\text{err}}_S(\mathcal{A},1)]$$

• $\overline{\text{err}}(\pi ,\mathcal{F},\mathcal{A})$是對(duì)算法$\mathcal{A}$的期望泛化誤差。
• $\text{(}opt)(\pi ,\mathcal{F})$ 是任意算法最小可達(dá)誤差。
  什么意思。。。沒懂

$${\tau }_1:=\frac{{\text{E}}_{\alpha ～{\overline{\pi }}^N}[{\alpha }^2?(1?\alpha {)}^{n?1}]}{{\text{E}}_{\alpha ～{\overline{\pi }}^N}[\alpha ?(1?\alpha {)}^{n?1}]}$$

${\overline{\pi }}^N$平滑版本的$\pi$。$\pi$是類別頻率邊界分布。

總結(jié)

以上是生活随笔為你收集整理的【读论文0628】Does Learning Require Memorization? A Short Tale about a Long Tail∗的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。