梯度消失/爆炸問題；

之前的解決方案：This problem, however, has been largely addressed by normalized initial- ization [23, 9, 37, 13] and intermediate normalization layers [16], which enable networks with tens of layers to start con- verging for stochastic gradient descent (SGD) with back- propagation [22].

The degradation (of training accuracy) ：可能深層的網(wǎng)絡(luò)訓練結(jié)果反而沒有淺層好，并且這個問題并非由過擬合導致。結(jié)果，之前最深的網(wǎng)絡(luò)基本在30層以內(nèi)。

residual learning reformulation ：擬合殘差，來解決梯度消失/爆炸問題。

假設(shè)輸出是H(x)，某層可以擬合殘差F(x) = H(x) - x。理論上等價。但是，H(x)中要經(jīng)過多層非線性轉(zhuǎn)換，可能有梯度問題。而用殘差你和，就沒有這個問題了。

認為高深度網(wǎng)絡(luò)不應(yīng)該比低深度網(wǎng)絡(luò)差，通過shortcut來做恒等映射，使得至少讓高深度網(wǎng)絡(luò)表現(xiàn)不差于低深度網(wǎng)絡(luò)。這樣，以后可以在計算能力可以的情況下，可以增加任意多層。

最大訓練到152層（ImageNet）和1000層（CIFAR-10）。

計算量并沒有大很多。參數(shù)也是。

實驗表現(xiàn)很好，包括ImageNet（達到3.57%的top 5錯誤率，拿了第一名），COCO（提升28%左右）。