目錄概主要內(nèi)容IBPCROWNCROWN-IBP訓(xùn)練的技巧寫在最后代碼

Gowal S., Dvijotham K., Stanforth R., Bunel R., Qin C., Uesato J., Arandjelovic R., Mann T. & Kohli P. Scalable verified training for provably robust image classification. In IEEE International Conference on Computer Vision (ICCV), 2019.

Zhang H., Weng T., Chen P., Hsieh C. & Daniel L. Efficient Neural Network Robustness Certification with General Activation Functions. In Advances in Neural Information Processing Systems (NIPS), 2018.

Zhang H., Chen H., Xiao C., Gowal S., Standforth R., Li B., Boning D. & Hsieh C. Towards Stable and Efficient Training of Verifiably Robust Neural Networks. International Conference on Learning Representations (ICLR), 2020.

概

一種可驗(yàn)證的提高網(wǎng)絡(luò)魯棒性的方法.

主要內(nèi)容

IBP

假設(shè)第k層表示為:

[z_k = h_k(z_{k-1}) = sigma_k (W_k z_{k-1} + b_k), : k=1,2,cdots, K.
]

一般的分類網(wǎng)絡(luò), 要求:

[e_y^Tz_K ge e_j z_K, : forall j
ot= y,
]

其中(e_j)只有第(j)個(gè)元素為1, 其余均為0.
相應(yīng)的, 如果考慮魯棒性, 則需要

[forall z_0 in mathcal{X}(x_0):= {x| |x-x_0|_{infty} < epsilon },
]

[[z_K]_y = e_y^Tz_K ge e_j^T z_K = [z_K]_j, : forall j
ot= y,
]

成立.

現(xiàn)在, 假設(shè)已知

[underline{z}_{k-1} le z_{k-1} le overline{z}_{k-1},
]

并令

[mu_{k-1} = frac{overline{z}_{k-1} + underline{z}_{k-1}}{2} \
r_{k-1} = frac{overline{z}_{k-1} - underline{z}_{k-1}}{2} \
mu_k = W_k mu_{k-1} + b \
r_k = |W_k|r_{k-1} \
]

則

[mu_k - r_k le W_k z_{k-1} + b le mu_k + r_k,
]

其中(|cdot|)是element-wise的絕對(duì)值.

注:

[max_{x in [underline{x}, overline{x}]} quad a cdot x
Rightarrow x =
left {
egin{array}{ll}
overline{x}, & a ge 0 \
underline{x}, & a < 0
end{array}
ight .
Rightarrow
a cdot x = frac{a(overline{x}+underline{x})}{2} + frac{|a|(overline{x}-underline{x})}{2}.
]

倘若激活函數(shù)(sigma)是單調(diào)的, 進(jìn)而有

[underline{z}_k = sigma_k(mu_k - r_k), : overline{z}_k = sigma_k (mu_k + r_k) \
underline{z}_k le z_k le overline{z}_k.
]

以此類推, 我們可以獲得:

[underline{z}_K le z_K le overline{z}_K.
]

可知:

[[z_K]_j - [z_K]_y le [overline{z}_K]_j - [underline{z}_K]_y,
]

顯然, 如果下式

[[overline{z}_K]_j - [underline{z}_K]_y le 0, : forall j
ot= y
]

成立, 則該模型對(duì)于(x_0)在(epsilon)下就是魯棒的.
故定義

[[z_{*}]_j =
left {
egin{array}{ll}
[overline{z}_K]_j, & j
ot = y \
[underline{z}_K]_j, & j
ot = y \
end{array}
ight.
]

并通過下列損失:

[mathcal{L} = kappa cdot ell (z_K, y) + (1 - kappa) cdot ell(z_*, y),
]

其中(ell)是softmax交叉熵?fù)p失.

注:

[max_{|x - x_0|_{infty}<epsilon} ell (z_K(x), y) le ell(z_*, y).
]

這是因?yàn)?/p>

[egin{array}{ll}
ell(z_K(x), y)
&= -log frac{exp (z_y)}{sum_j exp(z_j)} \
&= -log frac{1}{sum_j exp(z_j-z_y)} \
&le -log frac{1}{sum_{j
ot= y} exp(overline{z}_j-underline{z}_y) + 1} \
&le -log frac{exp(underline{z}_y)}{sum_{j
ot =y} exp(overline{z}_j) + exp(underline{z}_y)} \
&= ell(z_*, y).
end{array}
]

故我們優(yōu)化的是一個(gè)上界.

CROWN

注: 此圖來自[Lyu Z. et al. Towards Evaluating and Training Verifiably Robust Neural Networks].

CROWN的區(qū)別, 實(shí)際上就是其對(duì)激活函數(shù)的一個(gè)relaxation, 比如

[underline{x} le x le overline{x} Rightarrow \
axle mathrm{ReLU}(x) le frac{overline{x}}{overline{x} - underline{x}} cdot x
-frac{overline{x}underline{x}}{overline{x} - underline{x}}.
]

其中(a in [0, 1]).
這個(gè)界可視化就是上面的圖.

注: 作者說是要back propagation, 但是感覺forward也可以...

CROWN-IBP

上面二者的結(jié)合, 假設(shè)由上面二者分別推導(dǎo)出兩個(gè)界, 并得到

[z_*, z_*',
]

相應(yīng)的損失函數(shù)為

[mathcal{L} = kappa cdot ell (z_K, y) + (1 - kappa) cdot ell(eta cdot z_* + (1 - eta) cdot z_*', y).
]

這么做的原因是, 作者認(rèn)為IBP在最開始的時(shí)候估計(jì)的界是非常loose的, 所以一開始的訓(xùn)練是很不穩(wěn)定的, 故采取了這么一個(gè)折中的方案.

訓(xùn)練的技巧

(kappa) 從(kappa_{start})線性下降到(kappa_{end}), 即訓(xùn)練開始先著重于clean的部分;
(eta) 同樣從(0)增大至(1)(ramp-up).
(epsilon)則是從0慢慢增大(ramp-up), 且如果我們測(cè)試關(guān)系的是(8/255), 訓(xùn)練的時(shí)候?qū)嶋H增大到(8.8/255), 即(1.1epsilon), 原因是發(fā)現(xiàn)IBP的方法對(duì)于(epsilon)比較小的情況的效果不是特別好和穩(wěn)定;

寫在最后

首先, 這些理論的保證并沒有太好的效果, 和經(jīng)驗(yàn)的方法依舊差距甚遠(yuǎn), 個(gè)人覺得有趣的地方在于, 網(wǎng)絡(luò)在不接觸對(duì)抗訓(xùn)練的基礎(chǔ)上依然能夠獲得魯棒性.
另外, IBP的估計(jì)的界雖然遠(yuǎn)不及一些別的方法包括CROWN, 但是其表現(xiàn)出來的效果卻好上很多, 這是非常有意思的一點(diǎn).
雖然這一點(diǎn)在深度學(xué)習(xí)里頭似乎也是比較常見的現(xiàn)象.

代碼

IBP

CROWN-IBP

總結(jié)

以上是生活随笔為你收集整理的Interval Bound Propagation (IBP)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。