Adversarial Validation

在Kaggle比賽中數(shù)據(jù)分布一致是阻礙大家上分的點，本篇文章將介紹Adversarial Validation原理和使用方法，并對數(shù)據(jù)分布不一致的情況給出一些解決案例。

原創(chuàng)文章不易，希望分享、點擊再看和收藏，謝謝！

Adversarial Validation

Kaggle比賽中數(shù)據(jù)可分為訓(xùn)練集和測試集，國內(nèi)比賽可能根據(jù)比賽階段劃分多個測試集，由于數(shù)據(jù)集采樣和分布的原因?qū)е掠?xùn)練集和線上測試集可能存在分布不一致的情況，也會帶來本地交叉驗證（Cross Validatation, CV）與線上不一致的情況。

Adversarial Validation核心思路是構(gòu)建一個分類模型，目的是分辨訓(xùn)練集和測試集的來源，這里假設(shè)使用AUC作為分類精度評價函數(shù)。

• 如果分類模型無法分辨樣本（AUC接近0.5），則說明訓(xùn)練集和測試集數(shù)據(jù)分布比較一致；

• 如果分類模型可以很好分辨樣本（AUC接近1），則說明訓(xùn)練集和測試集數(shù)據(jù)分布不太一致；

使用Adversarial Validation方法也非常簡單，將訓(xùn)練集和測試集分別打上不同的標(biāo)簽然后進行訓(xùn)練，代碼思路如下：

train = pd.read_csv( 'data/train.csv' ) test = pd.read_csv( 'data/test.csv' )train['TARGET'] = 1 test['TARGET'] = 0data?=?pd.concat((?train,?test?)) x = data.drop( [ 'TARGET', 'ID' ], axis = 1 ) y = data.TARGETfrom?sklearn.cross_validation?import?train_test_split x_train,?x_test,?y_train,?y_test?=?train_test_split(x,?y)

在訓(xùn)練集和測試集分布一致的情況中，構(gòu)建模型的驗證AUC一般接近0.5，即分類模型無法判別樣本來源：

# logistic regression / AUC: 49.82% # random forest, 10 trees / AUC: 50.05% # random forest, 100 trees / AUC: 49.95%

在訓(xùn)練集和測試集分布不一致的情況中，構(gòu)建模型得到的AUC一般接近1，即分類模型可以分辨樣本的來源。此時本地CV和線上就容易出現(xiàn)不止的情況。

數(shù)據(jù)分布不一致怎么辦？

當(dāng)使用Adversarial Validation驗證或者手工驗證發(fā)現(xiàn)訓(xùn)練集和測試集分布存在差異時，可以有哪些做法？

• 假設(shè)存在多個訓(xùn)練集，可以使用Adversarial Validation與測試集分布比較一致的一個訓(xùn)練集進行訓(xùn)練；

在IJCAI2018里，數(shù)據(jù)A是前六天的數(shù)據(jù)，數(shù)據(jù)Ｂ是第七天上半天的數(shù)據(jù)；在Ｏgeek里，數(shù)據(jù)Ａ有兩百萬數(shù)據(jù)，數(shù)據(jù)Ｂ只有五萬數(shù)據(jù)；在聯(lián)通個性化推薦比賽，數(shù)據(jù)Ａ有初賽約70Ｗ數(shù)據(jù)，數(shù)據(jù)Ｂ有復(fù)賽約35W數(shù)據(jù)。

此種情況一般存在于國內(nèi)的多階段比賽會放出多個訓(xùn)練集，比較好的方法是選擇與測試集最為相似的一份訓(xùn)練集（假設(shè)為數(shù)據(jù)B）進行訓(xùn)練。

當(dāng)然其他的訓(xùn)練數(shù)據(jù)（與測試集不相似，假設(shè)為數(shù)據(jù)A）可以被利用，可以先在數(shù)據(jù)A上進行預(yù)訓(xùn)練，然后在數(shù)據(jù)B上進行微調(diào)，完成遷移學(xué)習(xí)（或稱為嫁接學(xué)習(xí)）。

https://zhuanlan.zhihu.com/p/51901122

• 假設(shè)Adversarial Validation的AUC非常高，可以嘗試使用Adversarial Validation選擇出與測試集比較相似的樣本，構(gòu)建成為驗證集。

• 假設(shè)數(shù)據(jù)集可以擴增，則可以使用外部數(shù)據(jù)來擴增訓(xùn)練數(shù)據(jù)，以保證訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的一致性。

當(dāng)然但數(shù)據(jù)分布不一致的時候，上述情況都需要反復(fù)進行嘗試，不同的數(shù)據(jù)集具體情況不一樣。同時Adversarial Validation也只能給出一些指導(dǎo)建議，具體還是要通過提交來驗證具體思路的正確性。

最后Adversarial Validation也可以用于驗證AB榜shake up的可能性，過擬合CV有風(fēng)險。Do not trust your local CV!

閱讀鏈接

• https://www.kaggle.com/h4211819/adversarial-validation

• http://fastml.com/adversarial-validation-part-two/

• http://fastml.com/adversarial-validation-part-one/

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機器學(xué)習(xí)在線手冊深度學(xué)習(xí)在線手冊AI基礎(chǔ)下載（pdf更新到25集）本站qq群1003271085，加入微信群請回復(fù)“加群”獲取一折本站知識星球優(yōu)惠券，復(fù)制鏈接直接打開：https://t.zsxq.com/yFQV7am喜歡文章，點個在看

總結(jié)

以上是生活随笔為你收集整理的Kaggle知识点：数据分布不一致的验证的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。