往期視頻（前往有三AI公眾號觀看）

為什么要分訓(xùn)練集和測試集呢？

在很多的書以及一些公開數(shù)據(jù)集中，都會將數(shù)據(jù)集分為訓(xùn)練集，驗證集和測試集，看起來驗證集和測試集并沒有區(qū)別，為什么要分這兩個呢？

作者/編輯?言有三

?

驗證集和測試集的定位是不同的，一個模型需要有好的泛化能力，需要同時在訓(xùn)練過的數(shù)據(jù)和沒訓(xùn)練過的數(shù)據(jù)集上取得好的結(jié)果。

所以將訓(xùn)練集用于訓(xùn)練，驗證集用于調(diào)參數(shù)，然后反復(fù)迭代直到滿足性能。驗證集扮演的就是一個輔助模型增加泛化能力的作用。而測試集不同，它僅僅用于最后評估模型的性能。對于用于比賽的公開數(shù)據(jù)集，驗證集會公開標(biāo)注，測試集不會公開。

訓(xùn)練集和驗證集一般就是從同一個數(shù)據(jù)集隨機拆分，比如要訓(xùn)練貓臉檢測，找一個公開數(shù)據(jù)集。

但是最終評估模型好壞的時候，只用我自己拍攝的數(shù)據(jù)作為測試集，如果表現(xiàn)很好，那就說明模型是真好。

思考

不過平時的小任務(wù)可以不必刻意分，尤其是數(shù)據(jù)少的時候。當(dāng)你訓(xùn)練好模型之后，就去找真實場景的數(shù)據(jù)反復(fù)測試吧，那才是測試集的奧義。

?

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

技術(shù)交流請移步知識星球

感謝各位看官的耐心閱讀，不足之處希望多多指教。后續(xù)內(nèi)容將會不定期奉上，歡迎大家關(guān)注有三公眾號 有三AI！

總結(jié)

以上是生活随笔為你收集整理的【AI-1000问】训练为什么要分测试集和验证集？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。