文 | YukiRain@知乎

不是所有問題都適合用神經網絡預測，YukiRain總結了以下幾種不適合用神經網絡做預測的場景：

• 小樣本情況，無論是低維還是高維，不如SVM和貝葉斯模型

• 低維數據，大樣本量，不如各種ensemble類算法

• 以上主要問題在于過擬合，傳統機器學習算法大部分對過擬合都有比較合理的解決方案，而神經網絡基本只靠heuristic。dropout雖然在Bayesian deep learning里面有不錯的意義，但只依靠dropout來做inference實踐上未免有點單薄

• 低維時序數據，小樣本量，大部分情況下比不過HMM，ARIMA一類的，比如語音識別里至今CNN沒有比HMM效果好多少

• 三維的圖像數據，神經網絡參數量太大，雖然有不少文章voxel based cnn，我目前還沒有復現過效果比較好的模型

• 上面的三維數據，有一種做法是多視角赤極投影，然后用LSTM去學，然而實數空間不存在一個SO(3)群到S2群的連續映射，因為二者不同構，所以即使你做出實驗效果，也有可能是某種過擬合的結果

• 神經網絡容易受到對抗樣本的攻擊，攻擊很容易，防御十分困難，目前為止的大部分防御措施都被指出存在漏洞

• 不規則數據，比如說graph signal或者point cloud，雖然有不少文章都嘗試graph signal上做卷積，但是目前為止，應用在復雜數據集上效果欠佳，而且數學研究者的工作與CS研究者的工作還有著巨大的隔閡

• 有一些文章用神經網絡做圖像去噪，這類的文章，凡聲稱自己是“盲”去噪，不加任何正則項先驗項的，有一大部分連自己到底想做到什么樣的目標都說不清。

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

總結

以上是生活随笔為你收集整理的不是所有问题都适合用神经网络去搞！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。