【知识星球】softmax损失相关的小问题
歡迎大家來到《知識星球》專欄，這里是AI1000問小專題。
作者&編輯 | 言有三
1 Softmax相關的問題
Softmax在圖像分類，分割任務中是很常見的，關于它有些常見的小問題，供大家思考學習。
有三AI1000問-機器學習篇
為什么分類任務softmax損失輸入是2通道，sigmoid損失是1通道
想必大家都玩過圖像分類了，為什么同樣是2分類任務，softmax損失函數(shù)的輸入是2通道而sigmoid損失函數(shù)的輸入是1通道？
作者/編輯 言有三
歸根結底還是因為這兩個損失根本就不是用于同一個任務，盡管在二分類的時候它們恰好是同一個問題。
我們首先看一下softmax損失函數(shù)定義，i表示第i個樣本，k表示第k類，C表示總類別數(shù)，yik是第i個樣本第k類的標簽，f(xik)即樣本i屬于第k類的概率。
在k=0到C中，只有一個yik非零，這個損失函數(shù)的定義是用于多類別分類任務的，即一個樣本只屬于其中一個類別，比如手寫數(shù)字的1，2，3，4，5，6，7。在具體實現(xiàn)損失的時候，就需要先取到非零的通道，按照上式計算該通道損失，所以輸入通道數(shù)目為2。
再看sigmoid損失函數(shù)定義：
從這個式子可以看出，根本就沒有類別C的概念，yi即是否為正樣本，f(xi)即樣本i是否為正樣本的概率，所以單個的sigmoid損失函數(shù)只能用于二分類問題。假如有一個分類任務為男，女，老，少，就需要2個sigmoid損失函數(shù)。在具體實現(xiàn)損失的時候，每一類問題只需要知道一個正樣本概率直接帶入上式即可，所以輸入通道數(shù)目為1。
2 更多AI1000問
更多的AI1000，可以移步知識星球閱讀！
有三AI知識星球的內容非常多，大家可以預覽一些內容如下。
以上所有內容
加入有三AI知識星球即可獲取
來日方長
點擊加入
不見不散
更多精彩
每日更新
轉載文章請后臺聯(lián)系
侵權必究
往期精選
揭秘7大AI學習板塊，這個星球推薦你擁有
有三AI 1000問回歸，備戰(zhàn)秋招，更多，更快，更好，等你來戰(zhàn)！
如何系統(tǒng)性掌握深度學習模型設計和優(yōu)化
【知識星球】做作業(yè)還能贏獎金，傳統(tǒng)圖像/機器學習/深度學習盡在不言
【知識星球】顏值，自拍，美學三大任務簡介和數(shù)據(jù)集下載
【知識星球】數(shù)據(jù)集板塊重磅發(fā)布，海量數(shù)據(jù)集介紹與下載
【知識星球】貓貓狗狗與深度學習那些事兒
【知識星球】超3萬字的網(wǎng)絡結構解讀，學習必備
【知識星球】視頻分類/行為識別網(wǎng)絡和數(shù)據(jù)集上新
【知識星球】3D網(wǎng)絡結構解讀系列上新
【知識星球】動態(tài)推理網(wǎng)絡結構上新，不是所有的網(wǎng)絡都是不變的
【知識星球】Attention網(wǎng)絡結構上新，聚焦才能贏
【知識星球】幾個人像分割數(shù)據(jù)集簡介和下載
【知識星球】總有些骨骼輕奇，姿態(tài)妖嬈的模型結構設計，不知道你知不知道，反正我知道一些
【知識星球】從SVM對偶問題，到疲勞駕駛檢測，到實用工業(yè)級別的模型壓縮技巧
【知識星球】為什么圖像分類任務要從256*256中裁剪出224*224
總結
以上是生活随笔為你收集整理的【知识星球】softmax损失相关的小问题的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 如何系统性掌握深度学习中的数据使用
- 下一篇： 【NLP】TransformerXL：因