- 計算機視覺 -為什么說 Dropout 可以解決過擬合？(1)取平均的作用：?先回到標準的模型即沒有 dropout，我們用相同的訓(xùn)練數(shù)據(jù)去訓(xùn)練 5 個不同的神經(jīng)網(wǎng)絡(luò)，一般會得到 5 個不同的結(jié)果，此時我們可以采用 “5 個結(jié)果取均值” 或者 “多數(shù)取勝的投票策略” 去決定最終結(jié)果。例如 3 個網(wǎng)絡(luò)判斷結(jié)果為數(shù)字 9, 那么很有可能真正的結(jié)果就是數(shù)字 9，其它兩個網(wǎng)絡(luò)給出了錯誤結(jié)果。這種 “綜合起來取平均” 的策略通常可以有效防止過擬合問題。因為不同的網(wǎng)絡(luò)可能產(chǎn)生不同的過擬合，取平均則有可能讓一些 “相反的” 擬合互相抵消。dropout 掉不同的隱藏神經(jīng)元就類似在訓(xùn)練不同的網(wǎng)絡(luò)，隨機刪掉一半隱藏神經(jīng)元導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)不同，整個 dropout 過程就相當于對很多個不同的神經(jīng)網(wǎng)絡(luò)取平均。而不同的網(wǎng)絡(luò)產(chǎn)生不同的過擬合，一些互為 “反向” 的擬合相互抵消就可以達到整體上減少過擬合。(2)減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系：?因為 dropout 程序?qū)е聝蓚€神經(jīng)元不一定每次都在一個 dropout 網(wǎng)絡(luò)中出現(xiàn)。這樣權(quán)值的更新不再依賴于有固定關(guān)系的隱含節(jié)點的共同作用，阻止了某些特征僅僅在其它特定特征下才有效果的情況 。迫使網(wǎng)絡(luò)去學(xué)習(xí)更加魯棒的特征 ，這些特征在其它的神經(jīng)元的隨機子集中也存在。換句話說假如我們的神經(jīng)網(wǎng)絡(luò)是在做出某種預(yù)測，它不應(yīng)該對一些特定的線索片段太過敏感，即使丟失特定的線索，它也應(yīng)該可以從眾多其它線索中學(xué)習(xí)一些共同的特征。從這個角度看 dropout 就有點像 L1，L2 正則，減少權(quán)重使得網(wǎng)絡(luò)對丟失特定神經(jīng)元連接的魯棒性提高。(3)Dropout 類似于性別在生物進化中的角色：物種為了生存往往會傾向于適應(yīng)這種環(huán)境，環(huán)境突變則會導(dǎo)致物種難以做出及時反應(yīng)，性別的出現(xiàn)可以繁衍出適應(yīng)新環(huán)境的變種，有效的阻止過擬合，即避免環(huán)境改變時物種可能面臨的滅絕關(guān)于 dropout 需要知道什么？直觀認識：Dropout 隨機刪除神經(jīng)元后，網(wǎng)絡(luò)變得更小，訓(xùn)練階段也會提速；事實證明，dropout 已經(jīng)被正式地作為一種正則化的替代形式；有了 dropout，網(wǎng)絡(luò)不會為任何一個特征加上很高的權(quán)重(因為那個特征的輸入神經(jīng)元有可能被隨機刪除)，最終 dropout 產(chǎn)生了收縮權(quán)重平方范數(shù)的效果；Dropout 的功能類似于 L2 正則化，但 Dropout 更適用于不同的輸入范圍；如果你擔(dān)心某些層比其它層更容易過擬合，可以把這些層的 keep-prob 值設(shè)置的比其它層更低；Dropout 主要用在計算機視覺領(lǐng)域，因為這個領(lǐng)域我們通常沒有足夠的數(shù)據(jù)，容易過擬合。但在其它領(lǐng)域用的比較少；Dropout 的一大缺點就是代價函數(shù)不再被明確定義，所以在訓(xùn)練過程中，代價函數(shù)的值并不是單調(diào)遞減的；使用時，先關(guān)閉 Dropout，設(shè)置 keep-prob 為 1，使代價函數(shù)的值單調(diào)遞減，然后再打開 Dropout；Dropout 與 L1 和 L2 正則化有什么區(qū)別？L1 和 L2 正則化通過在損失函數(shù)上增加參數(shù)的懲罰項，通過對參數(shù)大小的約束，起到類似降維的作用(若高階項參數(shù)接近 0，相當于降階)。進而簡化模型，提高模型泛化力，避免過擬合。L1 和 L2 正則化修改代價函數(shù)，Dropout 修改神經(jīng)網(wǎng)絡(luò)本身。評價指標有哪些？機器學(xué)習(xí)中評價指標：Accuracy(準確率)、 Precision(查準率或者精準率)、Recall(查全率或者召回率)。目標檢測的指標：識別精度，識別速度，定位精度。a、目標檢測中衡量識別精度的指標是 mAP(mean average precision)。多個類別物體檢測中，每一個類別都可以根據(jù) recall 和 precision 繪制一條曲線，AP 就是該曲線下的面積，mAP 是多個類別 AP 的平均值。b、? 目標檢測評價體系中衡量定位精度的指標是 IoU,IoU 就是算法預(yù)測的目標窗口和真實的目標窗口的交疊(兩個窗口面積上的交集和并集比值)非極大值抑制算法步驟非極大值抑制算法(Non-maximum suppression，NMS)在目標檢測中經(jīng)常用到。我們的檢測算法可能對同一目標產(chǎn)生多次檢測的結(jié)果，非極大值抑制算法可以保證每個目標只檢測一次，找到檢測效果最好的框。(1)去除所有預(yù)測框置信度于某個閾值的框，這里的閾值選取為 0.5。(2)在剩下的 1、2、4、5、6 號框中選取置信度最大的，即圖中 5 號框，比較除 5 號框以外所有框于 5 號框的交并比，若交并比大于某個閾值(人工給定的值)，則抑制這些不是局部極大值預(yù)測框輸出。(3)再從剩下的框中選取置信度最大的，重復(fù)上面的步驟，直至沒有框被舍去時結(jié)束。(4)最后 2 號和 5 號框被保留，其他框被抑制。若檢測物體是多個類別的時候，一般情況是對每個類別分別做一次非極大值抑制算法。斜著的矩形框如何求 iou？兩個多邊形的框如何求 iou？首先要求解兩個多邊形的面積，方法見該鏈接關(guān)鍵在于如何求出交集的面積思路一：蒙特卡洛 + 采樣，近似求解交集的面積，但是中間涉及判斷點在不在多邊形內(nèi)，判斷點是否在多邊形內(nèi)思路二：適合于兩個凸多邊形(非凸沒想到好的思路)，凸多邊形可以看做是半平面的交集，因此兩個凸多邊形的交集，可以看作是(m+n)個半平面的交集(假設(shè)兩個凸多邊形分別有 m 個頂點和 n 個頂點)，求出來半平面的交集(仍舊是一個凸多邊形)之后，求解該多邊形的面積即可。求解半平面交集RPN 的平移不變形如何解決？在計算機視覺中的一個挑戰(zhàn)就是平移不變性：比如人臉識別任務(wù)中，小的人臉 (24*24 的分辨率) 和大的人臉 (1080*720) 如何在同一個訓(xùn)練好權(quán)值的網(wǎng)絡(luò)中都能正確識別。若是平移了圖像中的目標，則建議框也應(yīng)該平移，也應(yīng)該能用同樣的函數(shù)預(yù)測建議框。傳統(tǒng)有兩種主流的解決方式：第一、對圖像或 feature map 層進行尺度 \ 寬高的采樣；第二、對濾波器進行尺度 \ 寬高的采樣 (或可以認為是滑動窗口).但 Faster R-CNN 解決該問題的具體實現(xiàn)是：通過卷積核中心 (用來生成推薦窗口的 Anchor) 進行尺度、寬高比的采樣，使用 3 種尺度和 3 種比例來產(chǎn)生 9 種 anchor。RPN 生成候選框樣本不均衡有什么問題？

為了訓(xùn)練速度和訓(xùn)練精度的平衡，原始圖像進入訓(xùn)練之前需要先進行 resize，使圖像的短邊為 600(或者長邊為 1000)；?

在訓(xùn)練過程產(chǎn)生的 anchor 中，忽視掉所有的超過圖像邊界的 anchor：如在 1000*600 的圖像中，大概會有 20000(60*40*9)個 anchor，去除掉超過邊界的 anchor 之后，還剩 6000 個。論文中提到：若是不去除這些 anchor 的話，它們會帶來大量的、難以糾正的錯誤，并且導(dǎo)致訓(xùn)練 loss 難以收斂。而在測試過程中，對于超出邊界的 anchor 并不是刪除，而是修剪掉其超過邊界的部分。?

RPN 得到的大量 proposal 可能會相互重疊，冗余度較高，論文根據(jù)這些 proposal 的 cls 得分對其區(qū)域采用非極大值抑制(NMS)去除冗余 proposal，經(jīng)過 NMS 后每張圖還剩下大概 2000 個 proposal。經(jīng)過實驗，NMS 并不會降低檢測的準確度，但是大量減少了無關(guān)的 proposal。

• 對每個標定的 ground true box 區(qū)域，與其重疊比例最大的 anchor 記為正樣本 (保證每個 ground true 至少對應(yīng)一個正樣本 anchor)
• 對 1 中剩余的 anchor，如果其與某個標定區(qū)域重疊比例 (IoU) 大于?0.7，記為正樣本(每個 ground true box 可能會對應(yīng)多個正樣本 anchor。但每個正樣本 anchor 只可能對應(yīng)一個 grand true box)；如果其與任意一個標定的重疊比例都小于?0.3，記為負樣本。
• 對 1、2 剩余的 anchor，棄去不用。
• 跨越圖像邊界的 anchor 棄去不用。

池化主要有哪幾種？(1)一般池化(General Pooling)其中最常見的池化操作有平均池化、最大池化：平均池化(average pooling)：計算圖像區(qū)域的平均值作為該區(qū)域池化后的值。最大池化(max pooling)：選圖像區(qū)域的最大值作為該區(qū)域池化后的值。(2)重疊池化(OverlappingPooling)重疊池化就是，相鄰池化窗口之間有重疊區(qū)域，此時一般 sizeX > stride。(3)空金字塔池化(Spatial Pyramid Pooling)空間金字塔池化的思想源自 Spatial Pyramid Model，它將一個 pooling 變成了多個 scale 的 pooling。用不同大小池化窗口作用于上層的卷積特征。也就是說 spatital pyramid pooling layer 就是把前一卷積層的 feature maps 的每一個圖片上進行了 3 個卷積操作，并把結(jié)果輸出給全連接層。其中每一個 pool 操作可以看成是一個空間金字塔的一層。(具體的細節(jié)可以看下面的參考鏈接，講的比較詳細)這樣做的好處是，空間金字塔池化可以把任意尺度的圖像的卷積特征轉(zhuǎn)化成相同維度，這不僅可以讓 CNN 處理任意尺度的圖像，還能避免 cropping 和 warping 操作，導(dǎo)致一些信息的丟失，具有非常重要的意義池化層主要的作用(1)首要作用，下采樣(downsamping)(2)降維、去除冗余信息、對特征進行壓縮、簡化網(wǎng)絡(luò)復(fù)雜度、減小計算量、減小內(nèi)存消耗等等。各種說辭吧，總的理解就是減少參數(shù)量。(3)實現(xiàn)非線性(這個可以想一下，relu 函數(shù)，是不是有點類似的感覺？)。(4)可以擴大感知野。(5)可以實現(xiàn)不變性，其中不變形性包括，平移不變性、旋轉(zhuǎn)不變性和尺度不變性。A：特征不變性，也就是我們在圖像處理中經(jīng)常提到的特征的尺度不變性，池化操作就是圖像的 resize，平時一張狗的圖像被縮小了一倍我們還能認出這是一張狗的照片，這說明這張圖像中仍保留著狗最重要的特征，我們一看就能判斷圖像中畫的是一只狗，圖像壓縮時去掉的信息只是一些無關(guān)緊要的信息，而留下的信息則是具有尺度不變性的特征，是最能表達圖像的特征。B：特征降維，我們知道一幅圖像含有的信息是很大的，特征也很多，但是有些信息對于我們做圖像任務(wù)時沒有太多用途或者有重復(fù)，我們可以把這類冗余信息去除，把最重要的特征抽取出來，這也是池化操作的一大作用。注：以上內(nèi)容不代表準確概念，請自行參考。

計算機視覺常見面試題型介紹及解答

第一期?|?第二期?|?第三期?|?第四期?|?第五期?| 第六期

?阿里算法崗位最新編程題介紹及解析

第一期?|?第二期?|?第三期?|?第四期?|?第五期?|?第六期?|?第七期

騰訊算法工程師筆試真題介紹及解析匯總合集

第一期?|?第二期?|?第三期?|?第四期?|?第五期?|?

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的js 计算任意凸多边形内最大矩形_题库 | 计算机视觉常见面试题型介绍及解答 第 7 期...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。