點(diǎn)擊上方“3D視覺工坊”，選擇“星標(biāo)”

干貨第一時(shí)間送達(dá)

編輯丨機(jī)器視覺課堂

計(jì)算機(jī)視覺在智能制造工業(yè)檢測中發(fā)揮著檢測識(shí)別和定位分析的重要作用，為提高工業(yè)檢測的檢測速率和準(zhǔn)確率以及智能自動(dòng)化程度做出了巨大的貢獻(xiàn)。然而計(jì)算機(jī)視覺在應(yīng)用過程中一直存在技術(shù)應(yīng)用難點(diǎn)，其中3大瓶頸問題是：

• 計(jì)算機(jī)視覺應(yīng)用易受光照影響

• 樣本數(shù)據(jù)難以支持深度學(xué)習(xí)

• 先驗(yàn)知識(shí)難以加入演化算法

本文針對計(jì)算機(jī)視覺應(yīng)用存在的3大瓶頸問題總結(jié)分析了問題現(xiàn)狀和已有解決方法。經(jīng)過深入分析發(fā)現(xiàn)：

• 針對受光照影響大的問題，可以通過算法和圖像采集兩個(gè)環(huán)節(jié)解決；

• 針對樣本數(shù)據(jù)難以支持深度學(xué)習(xí)的問題，可以通過小樣本數(shù)據(jù)處理算法和樣本數(shù)量分布平衡方法解決；

• 針對先驗(yàn)知識(shí)難以加入演化算法的問題，可以通過機(jī)器學(xué)習(xí)和強(qiáng)化學(xué)習(xí)解決。

【正文部分】

1 智能制造中的計(jì)算機(jī)視覺發(fā)展現(xiàn)狀及需求

1.1 智能制造中的計(jì)算機(jī)視覺發(fā)展現(xiàn)狀

計(jì)算機(jī)視覺的發(fā)展主要經(jīng)歷了4個(gè)階段，第1階段稱為計(jì)算視覺，第2階段是主動(dòng)和目的視覺，第3階段是分層3維重建理論，第4階段是基于學(xué)習(xí)的視覺，如圖 1所示。

計(jì)算機(jī)視覺發(fā)展的4個(gè)階段

具體到智能制造業(yè)的應(yīng)用，工業(yè)檢測是計(jì)算機(jī)視覺應(yīng)用的主要方向。由于生產(chǎn)中不可避免會(huì)產(chǎn)生缺陷和誤差，導(dǎo)致部件或者產(chǎn)品出現(xiàn)殘次品。因此，在流水線后端需要檢測環(huán)節(jié)。目前大多采用人工檢測方法或是自動(dòng)化程度不高的機(jī)器方法，這導(dǎo)致原本效率提高的流水線因?yàn)闄z測環(huán)節(jié)再次緩慢下來。

因此計(jì)算機(jī)視覺檢測技術(shù)在智能制造工業(yè)檢測領(lǐng)域的應(yīng)用至關(guān)重要。目前各類相關(guān)研究非常廣泛，大到汽車制造業(yè)中的汽車車身視覺檢測，小到軸承表面缺陷檢測。表 1給出了基于圖像的軸承故障診斷的計(jì)算機(jī)視覺方法。

表 1?軸承故障診斷的計(jì)算機(jī)視覺方法對比
Table 2?Comparison of computer visual methods for fault diagnosis of bearing

方法	平均故障識(shí)別率/%	特點(diǎn)
基于加權(quán)FCM(fuzzy C-means)算法(隋文濤，2011)	97.50	故障識(shí)別率無法提高，但魯棒性高。
基于學(xué)習(xí)的深度信念網(wǎng)絡(luò)分類識(shí)別算法(李巍華等，2016)	97.58	40%可以達(dá)到99.0%識(shí)別率，易出現(xiàn)效果極差的情況。

1.2 智能制造對計(jì)算機(jī)視覺技術(shù)的發(fā)展需求

智能制造業(yè)中涉及大量檢測環(huán)節(jié)，如缺陷檢測、形變檢測、紋理檢測、尺寸檢測等。

計(jì)算機(jī)視覺技術(shù)作為檢測領(lǐng)域目前最有效的方法之一，必然會(huì)在工業(yè)檢測的應(yīng)用中掀起一場革命性的制造模式大轉(zhuǎn)變。它能再一次解放勞動(dòng)力，大幅度提高制造業(yè)的生產(chǎn)效率，降低生產(chǎn)成本，減少生產(chǎn)環(huán)節(jié)，促使生產(chǎn)線全自動(dòng)化的形成。

但目前計(jì)算機(jī)視覺在智能制造工業(yè)檢測領(lǐng)域的實(shí)際應(yīng)用存在諸多瓶頸問題尚未解決，其中3個(gè)關(guān)鍵的瓶頸問題值得研究討論。

1) 實(shí)際智能制造業(yè)環(huán)境復(fù)雜、光源簡單，容易造成光照不均勻，難以解決圖像質(zhì)量受光照影響大的問題。在檢測領(lǐng)域的實(shí)際應(yīng)用中，由于工業(yè)場地環(huán)境變化的不確定性，會(huì)使計(jì)算機(jī)視覺的圖像采集環(huán)節(jié)受到影響。在工業(yè)檢測中，檢測的通常都是流水線上一致性很高的產(chǎn)品，需要檢測的缺陷通常也是相對微小的，因此對圖像的要求較高。除了保證相機(jī)的各參數(shù)一致以外，還需要控制環(huán)境因素的影響，這是工業(yè)檢測中特有的控制因素之一。由于環(huán)境變化隨機(jī)性大，使得控制光照成為智能制造檢測領(lǐng)域的計(jì)算機(jī)視覺關(guān)鍵瓶頸問題。

2)?實(shí)際智能制造業(yè)中獲取萬級以上的平衡樣本數(shù)據(jù)代價(jià)較大，難以解決樣本數(shù)據(jù)不是以支持基于深度學(xué)習(xí)的計(jì)算機(jī)視覺檢測任務(wù)的問題。在所有學(xué)習(xí)方法中，樣本數(shù)據(jù)是最重要的因素之一。尤其是深度學(xué)習(xí)，往往需要非常大量的樣本才能達(dá)到比較優(yōu)異的檢測效果。在一定數(shù)量級(欠學(xué)習(xí))之內(nèi)，樣本和檢測效果甚至成正比關(guān)系。而在智能制造業(yè)，樣本數(shù)據(jù)的采集卻是一大問題。因?yàn)槠髽I(yè)追求利益，無法像做研究一樣順利進(jìn)行樣本數(shù)據(jù)采集，甚至有些產(chǎn)品的總產(chǎn)量都達(dá)不到深度學(xué)習(xí)所需的樣本數(shù)據(jù)規(guī)模。

3)?智能制造業(yè)中，計(jì)算機(jī)判定難以達(dá)到專業(yè)判定的水準(zhǔn)，如何在算法中加入先驗(yàn)知識(shí)以提高演化算法的效果是一大難題。如何有效利用先驗(yàn)知識(shí)，降低深度學(xué)習(xí)對大規(guī)模標(biāo)注數(shù)據(jù)的依賴，成為目前業(yè)內(nèi)的主攻方向之一。由于先驗(yàn)知識(shí)的形式多變，如何與深度學(xué)習(xí)有效結(jié)合是一大難點(diǎn)。具體到工業(yè)檢測領(lǐng)域，問題更加嚴(yán)峻，在需要解決上述問題的同時(shí)，還需要考慮如下難點(diǎn)：如何將比普通先驗(yàn)知識(shí)更復(fù)雜的工業(yè)檢測專業(yè)知識(shí)轉(zhuǎn)化為知識(shí)圖譜等形式融入算法；如何建立工業(yè)檢測先驗(yàn)知識(shí)的規(guī)范化、標(biāo)準(zhǔn)化和統(tǒng)一化；如何通過已有產(chǎn)品的先驗(yàn)知識(shí)推測知識(shí)庫未收錄的其他類似產(chǎn)品的先驗(yàn)知識(shí)。

2 智能制造中計(jì)算機(jī)視覺應(yīng)用易受光照影響的問題

2.1 受光照影響大的問題概述

工業(yè)檢測不同于其他檢測領(lǐng)域，不同工業(yè)產(chǎn)品的檢測通常也在不一樣的環(huán)境中進(jìn)行。一般來說，工業(yè)產(chǎn)品的生產(chǎn)過程在開放式的車間或者倉庫環(huán)境中進(jìn)行，自然采光差、光來源復(fù)雜、光照設(shè)備不專業(yè)是普遍存在的問題，加之智能制造領(lǐng)域?qū)τ跈z測的正確率和速率有著更為嚴(yán)苛的要求，光照控制作為提升識(shí)別率的重要途徑需要更好的技術(shù)加持。

對于大型智能制造工業(yè)現(xiàn)場，開放式的復(fù)雜工作環(huán)境容易造成拍攝圖像的過程中光照強(qiáng)度的大范圍變化。相比之下，小型工業(yè)現(xiàn)場的自然光照等其他干擾較小，但小型產(chǎn)品的檢測精細(xì)度更高，對于光照穩(wěn)定性的要求也隨之提高，控制光照的難度反而更高。實(shí)驗(yàn)室穩(wěn)定光照條件下獲得的樣本數(shù)據(jù)集訓(xùn)練出的模型并不能在工業(yè)現(xiàn)場取得很好的檢測效果。不僅光照條件的苛刻性使得智能制造中的計(jì)算機(jī)視覺應(yīng)用難度增加，而且智能制造領(lǐng)域?qū)?zhǔn)確率的要求也更為嚴(yán)苛。因此，如何控制光照均勻性是目前一大瓶頸問題。

2.2 受光照影響大的解決方法

目前智能制造工業(yè)檢測領(lǐng)域計(jì)算機(jī)視覺中的光照問題研究大多從算法上入手。如基于Retinex的X光非均勻鋼絲繩芯輸送帶圖像校正和增強(qiáng)算法提出了一種基于機(jī)器視覺的非均勻光照輸送帶圖像校正和故障檢測算法。基于統(tǒng)計(jì)特性的光照歸一化方法充分考慮了圖像的光照局部性，通過對圖像局部的均值和方差進(jìn)行調(diào)節(jié)，引入線性插值方法，將對數(shù)變換與本文方法結(jié)合調(diào)整圖像的光照，可以很好地進(jìn)行光照的歸一化。工業(yè)檢測的光照特性變化隨機(jī)，而此法可根據(jù)圖像的特性動(dòng)態(tài)調(diào)整，具有可用性。

智能制造工業(yè)檢測領(lǐng)域中需要相機(jī)拍攝圖像以進(jìn)一步通過計(jì)算機(jī)視覺技術(shù)完成處理分析，因此在圖像采集環(huán)節(jié)對光照加以控制是另一種常用方法。它的特點(diǎn)是可以避免復(fù)雜的算法實(shí)現(xiàn)，但會(huì)增加硬件成本和復(fù)雜度。在針對某物體的圖像采集過程中，相機(jī)、鏡頭的配置會(huì)直接影響成像的效果，通過調(diào)試可確定最優(yōu)的相機(jī)、鏡頭配置。同時(shí)，外加光源可以有效地減弱環(huán)境光對圖像采集的干擾，保證一系列圖像的穩(wěn)定性，也能調(diào)整得到適合工業(yè)檢測的特定光照。

視覺獲取的最優(yōu)情形以及以光源和相機(jī)為主體的光照協(xié)調(diào)技術(shù)把相機(jī)和光源作為一個(gè)整體加以協(xié)調(diào)，利用交替法優(yōu)化配置最優(yōu)光照和相機(jī)位置，使得在當(dāng)前環(huán)境下的圖像具有較高的平均亮度和對比度。此方法能提高樣本圖像數(shù)據(jù)的質(zhì)量，使光照的會(huì)聚指數(shù)上升約0.15 %，但也使得采集圖像的復(fù)雜度上升。數(shù)字?jǐn)z像機(jī)參數(shù)自適應(yīng)調(diào)整算法用以提高機(jī)器視覺系統(tǒng)對光照變化的魯棒性，它能根據(jù)外界環(huán)境的光照條件，在線調(diào)整數(shù)字?jǐn)z像機(jī)的參數(shù)和設(shè)置，以采集像素灰度在預(yù)設(shè)值范圍內(nèi)的圖像，有效減弱了光照變化對圖像灰度的影響，缺點(diǎn)在于實(shí)時(shí)調(diào)整對相機(jī)和調(diào)整算法的要求都很高，很難保證長時(shí)間精準(zhǔn)實(shí)現(xiàn)，易丟失實(shí)時(shí)性。

3 智能制造中計(jì)算機(jī)視覺應(yīng)用的樣本數(shù)據(jù)難以支持深度學(xué)習(xí)的問題

3.1 樣本數(shù)據(jù)難以支持深度學(xué)習(xí)的問題概述

智能制造工業(yè)檢測中，除傳統(tǒng)的模板匹配方法，目前更主流的是基于深度學(xué)習(xí)的方法。因工業(yè)檢測的高準(zhǔn)確率需求，有監(jiān)督的深度學(xué)習(xí)能滿足要求。有監(jiān)督的深度學(xué)習(xí)的一大特點(diǎn)是需要已知類別標(biāo)簽的訓(xùn)練圖像數(shù)據(jù)集，這個(gè)訓(xùn)練集理論上包含的數(shù)據(jù)量越大，檢測的效果越好。但結(jié)合工業(yè)檢測的實(shí)際場景，難以采集這么大的樣本數(shù)據(jù)量。另外，制造行業(yè)中缺陷品的數(shù)量遠(yuǎn)遠(yuǎn)少于合格品，隨機(jī)獲取的訓(xùn)練集樣本將存在樣本分布不平衡的問題。即使在大樣本數(shù)據(jù)二分類問題中，樣本分布也應(yīng)該盡量做到每類占比50 %。

在智能制造領(lǐng)域，獲取樣本圖像數(shù)據(jù)的方法有兩種，一種是在流水線作業(yè)時(shí)在線采集，另一種是樣本擺拍的離線采集。

在流水線作業(yè)時(shí)在線采集的優(yōu)勢在于不影響工業(yè)生產(chǎn)即可完成樣本圖像數(shù)據(jù)的采集，圖像數(shù)據(jù)來自于工業(yè)現(xiàn)場，并且可采集最大等同于生產(chǎn)數(shù)量的樣本圖像數(shù)據(jù)集。但問題在于樣本類別按合格率分布，缺陷品的樣本圖像將遠(yuǎn)遠(yuǎn)小于合格品，樣本分布不平衡。其次工業(yè)現(xiàn)場的拍攝環(huán)境無法保證，容易造成樣本圖像的質(zhì)量不一，影響訓(xùn)練效果。

相對地，樣本擺拍的離線采集模式的優(yōu)點(diǎn)是可控的樣本分布，人工控制各類別的樣本數(shù)量分布一致；可控的實(shí)驗(yàn)室拍攝環(huán)境，可以保證得到高質(zhì)量的樣本圖像。缺點(diǎn)也很明顯，收集樣本需花費(fèi)大量時(shí)間，拍攝耗時(shí)耗力，訓(xùn)練模型不一定能適用于工業(yè)現(xiàn)場檢測，短時(shí)間內(nèi)無法得到大樣本圖像數(shù)據(jù)集。因此，樣本數(shù)據(jù)由于量小、不平衡難以支持深度學(xué)習(xí)，成為目前的一大瓶頸問題。

3.2 樣本數(shù)據(jù)難以支持深度學(xué)習(xí)的解決方法

智能制造檢測領(lǐng)域的樣本數(shù)據(jù)存在難以獲取大量有效樣本數(shù)據(jù)的問題, 以及難以獲取各類樣本數(shù)量分布平衡的樣本數(shù)據(jù)集的問題。難以獲取大量有效樣本數(shù)據(jù)的問題可以轉(zhuǎn)化為針對小樣本數(shù)據(jù)如何取得良好檢測分類效果的問題，主要方法如表2所示。

表 2?利用小樣本數(shù)據(jù)檢測分類的方法
Table 3?Methods for detection classification using small sample data

方法	基本思想	特點(diǎn)
基于微調(diào)(fine tune)的方法	基于一個(gè)已經(jīng)被訓(xùn)練過的基礎(chǔ)網(wǎng)絡(luò)，根據(jù)現(xiàn)有的小樣本數(shù)據(jù)對這個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)，使其在特定數(shù)據(jù)域上效果更好。	需要利用原先大樣本數(shù)據(jù)訓(xùn)練好的模型并結(jié)合特定小樣本進(jìn)行參數(shù)微調(diào)，速度較快，能提升此特定領(lǐng)域預(yù)測效果。
基于度量(metric)的方法	對樣本間的距離分布進(jìn)行建模，使同類樣本聚合，異類分離。	本質(zhì)是基于小樣本的分類器，通過距離或其他參數(shù)進(jìn)行分類，學(xué)習(xí)快速，泛化能力強(qiáng)，收斂能力較弱。
基于元學(xué)習(xí)(meta learning)的方法	從之前的學(xué)習(xí)學(xué)會(huì)如何學(xué)習(xí)，對于新的任務(wù)不必從零開始，而是根據(jù)一定的元數(shù)據(jù)，自動(dòng)學(xué)習(xí)如何解決新的任務(wù)。	靈活性強(qiáng)，泛化能力強(qiáng)，利用少量樣本即可解決新的學(xué)習(xí)任務(wù)，需要更大的時(shí)間成本訓(xùn)練出學(xué)習(xí)模型。
基于圖神經(jīng)網(wǎng)絡(luò)(graph neural network, GNN) (Garcia和Bruna，2018)的方法	用圖的形式構(gòu)建了神經(jīng)網(wǎng)絡(luò)，把樣本看做節(jié)點(diǎn)，通過節(jié)點(diǎn)彼此間的連接做到信息擴(kuò)散，可以把有標(biāo)簽的樣本信息擴(kuò)散到與之最相似的需要預(yù)測的樣本上。	本質(zhì)上是基于度量的方法，mini-ImageNet上5分類準(zhǔn)確率大約在95%左右，小樣本表現(xiàn)不穩(wěn)定，應(yīng)用有待深入。

針對難以獲取各類別樣本數(shù)量分布平衡的樣本數(shù)據(jù)集有如表 3的解決方法。

表3?樣本分布不平衡的解決方法
Table 5?Solution to sample distribution imbalance

方法	基本思想	特點(diǎn)
數(shù)據(jù)增廣方法	對原圖進(jìn)行多種方法處理，形成稍有差異的圖像數(shù)據(jù)，以補(bǔ)充數(shù)據(jù)過少或者數(shù)據(jù)單一的問題。	常用方法：色彩抖動(dòng)、主成分分析(principal components analysis, PCA)抖動(dòng)、尺度變換、裁剪縮放、平移翻轉(zhuǎn)、旋轉(zhuǎn)仿射、高斯噪聲。能擴(kuò)張數(shù)據(jù)集的數(shù)量，但質(zhì)量不如原始數(shù)據(jù)集，并可能產(chǎn)生實(shí)際不存在的樣本圖像，預(yù)測效果會(huì)下降。
重采樣方法	對樣本數(shù)量大的樣本進(jìn)行欠采樣，即刪除部分樣本；對樣本數(shù)量小的樣本進(jìn)行過采樣，即添加樣本的副本。	在一定程度緩解了不同類樣本數(shù)量差距懸殊的問題，但降低了數(shù)據(jù)集質(zhì)量，增加了訓(xùn)練的誤差，訓(xùn)練的效果不理想。
SMOTE(synthetic minority over-sampling technique)(Chawla等，2002)	本質(zhì)上是過采樣，構(gòu)造新的小類樣本，新樣本不是原始樣本的副本或增廣，而是從小類樣本中的兩個(gè)或多個(gè)相似樣本選擇一個(gè)樣本，從鄰近的其他樣本中選擇一個(gè)屬性添加到這個(gè)樣本上形成。	屬性一般是某種特征，產(chǎn)生的樣本質(zhì)量比樣本副本和增廣質(zhì)量高很多，但非常容易產(chǎn)生實(shí)際不存在的樣本，不具有很強(qiáng)的應(yīng)用性，無法保證屬性之間的線性關(guān)系。

研究結(jié)果表明，目前樣本數(shù)據(jù)難以支撐深度學(xué)習(xí)的問題主要包括樣本數(shù)據(jù)量小和樣本數(shù)據(jù)不均衡，對于這兩個(gè)問題的方法已有如上所述的研究體系和方法。此類樣本數(shù)據(jù)處理算法都是針對樣本的數(shù)量而不是樣本的內(nèi)容，因此在智能制造的工業(yè)檢測領(lǐng)域，使用上述方法調(diào)整樣本數(shù)據(jù)是完全可行的。

4 智能制造中計(jì)算機(jī)視覺應(yīng)用的先驗(yàn)知識(shí)難以加入演化算法的問題

4.1 先驗(yàn)知識(shí)難以加入演化算法的問題概述

計(jì)算機(jī)視覺在智能制造中的應(yīng)用本質(zhì)上是一種基于數(shù)據(jù)的方法，但在工業(yè)檢測領(lǐng)域難以獲取大量均勻的樣本數(shù)據(jù)，因此研究者們提出將先驗(yàn)知識(shí)加入計(jì)算機(jī)視覺算法中以期獲得更好的檢測效果。應(yīng)用基于先驗(yàn)知識(shí)的方法，在訓(xùn)練階段可以配合樣本進(jìn)行訓(xùn)練，提高模型參數(shù)的準(zhǔn)確性，降低學(xué)習(xí)難度，利于訓(xùn)練過程的收斂，從而提高預(yù)測的準(zhǔn)確度。在預(yù)測階段，能通過先驗(yàn)知識(shí)對判定結(jié)果的校正，提高準(zhǔn)確率，也能提升檢測速度，避免偶然誤差的產(chǎn)生。

目前先驗(yàn)知識(shí)難以加入演化算法，更難以指導(dǎo)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等算法，并且也有很多需要解決的瓶頸問題。例如，如何將知識(shí)圖譜這種主要知識(shí)表示形式用于指導(dǎo)深度神經(jīng)網(wǎng)絡(luò)；如何用自然語言指導(dǎo)強(qiáng)化學(xué)習(xí)中的智能體快速準(zhǔn)確地理解學(xué)習(xí)；如何將遷移學(xué)習(xí)作為知識(shí)結(jié)合進(jìn)強(qiáng)化學(xué)習(xí)；如何通過領(lǐng)域知識(shí)將強(qiáng)化學(xué)習(xí)方法應(yīng)用到工業(yè)檢測中等。

4.2 先驗(yàn)知識(shí)無法支持演化算法的解決方法

針對如何將先驗(yàn)知識(shí)應(yīng)用到學(xué)習(xí)中以及以何種形式應(yīng)用的問題，目前有如下的研究和方法。一種是將樣本的緊密度信息作為先驗(yàn)知識(shí)應(yīng)用到支持向量機(jī)的構(gòu)造中。通過對緊密度的置信度進(jìn)行建模，通過模糊連接度可以將支持向量與含噪聲樣本進(jìn)行區(qū)分。此方法能夠得到具有更好抗噪性能及分類能力的支持向量機(jī)，通過將樣本的緊密度信息作為先驗(yàn)知識(shí)，不僅考慮到樣本類間中心距離，還考慮了樣本與類內(nèi)其他樣本的關(guān)系，通過模糊支持向量機(jī)加以區(qū)分。在工業(yè)檢測領(lǐng)域，缺陷樣本和正常樣本本身差距就不大，若能將樣本的緊密度信息加入訓(xùn)練，將有助于提升訓(xùn)練效果，能夠更加準(zhǔn)確地分離小缺陷、弱缺陷樣本。

宣冬梅等給出了兩種將先驗(yàn)知識(shí)與深度學(xué)習(xí)模型融合的方法。第1種實(shí)質(zhì)上將深度學(xué)習(xí)得到的輸出作為給定樣本的條件概率，即加先驗(yàn)知識(shí)的隨機(jī)深度學(xué)習(xí)分類器(random deep learning classifier with prior knowledge, RPK)。第2種加入一個(gè)參數(shù)用以調(diào)整先驗(yàn)知識(shí)的稀疏性，即加先驗(yàn)知識(shí)的確定型深度學(xué)習(xí)分類器(deterministic deep learning classifier with prior knowledge, DPK)。這兩種方法得到的分類器都能更好地預(yù)測結(jié)果。但這兩種方法在多分類任務(wù)的識(shí)別率上不夠高，只能精確地進(jìn)行二分類任務(wù)。兩者都是在深度學(xué)習(xí)模型框架之內(nèi)加入了以矩陣形式存在的先驗(yàn)知識(shí)，這些先驗(yàn)知識(shí)可以是任何可矩陣化形式的內(nèi)容。在智能制造工業(yè)檢測領(lǐng)域，諸如用于檢測軸承缺陷的神經(jīng)網(wǎng)絡(luò)參數(shù)可作為用于檢測圓形注塑件的先驗(yàn)知識(shí)矩陣。

另外，基于知識(shí)的強(qiáng)化學(xué)習(xí)在先驗(yàn)知識(shí)應(yīng)用中有著較大的優(yōu)勢。此類方法在分析預(yù)測方向有較好的表現(xiàn)，因此在工業(yè)檢測領(lǐng)域有巨大的發(fā)展前景。表4給出了4種典型方法。

表4?基于知識(shí)的強(qiáng)化學(xué)習(xí)方法
Table 6?Knowledge-based reinforcement learning method?

方法	特點(diǎn)	典型實(shí)例
專家指導(dǎo)	將專家引入到強(qiáng)化學(xué)習(xí)的智能體學(xué)習(xí)回路中，為智能體提供強(qiáng)化信號(hào)，而后通過監(jiān)督學(xué)習(xí)對該信號(hào)進(jìn)行建模。	Knox和Stone(2009)提出的TAMER框架通過專家做的決策動(dòng)作預(yù)測長遠(yuǎn)的收益，填補(bǔ)了智能體自主學(xué)習(xí)無法預(yù)測深層利益的弊端。
回報(bào)函數(shù)指導(dǎo)	將先驗(yàn)知識(shí)或過程經(jīng)驗(yàn)用以指導(dǎo)設(shè)計(jì)回報(bào)函數(shù)的方法，使回報(bào)函數(shù)更加科學(xué)和有助于收斂，如何準(zhǔn)確地指導(dǎo)設(shè)計(jì)是其中的關(guān)鍵(Mataric，1994)。	Randl?v和Alstr?m(1998)教會(huì)系統(tǒng)學(xué)習(xí)騎自行車，證明了此方法的有效性；Ng等人(1999)利用回報(bào)勢函數(shù)衡量回報(bào)函數(shù)偏差，以衡量指導(dǎo)設(shè)計(jì)是否有效，使得80%的搜索具有目的性，僅20%是隨機(jī)的，在缺乏領(lǐng)域知識(shí)的情況下，仍然無法保證回報(bào)函數(shù)是否設(shè)計(jì)合理。
搜索策略指導(dǎo)	在搜索策略中引入知識(shí)以提高探索能力，根據(jù)領(lǐng)域知識(shí)對Simhash函數(shù)輸入的特征進(jìn)行篩選，對權(quán)重進(jìn)行修改可提高學(xué)習(xí)能力(Tang等，2017)。	Bianchi等人(2008)提出了定量的啟發(fā)式信息選擇動(dòng)作函數(shù)，使千量級的搜索過程降低到100步之內(nèi)，但未給出函數(shù)權(quán)重值的取值依據(jù)和方法。
模仿學(xué)習(xí)	通過模仿一批人類專家的決策軌跡數(shù)據(jù)解決強(qiáng)化學(xué)習(xí)任務(wù)中多步?jīng)Q策搜索空間巨大的問題。	Guo等人(2014)提出了蒙特卡羅樹搜索加神經(jīng)網(wǎng)絡(luò)的方法，進(jìn)行模仿學(xué)習(xí)策略，此方法能通過分類或回歸學(xué)習(xí)符合人類專家決策軌跡的策略模型，但卻因?yàn)橥ㄟ^拖慢節(jié)奏比實(shí)時(shí)慢幾個(gè)數(shù)量級而帶來較大的時(shí)間開銷。

上述研究結(jié)果表明，在先驗(yàn)知識(shí)和深度學(xué)習(xí)結(jié)合的過程中，形成了基于知識(shí)的強(qiáng)化學(xué)習(xí)理論，它的誕生也進(jìn)一步驗(yàn)證了先驗(yàn)知識(shí)在演化算法中應(yīng)用的有效性，這為通過先驗(yàn)知識(shí)提高智能制造工業(yè)檢測效果提供了一個(gè)重要方向。

5 結(jié)語

隨著計(jì)算機(jī)視覺在智能制造領(lǐng)域的深入，它涉及的應(yīng)用將更多更廣，發(fā)揮的作用也越來越大。從理論到應(yīng)用的這一過程中遇到了很多瓶頸問題，如何克服這些難點(diǎn)以及探索更實(shí)用的解決方案將是下一階段需要著重開展的研究工作。

目前針對3個(gè)瓶頸問題的研究方法眾多，可從如下思路進(jìn)一步研究：

1) 針對計(jì)算機(jī)視覺應(yīng)用易受光照影響的問題，可設(shè)計(jì)黑箱式封裝的圖像采集設(shè)備，排除外界光照干擾，安裝在工業(yè)生產(chǎn)線上，從而達(dá)到實(shí)驗(yàn)室級別的檢測環(huán)境，從根本上解決光照影響問題。

2) 針對計(jì)算機(jī)視覺應(yīng)用中樣本數(shù)據(jù)難以支持深度學(xué)習(xí)的問題，可通過小樣本和不平衡樣本處理方法在不降低樣本數(shù)據(jù)質(zhì)量的同時(shí)增大樣本數(shù)據(jù)量，并且結(jié)合傳統(tǒng)方法如模板匹配和相似度檢測來輔助增加檢測準(zhǔn)確率。

3) 針對計(jì)算機(jī)視覺應(yīng)用中先驗(yàn)知識(shí)難以加入演化算法的問題，除了從訓(xùn)練和預(yù)測階段入手，在決策的判斷上也可做基于先驗(yàn)知識(shí)的判定。如在合格率較高的零件檢測中，一些不常見的錯(cuò)誤判定可以根據(jù)先驗(yàn)知識(shí)修改為正確判定，從而提高準(zhǔn)確率。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

下載1

在「3D視覺工坊」公眾號(hào)后臺(tái)回復(fù)：3D視覺，即可下載 3D視覺相關(guān)資料干貨，涉及相機(jī)標(biāo)定、三維重建、立體視覺、SLAM、深度學(xué)習(xí)、點(diǎn)云后處理、多視圖幾何等方向。

下載2

在「3D視覺工坊」公眾號(hào)后臺(tái)回復(fù)：3D視覺github資源匯總，即可下載包括結(jié)構(gòu)光、標(biāo)定源碼、缺陷檢測源碼、深度估計(jì)與深度補(bǔ)全源碼、點(diǎn)云處理相關(guān)源碼、立體匹配源碼、單目、雙目3D檢測、基于點(diǎn)云的3D檢測、6D姿態(tài)估計(jì)源碼匯總等。

下載3

在「3D視覺工坊」公眾號(hào)后臺(tái)回復(fù)：相機(jī)標(biāo)定，即可下載獨(dú)家相機(jī)標(biāo)定學(xué)習(xí)課件與視頻網(wǎng)址；后臺(tái)回復(fù)：立體匹配，即可下載獨(dú)家立體匹配學(xué)習(xí)課件與視頻網(wǎng)址。

重磅！3DCVer-學(xué)術(shù)論文寫作投稿?交流群已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學(xué)術(shù)論文寫作與投稿?微信交流群，旨在交流頂會(huì)、頂刊、SCI、EI等寫作與投稿事宜。

同時(shí)也可申請加入我們的細(xì)分方向交流群，目前主要有3D視覺、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識(shí)別、醫(yī)療影像、缺陷檢測、行人重識(shí)別、目標(biāo)跟蹤、視覺產(chǎn)品落地、視覺競賽、車牌識(shí)別、硬件選型、學(xué)術(shù)交流、求職交流、ORB-SLAM系列源碼交流、深度估計(jì)等微信群。

一定要備注：研究方向+學(xué)校/公司+昵稱，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進(jìn)群。原創(chuàng)投稿也請聯(lián)系。

▲長按加微信群或投稿

▲長按關(guān)注公眾號(hào)

3D視覺從入門到精通知識(shí)星球：針對3D視覺領(lǐng)域的知識(shí)點(diǎn)匯總、入門進(jìn)階學(xué)習(xí)路線、最新paper分享、疑問解答四個(gè)方面進(jìn)行深耕，更有各類大廠的算法工程人員進(jìn)行技術(shù)指導(dǎo)。與此同時(shí)，星球?qū)⒙?lián)合知名企業(yè)發(fā)布3D視覺相關(guān)算法開發(fā)崗位以及項(xiàng)目對接信息，打造成集技術(shù)與就業(yè)為一體的鐵桿粉絲聚集區(qū)，近3000星球成員為創(chuàng)造更好的AI世界共同進(jìn)步，知識(shí)星球入口：

學(xué)習(xí)3D視覺核心技術(shù)，掃描查看介紹，3天內(nèi)無條件退款

?圈里有高質(zhì)量教程資料、可答疑解惑、助你高效解決問題

覺得有用，麻煩給個(gè)贊和在看~??

總結(jié)

以上是生活随笔為你收集整理的详解智能制造中的计算机视觉应用瓶颈问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。