基于深度學(xué)習(xí)的工業(yè)缺陷檢測(cè)方法可以降低傳統(tǒng)人工質(zhì)檢的成本, 提升檢測(cè)的準(zhǔn)確性與效率, 因而在智能制造中扮演重要角色, 并逐漸成為計(jì)算機(jī)視覺領(lǐng)域新興的研究熱點(diǎn)之一. 其被廣泛地應(yīng)用于無(wú)人質(zhì)檢、智能巡檢、質(zhì)量控制等各種生產(chǎn)與運(yùn)維場(chǎng)景中. 本綜述旨在對(duì)工業(yè)缺陷檢測(cè)的任務(wù)定義、難點(diǎn)、挑戰(zhàn)、主流方法、公共數(shù)據(jù)集及評(píng)價(jià)指標(biāo)等進(jìn)行全面歸納, 以幫助研究人員快速了解該領(lǐng)域. 具體而言, 本文首先介紹工業(yè)缺陷檢測(cè)的背景與特點(diǎn). 接著, 按照實(shí)際數(shù)據(jù)標(biāo)注情況, 劃分出缺陷模式已知、缺陷模式未知與少量缺陷標(biāo)注 3 種研究任務(wù)設(shè)置, 并根據(jù)方法類型作進(jìn)一步歸納與分析, 探討了各方法的性能優(yōu)劣與適用場(chǎng)景, 闡明了方法與實(shí)際應(yīng)用需求的關(guān)聯(lián)性. 此外, 本文還歸納了方法部署中的關(guān)鍵輔助技術(shù), 總結(jié)了現(xiàn)有方法在實(shí)際產(chǎn)業(yè)落地中存在的局限性. 最后, 本文對(duì)該領(lǐng)域未來(lái)的發(fā)展趨勢(shì)和潛在研究方向進(jìn)行了展望.

01引言

大到飛機(jī)機(jī)翼, 小到芯片晶粒, 工業(yè)制品在現(xiàn)代社會(huì)中無(wú)處不在. 工業(yè)缺陷檢測(cè), 旨在發(fā)現(xiàn)各種工 業(yè)制品的外觀瑕疵, 是保障產(chǎn)品質(zhì)量、維持生產(chǎn)穩(wěn)定的重要技術(shù)之一. 以往的缺陷檢測(cè)需要人工篩查, 成本高、效率低, 難以覆蓋大規(guī)模的質(zhì)檢需求. 近年來(lái), 隨著工業(yè)成像、計(jì)算機(jī)視覺和深度學(xué)習(xí)等領(lǐng)域 的新技術(shù)層出不窮, 基于視覺的工業(yè)缺陷檢測(cè)技術(shù)得到了長(zhǎng)足的發(fā)展, 成為了針對(duì)產(chǎn)品外觀質(zhì)檢的一 種有效的解決方案, 引發(fā)了學(xué)術(shù)界和工業(yè)界的強(qiáng)烈關(guān)注. 工業(yè)缺陷檢測(cè)不僅可以用于檢測(cè)各種工業(yè)制 品, 如金屬、紡織物、半導(dǎo)體等, 而且具有優(yōu)秀的檢測(cè)精度與效率, 還能提供簡(jiǎn)便、安全的操作環(huán)境. 因此, 工業(yè)缺陷檢測(cè)已成為智能制造領(lǐng)域重要的基礎(chǔ)研究與技術(shù)之一, 并被廣泛應(yīng)用于無(wú)人質(zhì)檢、智能巡檢、生產(chǎn)控制和異常溯源等場(chǎng)景.

《中國(guó)制造 2025》行動(dòng)綱領(lǐng)指出, 建設(shè)制造強(qiáng)國(guó)任務(wù)艱巨而緊迫, 需要加速推進(jìn)信息化與工業(yè)化的深度融合, 推進(jìn)生產(chǎn)過程的智能化. 因此, 基于視覺的工業(yè)缺陷檢測(cè) 不僅具有非常重要的研究?jī)r(jià)值, 同時(shí)也擁有廣闊的應(yīng)用前景. 然而, 相比于一般的目標(biāo)檢測(cè)任務(wù), 工業(yè) 缺陷檢測(cè)面臨著諸多難點(diǎn), 如, 缺陷樣本匱乏、缺陷的可視性低、形狀不規(guī)則、類型未知等, 導(dǎo)致許多 現(xiàn)有方法難以同時(shí)滿足高精度、高速度的任務(wù)需求, 因此在實(shí)現(xiàn)落地應(yīng)用的道路上依然存在大量問題 亟待解決.

由于工業(yè)缺陷可以視為工業(yè)產(chǎn)品的外觀 “異常”, 因此也有部分工業(yè)缺陷檢測(cè)方法采用了異常檢 測(cè)的思路. 然而異常檢測(cè)的定義與工業(yè)缺陷檢測(cè)也有所區(qū)別. 具體而言, 異常檢測(cè)的概念更加廣泛與 抽象, 其中圖像異常檢測(cè)主要關(guān)注輸入圖像是否為異常實(shí)例, 而工業(yè)缺陷檢測(cè)更關(guān)注像素層面的檢出 任務(wù). 在像素層面上, 異常與正常模式的差別更加細(xì)微, 檢測(cè)難度也大幅增加. 因此直接使用異常檢測(cè) 方法難以滿足工業(yè)缺陷檢測(cè)的任務(wù)需求.

近年來(lái), 深度學(xué)習(xí)方法因其在處理背景復(fù)雜、缺陷微弱的工業(yè)圖像時(shí)展現(xiàn)出卓越的性能優(yōu)勢(shì), 逐 漸在該領(lǐng)域占據(jù)主導(dǎo)地位. 鑒于此, 本文對(duì)基于深度學(xué)習(xí)的工業(yè)缺陷檢測(cè)方法進(jìn)行綜述, 旨在幫助研 究人員快速對(duì)該領(lǐng)域的任務(wù)設(shè)置、主流方法、評(píng)價(jià)體系等方面有系統(tǒng)性的了解. 由于該任務(wù)具有較強(qiáng) 的應(yīng)用驅(qū)動(dòng)性, 本文按照實(shí)際情況中數(shù)據(jù)樣本的標(biāo)注與使用情況, 劃分出 3 種任務(wù)設(shè)置: 缺陷模式已 知、缺陷模式未知和少量缺陷標(biāo)注. 特別地, 本文還歸納了促進(jìn)方法落地的關(guān)鍵輔助技術(shù), 其有助于提 升方法的實(shí)用性. 本文關(guān)注各方法間的共性與不同, 按照問題導(dǎo)向逐步剖析其發(fā)展脈絡(luò), 并結(jié)合領(lǐng)域 研究現(xiàn)狀對(duì)未來(lái)發(fā)展趨勢(shì)進(jìn)行展望, 希望幫助研究者們開拓思路.

目前國(guó)內(nèi)外的綜述 [1～5] 大多探討廣義的異常檢測(cè)領(lǐng)域的方法, 試圖涵蓋圖像、視頻、表格和序列 等各種數(shù)據(jù)形式. 文獻(xiàn) [2, 3] 對(duì)基于深度學(xué)習(xí)的異常檢測(cè)方法進(jìn)行了綜合性的歸納與分析, 但缺乏針 對(duì)工業(yè)場(chǎng)景的探討. 文獻(xiàn) [6, 7] 雖然以工業(yè)生產(chǎn)為背景來(lái)綜述, 但主要著眼于傳統(tǒng)方法與系統(tǒng)控制. 文獻(xiàn) [8] 對(duì)基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法進(jìn)行了系統(tǒng)性的歸納, 但主要梳理有監(jiān)督方法. 而近期, 基 于無(wú)監(jiān)督、半監(jiān)督等設(shè)置的研究同樣涌現(xiàn)出許多新的成果, 但目前尚無(wú)相應(yīng)針對(duì)工業(yè)缺陷檢測(cè)領(lǐng)域的全面而細(xì)致的綜述文獻(xiàn). 因此, 本綜述希望填補(bǔ)這一空缺, 并著重對(duì)此類新方法進(jìn)行介紹與總結(jié). 本文后續(xù)內(nèi)容的組織如下: 第 2 節(jié)介紹工業(yè)缺陷檢測(cè)問題的定義, 分析研究難點(diǎn)與挑戰(zhàn); 第 3 節(jié) 基于3種任務(wù)設(shè)置介紹近年主流的工業(yè)缺陷檢測(cè)方法, 并按照方法的設(shè)計(jì)原理進(jìn)一步歸納與分析; 第 4 節(jié)梳理針對(duì)實(shí)際部署的關(guān)鍵輔助技術(shù); 第 5 節(jié)介紹常用的公開數(shù)據(jù)集與評(píng)價(jià)指標(biāo), 并比較典型方法 的性能; 最后, 第 6 節(jié)總結(jié)了當(dāng)前研究的狀況與局限性, 并對(duì)未來(lái)發(fā)展趨勢(shì)與潛在研究方向進(jìn)行展望.

02問題定義與研究現(xiàn)狀

2.1 問題定義

基于視覺的工業(yè)缺陷檢測(cè)旨在發(fā)現(xiàn)織物、芯片、藥品乃至基建材料等各種工業(yè)制品的外觀可見缺 陷. 這些缺陷雖然微小, 卻可能嚴(yán)重危害產(chǎn)品的正常功能. 它們可能發(fā)生在工業(yè)產(chǎn)品的生命周期中任何時(shí)期, 如產(chǎn)品的生產(chǎn)、運(yùn)輸與使用過程等. 缺陷 (defect) 的概念可類比到異常 (anomaly). 異常指超出預(yù)期模式范圍的數(shù)據(jù)[1] , 目前已有大量工作對(duì)其進(jìn)行定義與歸類 [1～5, 9, 10] . 通常學(xué)者根據(jù)數(shù)據(jù)之間是否存在上下文關(guān)系, 將異常分為點(diǎn)異常、 上下文異常和集群異常 [1, 5, 10] .

如圖 1(a) 所示, 點(diǎn)異常又稱為離群值 (outliers) [9] , 描述數(shù)值上偏離正常樣本的獨(dú)立數(shù)據(jù); 上下文異常同樣描述數(shù)據(jù)點(diǎn), 其數(shù)值屬于正常范圍, 但不符合局部上下文規(guī)律; 集群異常描述一系列相關(guān)數(shù)據(jù)的集合, 集合中的每一個(gè)實(shí)例的數(shù)值在單獨(dú)考察時(shí)都處于正常值域, 但集合整體的相關(guān)性特征不服從正常模式. 具體到圖像數(shù)據(jù), 文獻(xiàn) [5] 根據(jù)異常是否存在明顯的語(yǔ)義性將圖像異常分為低級(jí)紋理異常和高級(jí)語(yǔ)義異常.

與異常相近的概念還包括新穎點(diǎn) (novelty) 和分布外數(shù)據(jù) (out-of-distribution, OOD) [4] . 在圖 1(b) 所示的圖像分類任務(wù)中, 基于白貓樣本定義貓類. 白狗即 使顏色相近, 但因語(yǔ)義類別不同而屬于離群值; 黑貓屬于貓類, 語(yǔ)義類別相同, 但其顏色屬性未在訓(xùn)練 集中出現(xiàn)過, 而屬于新穎點(diǎn); OOD 則關(guān)注數(shù)據(jù)集合的分布差異, 文本數(shù)據(jù)集與自然場(chǎng)景中貓的數(shù)據(jù)集 的分布呈現(xiàn)出明顯差異. 類似地, 如圖 1(c) 所示, 工業(yè)缺陷檢測(cè)中, 正常樣本包括多類產(chǎn)品, 缺陷可被 視為其外觀上的 “異常”. 不同的是, 工業(yè)缺陷往往出現(xiàn)在圖像中的小部分區(qū)域, 顯著程度更低, 且語(yǔ)義 概念模糊. 因而, 一般的圖像異常檢測(cè)往往僅需區(qū)分正常與異常樣本, 而工業(yè)缺陷檢測(cè)更關(guān)注于檢測(cè)圖像中的異常像素. 在實(shí)際工業(yè)場(chǎng)景中, 缺陷的定義更加主觀, 因而學(xué)者們?cè)噲D尋求其與異常檢測(cè)的 關(guān)聯(lián). 考慮到上述幾種任務(wù)的相似性, 在部分缺陷檢測(cè)方法中也采用了異常檢測(cè)、新穎點(diǎn)檢測(cè)與 OOD 檢測(cè)的思路. 例如, 單獨(dú)考慮缺陷的像素值, 可類比為新穎點(diǎn)或離群值; 考慮像素間的關(guān)聯(lián)時(shí), 又可將 其類比上下文異常或集群異常.

雖然缺陷通常屬于未知模式, 但仍然可以從已有的缺陷樣本中發(fā)現(xiàn)一定的共性, 因此總結(jié)缺陷與 背景的類型有助于針對(duì)性地設(shè)計(jì)檢測(cè)方法. 如圖 2 所示, 依據(jù)缺陷出現(xiàn)的位置與表現(xiàn)形式, 本文將工業(yè)缺陷分為表面缺陷與結(jié)構(gòu)缺陷.

表面缺陷主要出現(xiàn)在產(chǎn)品表面的局部位置, 通常表現(xiàn)在紋理突變、異狀區(qū)域、反規(guī)律模式或錯(cuò)誤的圖案. 例如, 表面裂紋、色塊、織物的稀織以及商標(biāo)文字的印刷錯(cuò)誤等. 根據(jù)缺陷區(qū)域的像素值與周圍背景的差異性可將其類比為離群值或集群異常: 離群值型缺陷的像素值通常與正常圖像具有明顯差異; 集群異常型缺陷的像素值與周圍正常區(qū)域?qū)儆谕环秶? 因而更難被發(fā)現(xiàn).

結(jié)構(gòu)缺陷主要是由產(chǎn)品整體的結(jié)構(gòu)錯(cuò)誤所致, 包括形變、錯(cuò)位、缺損與污染. 例如鐵絲的彎曲、二極管的邊緣缺損或處于錯(cuò)誤的位置等. 相應(yīng)地, 根據(jù)是否包含產(chǎn)品整體結(jié)構(gòu), 背景可分為紋理類 與物體類. 紋理類聚焦產(chǎn)品的局部表面, 按照復(fù)雜程度依次劃分為簡(jiǎn)單紋理、規(guī)則紋理與無(wú)規(guī)則紋理. 物體類包含產(chǎn)品整體, 結(jié)構(gòu)更加復(fù)雜, 且存在產(chǎn)品之外的背景干擾. 此時(shí), 不僅需要考慮表面缺陷, 也 要考慮結(jié)構(gòu)缺陷. 可見, 在不同的背景上, 不同種類的缺陷微弱程度不同. 即使是同種缺陷的不同實(shí)例之間, 可視性也可能有較大差異.

根據(jù)輸出結(jié)果粒度的不同, 工業(yè)視覺缺陷檢測(cè)任務(wù)一般包括分類和定位. 如圖 3 所示, 對(duì)于一個(gè) 待測(cè)圖像實(shí)例, 分類任務(wù)首先將其二分類為正常樣本或缺陷樣本; 當(dāng)缺陷類型已知時(shí), 還可進(jìn)一步對(duì)缺陷類型進(jìn)行判別, 例如, 織物上可能存在穿線、異色等多種缺陷. 定位任務(wù)的目標(biāo)是找到缺陷在圖像 中的具體區(qū)域, 根據(jù)缺陷區(qū)域的描述方式可分為檢測(cè) (檢測(cè)框) 與分割 (像素級(jí)). 事實(shí)上, 上述任務(wù)有 時(shí)是可以同時(shí)進(jìn)行的, 例如, 在分類模型上利用可視化方法 [11～13] 可實(shí)現(xiàn)像素級(jí)的定位, 分割結(jié)果同 樣可以用來(lái)判斷整圖的分類. 由于工業(yè)缺陷的形狀不規(guī)則、尺寸變化較大, 檢測(cè)框難以精確表示缺陷 的位置, 而且容易引入較多無(wú)關(guān)的背景信息, 對(duì)缺陷檢測(cè)性能的評(píng)估造成麻煩. 因而, 在實(shí)際的缺陷定 位任務(wù)中, 研究者們更關(guān)注缺陷分割方法. 鑒于此, 本文將重點(diǎn)論述分類與分割任務(wù)的工作。

2.2 研究概述

工業(yè)缺陷檢測(cè)長(zhǎng)期以來(lái)都是工業(yè)視覺領(lǐng)域最重要的研究之一. 近年來(lái), 隨著深度學(xué)習(xí)在計(jì)算機(jī)視 覺任務(wù)中的普及, 基于深度學(xué)習(xí)的工業(yè)缺陷檢測(cè)方法也得到了飛速發(fā)展, 并逐漸占據(jù)主流. 得益于卷 積神經(jīng)網(wǎng)絡(luò) (convolutional neural network, CNN) 強(qiáng)大的特征提取能力與對(duì)高維數(shù)據(jù)的表征能力, 基于深度學(xué)習(xí)的方法可以自動(dòng)學(xué)習(xí)人工難以設(shè)計(jì)的特征, 不僅節(jié)約了手工設(shè)計(jì)特征的成本, 還令檢測(cè)精度大幅提高. 相比基于圖像處理與統(tǒng)計(jì)學(xué)習(xí)的傳統(tǒng)方法, 它更擅長(zhǎng)處理復(fù)雜的工業(yè)圖像數(shù)據(jù).

本文將近年國(guó)內(nèi)外工業(yè)缺陷檢測(cè)領(lǐng)域的熱點(diǎn)研究進(jìn)展組織為圖 4 所示的結(jié)構(gòu). 檢測(cè)算法依據(jù)實(shí)際工業(yè)場(chǎng)景中數(shù)據(jù)情況的不同, 被分為缺陷模式已知、缺陷模式未知與少量缺陷標(biāo)注 3 種設(shè)置. 缺陷模式已知時(shí), 一般采用有監(jiān)督深度學(xué)習(xí)方法, 需要充足而精確的樣本標(biāo)注, 可以從分類、檢測(cè)與分割 3 種角度進(jìn)行方法設(shè)計(jì). 缺陷模式未知時(shí), 一般采用無(wú)監(jiān)督深度學(xué)習(xí)方法構(gòu)造比較對(duì)象. 根據(jù)比較對(duì)象維度的不同, 可分為在圖像維度與在特征維度比較相似度, 并基于方法的原理進(jìn)一步細(xì)分. 少量缺陷標(biāo)注的場(chǎng)景貼 近實(shí)際工業(yè)情況, 訓(xùn)練集中包含比例不均衡正負(fù)樣本, 且只有少量的缺陷樣本具有精確或不精確的標(biāo)注. 此時(shí), 根據(jù)具體的數(shù)據(jù)標(biāo)注情況, 分別采用小樣本、半監(jiān)督和弱監(jiān)督等新興方法來(lái)處理, 近年來(lái)這些方法也逐漸得到學(xué)術(shù)界與工業(yè)界的高度重視. 自監(jiān)督學(xué)習(xí)屬于無(wú)監(jiān)督學(xué)習(xí)的一種, 其從無(wú)標(biāo)注數(shù)據(jù) 中挖掘自身的監(jiān)督信息, 最近也在工業(yè)缺陷檢測(cè)領(lǐng)域得到了廣泛的應(yīng)用.

因此, 本文從構(gòu)建監(jiān)督信息的角度對(duì)自監(jiān)督方法予以歸納. 輔助技術(shù)主要用于提升檢測(cè)方法的實(shí)用性, 本文主要從 3 個(gè)角度討論. 數(shù)據(jù)增強(qiáng)與合成為數(shù)據(jù)貪婪的檢測(cè)模型提供足夠的訓(xùn)練集; 模型壓縮與加速技術(shù)面向落地使用中的低 存儲(chǔ)開銷與實(shí)時(shí)性需求; 閾值設(shè)置旨在找到推理階段最合適的分類邊界.

03檢測(cè)算法

3.1 缺陷模式已知

在許多實(shí)際工業(yè)場(chǎng)景中, 大部分缺陷的類型已事先經(jīng)過專業(yè)的統(tǒng)計(jì)與歸納, 因而在方法設(shè)計(jì)時(shí)可 以利用缺陷的特征直接檢測(cè), 或者利用先驗(yàn)知識(shí)搜集、標(biāo)注數(shù)據(jù)集來(lái)訓(xùn)練模型. 基于有監(jiān)督設(shè)置的深度學(xué)習(xí)方法已經(jīng)在許多視覺任務(wù)上取得了較為成熟的發(fā)展與應(yīng)用. 當(dāng)缺陷種 類已知且具有充足的標(biāo)注樣本, 或者需要解決缺陷種類的多分類問題時(shí), 工業(yè)缺陷檢測(cè)往往采用有監(jiān)督方法. 這些方法大多是將已有的通用目標(biāo)的分類、檢測(cè)、分割模型應(yīng)用于工業(yè)場(chǎng)景, 并根據(jù)實(shí)際情況中缺陷的微弱性與模型的速度需求進(jìn)行微調(diào).

有監(jiān)督的方法可以解決缺陷多分類的問題, 適合于大部分缺陷的類型已知或缺陷特點(diǎn)鮮明的情況. 盡管需要高昂的標(biāo)注成本, 但是此類方法在樣本充足的情況下具有優(yōu)良的性能, 并已在部分實(shí)際應(yīng)用 中檢驗(yàn)了方法的有效性. 現(xiàn)有方法在簡(jiǎn)單規(guī)則的工業(yè)場(chǎng)景中已較為成熟, 而對(duì)于復(fù)雜背景及無(wú)規(guī)則微 弱缺陷的檢測(cè)仍有發(fā)展空間. 然而, 面對(duì)樣本匱乏、缺陷模式未知的情況時(shí), 有監(jiān)督方法本身依然存在不足.

3.2 缺陷模式未知

在實(shí)際情況中, 含有缺陷的樣本極難獲取. 面對(duì)缺陷的未知性與無(wú)規(guī)則性, 基于缺陷先驗(yàn)知識(shí)的 方法存在較大的局限性. 因此, 無(wú)監(jiān)督的設(shè)置已經(jīng)引起了廣泛重視. 此類方法大多借鑒異常檢測(cè)的思 路, 對(duì)易于獲取與描述的正常樣本進(jìn)行建模. 缺陷被定義為正常范圍之外的模式.

無(wú)監(jiān)督設(shè)置下的任務(wù)目標(biāo)通常是判斷待測(cè)樣本是否包含缺陷, 或?qū)θ毕輩^(qū)域進(jìn)行定位, 此時(shí)定位結(jié)果的輸出一般是像素級(jí)的分割結(jié)果. 基于無(wú)監(jiān)督設(shè)置的深度學(xué)習(xí)方法僅需要易于獲取的正常樣本用于模型訓(xùn)練, 無(wú)需使用真實(shí)缺陷樣本. 其不僅能解決有監(jiān)督深度學(xué)習(xí)方法無(wú)法發(fā)現(xiàn)未知缺陷的問題, 而且擁有比傳統(tǒng)方法更強(qiáng)的對(duì)圖像特征的表達(dá)能力, 因而成為了當(dāng)今的研究熱點(diǎn). 此類方法的核心思想是構(gòu)建出一個(gè)與待測(cè)樣本最相近 的 “模板” 與之比較, 根據(jù)像素或特征的差異性實(shí)現(xiàn)缺陷的檢出與定位. 根據(jù)比較維度的不同, 本文將 方法劃分為基于圖像相似度的方法與基于特征相似度的方法.

3.3 少量缺陷標(biāo)注

實(shí)際工業(yè)場(chǎng)景的情況往往介于上述兩種設(shè)置之間. 不僅可以獲得相對(duì)充分的正常樣本, 還可以事 先收集少量缺陷樣本, 并進(jìn)行標(biāo)注. 即使缺陷樣本只有粗粒度的標(biāo)注也能為檢測(cè)性能帶來(lái)提升, 因此 純粹的有監(jiān)督與無(wú)監(jiān)督方法均難以充分利用提供的數(shù)據(jù), 而不是最佳的解決方案. 此時(shí), 面對(duì)樣本稀少、數(shù)據(jù)不均衡、標(biāo)注不精確等問題, 研究者們嘗試基于小樣本、半監(jiān)督和弱監(jiān)督的設(shè)置來(lái)設(shè)計(jì)更加合理的方法.

04輔助技術(shù)

檢測(cè)方法設(shè)計(jì)不僅要考慮方法本身的檢測(cè)精度, 還需要根據(jù)實(shí)際情況, 利用一些輔助技術(shù)幫助其 投入產(chǎn)業(yè)使用. 對(duì)此, 本文主要綜述 3 種關(guān)鍵的輔助技術(shù): 數(shù)據(jù)擴(kuò)增旨在利用合成等手段增加樣本的 多樣性, 以提升有監(jiān)督和自監(jiān)督方法的性能; 輕量化技術(shù)關(guān)注模型在實(shí)際部署時(shí)的時(shí)間與空間復(fù)雜度, 幫助模型在低功耗設(shè)備上達(dá)到實(shí)時(shí)檢測(cè)的水平; 閾值設(shè)置是區(qū)分正常與異常樣本的關(guān)鍵, 合適而可控 的閾值設(shè)置有助于方法實(shí)現(xiàn)較高的實(shí)際性能。

05數(shù)據(jù)集與性能評(píng)估

5.1 常用數(shù)據(jù)集

當(dāng)前常被用于工業(yè)缺陷檢測(cè)研究的數(shù)據(jù)集如表 3 [19, 30, 39, 173～182]1)所示. 本文具體介紹近年提出的契合不同任務(wù)設(shè)置的典型數(shù)據(jù)集.

5.2 評(píng)價(jià)指標(biāo)

由于分類與分割通常在工業(yè)缺陷檢測(cè)中具有較大的實(shí)用價(jià)值, 本文主要介紹這兩類任務(wù)的評(píng)價(jià) 指標(biāo). 分類的性能通常采用準(zhǔn)確率 (accuracy)、精確率 (precision) 和召回率 (recall) 進(jìn)行評(píng)估. 準(zhǔn)確率指所有預(yù)測(cè)正確的類占全部的比重; 精確率也被稱查準(zhǔn)率, 指預(yù)測(cè)為缺陷的樣本中正確預(yù)測(cè)所占的比例; 召回率也被稱為查全率、真陽(yáng)性 率 (true positive rate, TPR), 指所有缺陷中被正確檢出的比例. 在實(shí)際應(yīng)用中, 往往還會(huì)關(guān)注誤檢率 (false drop rate, FPR) 與漏檢率 (false negatives rate, FNR), 它們衡量模型的不足之處。像素級(jí)缺陷定位的任務(wù)可視為前景與背景的兩類分割問題. 當(dāng)輸出的異常分?jǐn)?shù)圖是表示對(duì)應(yīng)像素 為缺陷概率的熱力圖時(shí), 需要對(duì)其設(shè)定相應(yīng)閾值獲得二值化分割結(jié)果. 因此, 分割指標(biāo)也可分為固定 閾值的指標(biāo)和與閾值無(wú)關(guān)的指標(biāo)。

06總結(jié)與展望

6.1 總結(jié)

作為工業(yè)視覺的核心技術(shù), 基于視覺的工業(yè)缺陷檢測(cè)因其廣泛而重要的應(yīng)用價(jià)值, 逐漸成為炙手 可熱的新興研究問題之一. 近年來(lái)已經(jīng)涌現(xiàn)出大量的新理論和新方法, 并已逐漸投入實(shí)際產(chǎn)業(yè). 本文對(duì) 該領(lǐng)域的任務(wù)定義、研究難點(diǎn)、檢測(cè)方法、輔助技術(shù)、常用公開數(shù)據(jù)集、評(píng)價(jià)指標(biāo)與典型方法性能等 進(jìn)行了綜合梳理, 重點(diǎn)綜述了深度學(xué)習(xí)方法的重要進(jìn)展然而, 盡管目前工業(yè)缺陷檢測(cè)方法已在部分工業(yè)數(shù)據(jù)上表現(xiàn)出較高的性能, 但現(xiàn)有研究依然存在 很大的局限性, 限制了相關(guān)方法的進(jìn)一步研究與落地.

6.1.1 更貼近實(shí)際的任務(wù)設(shè)置

基于有監(jiān)督的缺陷檢測(cè)方法已逐漸趨于成熟, 展現(xiàn)出了優(yōu)越的性能. 但是有監(jiān)督方法依賴于大規(guī) 模帶有精確標(biāo)注數(shù)據(jù)的支持, 而數(shù)據(jù)的搜集與標(biāo)注過程成本高昂, 使之無(wú)法與實(shí)際工業(yè)場(chǎng)景完全吻合. 同時(shí), 有監(jiān)督方法無(wú)法處理新類別缺陷的檢測(cè)問題. 無(wú)監(jiān)督方法雖然大大降低了數(shù)據(jù)標(biāo)注的需求, 也 能檢測(cè)未知型缺陷, 但是在定位性能與可解釋性方面仍然無(wú)法替代有監(jiān)督方法. 在實(shí)際生產(chǎn)環(huán)境中, 少量缺陷標(biāo)注的情況更加常見. 用戶不僅可以提供大量的正常樣本, 同時(shí)也 能提供少量具有精確或粗糙標(biāo)注的缺陷樣本. 相比于上述兩種設(shè)置, 小樣本、半監(jiān)督和弱監(jiān)督的方法 更加貼合工業(yè)場(chǎng)景, 可以更加充分地利用資源, 因而其關(guān)注度迅速增加. 目前, 這些方法仍然處于發(fā)展 的初期, 仍有待進(jìn)一步的研究與發(fā)展.

6.1.2 缺乏完備的數(shù)據(jù)集

數(shù)據(jù)集是深度學(xué)習(xí)方法研究的基礎(chǔ). 目前常用于工業(yè)缺陷檢測(cè)任務(wù)的數(shù)據(jù)集主要存在著背景類型 單一、缺陷種類單一等不足, 無(wú)法模擬現(xiàn)實(shí)中復(fù)雜的檢測(cè)場(chǎng)景. 在實(shí)際工業(yè)生產(chǎn)過程中, 所拍攝的產(chǎn)品 圖像也可能來(lái)源于不同的成像條件、不同的拍攝角度或者不同制程, 在同一產(chǎn)品上也會(huì)出現(xiàn)不同類型 的缺陷. 構(gòu)建更貼近實(shí)際工業(yè)場(chǎng)景與任務(wù)設(shè)置的數(shù)據(jù)集不僅有助于更加實(shí)用的算法的開發(fā), 也有助于 算法實(shí)際部署. 例如, 多重成像的數(shù)據(jù)集可以將在一種成像條件下難以被發(fā)現(xiàn)的缺陷在另一成像中凸 顯, 從而給缺陷發(fā)現(xiàn)帶來(lái)了便利. 工業(yè)缺陷檢測(cè)方法在無(wú)人巡檢、異常溯源等延伸性工作的性能也需 要經(jīng)過相應(yīng)數(shù)據(jù)集的檢驗(yàn). 因此, 新數(shù)據(jù)集的建立與完善也非常重要, 只有構(gòu)造出合適的數(shù)據(jù)集, 才能 支撐各種新場(chǎng)景、新任務(wù)和新設(shè)置下方法的發(fā)展.

6.2 展望

除了上述總結(jié)的目前研究中的不足, 該領(lǐng)域還有許多極具潛力的研究方向有待進(jìn)一步探索.

6.2.1 神經(jīng)架構(gòu)搜索

現(xiàn)有的基于深度學(xué)習(xí)的方法大多依靠手工設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò), 依照經(jīng)驗(yàn)設(shè)置超參數(shù). 因此, 現(xiàn)有 的模型結(jié)構(gòu)可能并非面向工業(yè)缺陷檢測(cè)的最優(yōu)解. Rippel 等 [132] 比較了多種基礎(chǔ)網(wǎng)絡(luò)對(duì)模型性能的 影響, 其中基于自動(dòng)機(jī)器學(xué)習(xí) (automated machine learning, AutoML) 獲得的 EfficientNet [187] 的性能 優(yōu)于人工設(shè)計(jì)的 ResNet [188] . EfficientNet 高效的網(wǎng)絡(luò)結(jié)構(gòu)與 Swish 激活函數(shù)被認(rèn)為是提升性能的主要原因. 相比于其他通用的視覺檢測(cè)任務(wù), 大部分工業(yè)視覺的使用場(chǎng)景更加具體, 利用神經(jīng)架構(gòu)搜索 (neural architecture search, NAS) 的方法自動(dòng)搜索針對(duì)特定任務(wù)場(chǎng)景的最優(yōu)模型是一種可行的解決方案, 不僅有助于彌補(bǔ)人工經(jīng)驗(yàn)設(shè)置的不足, 還能提升模型的效率. AutoOD [189] 基于 NAS 搜索 AE 架 構(gòu)的模型參數(shù), 實(shí)現(xiàn)了優(yōu)于手工模型的檢測(cè)性能. 然而, 目前 NAS 在無(wú)監(jiān)督與半監(jiān)督設(shè)置中的應(yīng)用尚 少, 未來(lái)可能在工業(yè)視覺領(lǐng)域的相關(guān)任務(wù)上得到發(fā)展.

6.2.2 Transformer 的應(yīng)用

近年來(lái), Transformer 模型 [190] 被引入到計(jì)算機(jī)視覺領(lǐng)域, 并在多種視覺任務(wù)上展現(xiàn)出優(yōu)越的性 能[191～195] . 相比于 CNN 關(guān)注局部特征關(guān)系, 視覺 Transformer 利用注意力機(jī)制, 可以建模圖像中的長(zhǎng)距離關(guān)系. Xie 等 [196] 將高效的 Swin Transformer[194] 改進(jìn)后用于有監(jiān)督的太陽(yáng)能電池板的缺陷檢測(cè).其增加窗間注意力來(lái)增強(qiáng)全局語(yǔ)義特征的提取, 用多尺度聚合模塊結(jié)合不同層級(jí)的特征, 實(shí)現(xiàn)了較高的分類性能.

然而, Transformer 模型的性能優(yōu)勢(shì)通常需要足夠的訓(xùn)練數(shù)據(jù)支撐, 而大部分工業(yè)缺陷檢測(cè)場(chǎng)景難以獲取充足的缺陷數(shù)據(jù). 因此, 研究者們嘗試在無(wú)監(jiān)督設(shè)置下引入 Transformer, 一般將其用于基于圖像相似度的方法. Mishra 等 [180] 將基于圖像重建模型的編碼器改為 Transformer 結(jié)構(gòu), 以增強(qiáng)全局特征的提取能力. 同時(shí), 用 GMM 對(duì) Transformer 的編碼結(jié)果進(jìn)行密度估計(jì). 在測(cè)試階段, 根據(jù) GMM 對(duì)圖像塊的密度估計(jì)結(jié)果進(jìn)行缺陷定位, 同時(shí)結(jié)合重建誤差實(shí)現(xiàn)圖像級(jí)分類. Pirnay 等 [157] 認(rèn)為在基于圖像復(fù)原任務(wù)的缺陷檢測(cè)方法 [114] 中, 長(zhǎng)距離信息有利于高質(zhì)量的圖像復(fù)原, 從而提升缺陷分割能力, 因而將 CNN 替換為 Transformer, 根據(jù)周圍信息來(lái)復(fù)原圖像塊, 最終根據(jù)重建誤差進(jìn)行缺陷分割. Pinaya 等 [197] 首先訓(xùn)練 VQ-VAE [198] 對(duì)圖像進(jìn)行離散編碼, 然后利用多個(gè)高效的 Transformer 模型 Performer [195] 對(duì)不同順序的離散編碼進(jìn)行自回歸建模. 最終基于重建誤差和隱空間編碼的似然 進(jìn)行異常分割, 從而減少誤檢.

Transformer 具有全局關(guān)系建模的能力, 且具有更好的可解釋性 [199] . 但是其對(duì)計(jì)算資源的需求也 相應(yīng)增大, 對(duì)工業(yè)場(chǎng)景的低開銷需求提出挑戰(zhàn). 目前也有相關(guān)工作繼續(xù)在高效 Transformer 模型[194, 195] 與小數(shù)據(jù)集 [199] 的應(yīng)用上進(jìn)行探索. 盡管目前 Transformer 在工業(yè)缺陷檢測(cè)領(lǐng)域的實(shí)用性還尚未得到 充分探索, 但現(xiàn)有研究已經(jīng)指出了 Transformer 的潛力.

6.2.3 多重成像與多模態(tài)

早期的工業(yè)缺陷檢測(cè)方法利用光學(xué)方法提升缺陷的顯著性, 從而使其易于被檢出. 事實(shí)上, 工業(yè) 缺陷的種類千差萬(wàn)別, 可能存在各自適合的成像方式, 因此, 利用不同成像條件的差異產(chǎn)生區(qū)分力是 一個(gè)具有潛力的方案. 在實(shí)際場(chǎng)景下, 紅外線、X 射線等其他成像方式可能適合特定產(chǎn)品的質(zhì)檢任務(wù); 結(jié)構(gòu)光、激光等方式獲得的 3D 信息還能進(jìn)一步提升產(chǎn)品結(jié)構(gòu)性缺陷的表達(dá)能力. 目前大部分的方法 僅關(guān)注于單一的 RGB、灰度圖像或其他成像形式的輸入. 為了綜合不同成像條件的感知能力, 模型可 以進(jìn)一步考慮融合多模態(tài)數(shù)據(jù)的特征來(lái)增強(qiáng)檢測(cè)性能, 以應(yīng)對(duì)更復(fù)雜的場(chǎng)景.

6.2.4 更具可解釋性的方法

盡管深度學(xué)習(xí)極大地促進(jìn)了工業(yè)缺陷檢測(cè)的發(fā)展, 新興的方法擁有卓越的檢測(cè)性能, 但是不少方 法仍缺乏完備的可解釋性. 許多基于無(wú)監(jiān)督的方法還依賴大量的經(jīng)驗(yàn)性假設(shè). 對(duì)模型解釋性的研究不 僅有助于人們理解模型工作機(jī)制, 還能促進(jìn)新型方法的研發(fā). 從輔助人工檢測(cè)的角度而言, 建立人機(jī) 互信在實(shí)際應(yīng)用落地的推進(jìn)中至關(guān)重要. 因此, 置信度預(yù)測(cè) [200] 和模型可視化等模型理解的研究不只 在工業(yè)缺陷檢測(cè)領(lǐng)域, 也在整個(gè)人工智能領(lǐng)域極具意義.

6.2.5 在線學(xué)習(xí)與聯(lián)邦學(xué)習(xí)

現(xiàn)有方法大多采用離線學(xué)習(xí)的方法, 即預(yù)先根據(jù)對(duì)應(yīng)所給數(shù)據(jù)集訓(xùn)練模型, 然后部署到產(chǎn)線中. 但 由于訓(xùn)練初期通常缺乏有標(biāo)簽的缺陷樣本, 部署時(shí)模型的實(shí)際性能難達(dá)最佳. 在實(shí)際應(yīng)用中, 產(chǎn)線可 以不斷地提供新樣本, 也可能發(fā)現(xiàn)新的缺陷類型. 因此, 運(yùn)用在線學(xué)習(xí)的方法對(duì)模型進(jìn)行快速實(shí)時(shí)的 調(diào)整也將成為后續(xù)研究與應(yīng)用的重點(diǎn)之一. 由于某些產(chǎn)品及其缺陷存在一定的共性特征, 結(jié)合不同生 產(chǎn)線上的樣本有助于充分訓(xùn)練與調(diào)整模型. 考慮到工業(yè)數(shù)據(jù)往往容易涉及隱私問題, 引入聯(lián)邦學(xué)習(xí)的 框架有助于在保障各個(gè)合作者隱私安全的前提下, 有效地結(jié)合各方的樣本數(shù)據(jù).

審核編輯：湯梓紅