1、摘 要

缺陷檢測是工業產品處理中的一項重要任務。當前，已經有很多基于計算機視覺技術的檢測方法成功應用于工業領域并取得了較好的檢測結果。然而，受限于類間表面缺陷的內在復雜性，使得實現完全自動的缺陷檢測仍然面臨巨大挑戰。雖然，類間缺陷包含相似的部分，但是缺陷的表面仍然存在較大的不同。為了解決這個問題，論文提出了一種金字塔特征融合與全局上下文注意力網絡的逐像素表面缺陷檢測方法，并命名為PGA-Net。在這個框架中，首先從骨干網絡提取多尺度特征。然后，使用金字塔特征融合模塊，通過一些有效的跳連接操作將5個不同分辨率的特征進行融合。最后，再將全局上下文注意模塊應用于相鄰分辨率的融合特征，這使得有效信息從低分辨率融合特征圖傳播到高分辨率融合特征圖。另外，在框架中還加入邊界細化模塊，細化缺陷邊界，提高預測結果。實驗結果證明，所提方法在聯合平均交點和平均像素精度方面優于對比方法。

2、引 言

質量是制造過程中的一個重要組成部分。為了滿足日益增長的需求，必須在確保產品生產質量的同時提高生產效率。其中，表面缺陷檢測是控制工業產品質量的關鍵步驟。由于缺陷的復雜性，自動缺陷檢測任務面臨三大挑戰：1）低對比度：在工業生產中，粉塵的存在和光照的變化導致圖像中缺陷與背景的對比度低。如圖1（a）所示，標簽紅色方框中的缺陷幾乎不可見；2）類內差異：與其他應用不同，在工業生產中，缺陷的形狀是不規則的。如圖1（b）所示，同類缺陷的不同尺度差異較大；3）類間相似性：由于生產過程的不確定性，一些不同類型的缺陷差異很小。如圖1（c）所示，不同類型的缺陷（在黃色和藍色框中），它們在紋理和灰度信息上非常相似。

圖1. 工業缺陷檢測面臨的挑戰 （a）低對比度缺陷; （b）類內較大差異缺陷; （c）類間相似缺陷

得益于計算機視覺技術的快速發展，上述問題已經逐漸得到處理。例如，曲率濾波和高斯混合模型被應用到鋼軌表面缺陷檢測?；谀０迤ヅ涞姆椒蓱糜阡摪灞砻嫒毕輽z測。近年來，其它基于手工特征的方法也被用于工業應用（如太陽能電池組件、金屬、鋼鐵）的缺陷檢測，并取得了良好的效果。然而，這些方法都是研究人員利用人為手工設定的特征去實現缺陷檢測，而這種手工設計的特征并具有普遍性。

目前，基于CNN的檢測方法已廣泛應用于工業缺陷檢測，通過設計不同的網絡模型來完成缺陷檢測。例如，針對低對比度場景，模型需要有效地利用目標的特征來區分目標與背景的差異。此外，在CNN不同層的特征對目標的敏感性也不同。低層特征具有較高的分辨率，可以生成清晰、詳細的邊界，但上下文信息較少。高層特征具有較抽象的語義信息，擅長進行類別分類，但形狀和位置信息較弱。大多數深度學習方法主要集中在從網絡深層提取高層特征。由于缺乏從淺層提取的低層特征（如邊界、紋理和灰度信息），導致預測效果不佳。為此，論文利用骨干網各階段最后一個卷積層提取的特征，包括低級粗特征和高級語義特征。對于類內差異，模型需要對各種變化（如形狀、比例和紋理）保持不變形。目前，大多數基于全卷積網絡的方法都是通過擴大感受野來覆蓋整個缺陷，以實現對物體變化的感知。例如，通過在骨干網絡中引入擴張卷積可以增強模型對特征變化的感知，但是這種方法會導致網格偽影。又如，采用不同池核的金字塔池化模塊對骨干網不同尺度下提取的特征進行融合，但池化會造成信息的丟失。針對這些問題，論文提出一種金字塔特征融合模塊，該模塊利用多尺度卷積（不同大小的核）對上次卷積后的特征圖進行加權，從而獲得不同階段的上下文信息，然后將這些提取的相同分辨率的特征在每個階段進行融合。這樣既避免了網格化的偽影和信息的缺失，又充分提取了上下文信息。同時，使用與卷積核寬度相同大小的條帶不會帶來較大的計算量。對于類間相似性，模型還需要實現對圖像中不同類別對象的整體感知（包括它們之間的聯系和區別），實現每個像素所需分類的正確位置。為此，研究人員將高層特征直接上采樣，然后與低層特征融合，但是計算效率較低。或者，通過獲取多個上下文信息，并對特征進行從高層到低級的聚合，以細化特征細節，但會產生大量的參數。為了解決這個問題，論文在相鄰分辨率融合圖中加入全局上下文關注模塊，從低分辨率融合圖中提取全局上下文信息，然后對高分辨率融合圖進行加權，細化像素種類的空間位置。這樣既保證了信息的有效傳播又不增加計算量。

3、方法設計

A.模型概述

在本文中，表面缺陷檢測被當做是逐像素問題，所提網絡模型結構包括五個主要部分：1）多級特征提取；2）金字塔特征融合模塊；3）全局上下文注意力模塊；4）邊界細化塊；5）深度監督，網絡模型框架如圖2所示。

圖2 PGA-Net網絡模型框架

首先，將原始圖像和對應真實值輸入到網絡，通過特征提取網絡的卷積池化操作提取多級特征。然后，將這些特征輸入到金字塔特征融合模塊中。通過卷積和反卷積（不同核和步長）操作調整維數，使融合后的特征映射具有相同的維數。同時，通過一些密集的跳連接，將這些特征融合為5個不同分辨率大小的融合特征。接著，全局上下文注意力網絡被嵌入到這5個分辨率特征中以高效的實現低分率到高分辨率的信息傳播。最后，融合這些預測特征并產生最終的預測結果。

B.多級特征提取模塊（FEM）

深度特征提取模塊（FEM）建立在已用ImageNet預訓練的VGG-16模型之上，以為缺陷檢測獲得更多的多層次特征。FEM包括五個塊，這些塊提取了從淺層到深層的各種外觀信息。除最后一個塊外，每個塊由卷積層、校正線性單元激活函數（RELU）、批歸一化和最大池層組成。表1展示了FEM的細節結構。

C.金字塔特征融合模塊（PFF）

在深度CNN中，上下文信息被使用的程度大致取決于感受野的大小。對于缺陷的檢測，有些缺陷是類內差異，需要較大的感受野才能實現對圖像中缺陷的全面感知。為此，論文提出了一種金字塔特征融合（PFF）模塊，如圖所示3。

圖3 金字塔特征融合模塊 首先，給與一個尺寸為WxH的輸入圖像I和通過FEM模塊生成的不同階段的多級特征。PFF模塊獲取每個階段的最后一層特征：conv1_2、conv2_2、conv3_3、conv4_3、conv5_3。這五個特征可以用一個特征集F來表示：F=（f1，f2， f3， f4， f5），其中f1表示conv1_2特征，以此類推。其次，通過多尺度感受野加權F生成多上下文信息，并將該信息同時映射到五個不同分辨率的特征映射中去：Tn=（W/2n， H/2n）。對于f1（分辨率R1=T0），模塊用一堆卷積層將其降采樣到五種分辨率，它們的輸出特征映射為Yi1可表示：

其中，σ表示RELU激活，dow-scale（·）表示通過Wk×k（核大小為kxk，步幅s=k）向下降采樣特征映射f1，b表示偏差，*表示卷積。對于f5（分辨率R5=T4），模塊將其上采樣到為5種分辨率，輸出特征映射Yi5，如下所示：

upsample（·;φ ）是指在訓練過程中學習到的參數φ的反卷積。對于分辨率介于T0和T4之間的f2、f3和f4，該模型使用降采樣和上采樣相結合的方法將它們調整為五種分辨率，輸出特征映射為Yil：

最后，將這些輸出圖中尺寸相同的特征進行融合，生成最終的五個融合特征圖：

通過這種方式，該模型便可以有效地獲取多尺度的上下文信息，從CNN的不同階段，實現整體對象感知。

D.全局上下文關注模塊（GCA）

由PFF生成的不同分辨率的最終融合特征圖，包含了各種視覺上下文信息，并且每一個都可以用于預測結果。一種方法是利用雙線性上樣將這些融合特征放大到與原始圖像相同的維數，然后通過卷積層改變它們的通道來預測分割結果。然而，這些方法的缺點是：1）缺乏不同分辨率預測之間的內在聯系信息，2）直接使用雙線性大核上樣本可能會導致一些細節信息的缺失，參數不可訓練。為了解決上述問題，論文提出了一個全局注意力模塊，如圖4所示。

圖4 全局注意力模塊 該模塊包括兩個階段：第一階段： 采用3×3卷積調整高分辨率和低分辨率融合特征圖的通道維度，然后通過全局池化到低分辨率得到全局上下文，再與高分辨率特征圖相乘，其輸出特征表示為fs1。第二階段，將低分辨率融合特征圖上采樣到與高分辨率融合特征圖相同的維數，然后與fs1相加。

與簡單地將上采樣的粗分辨率特征映射添加到細分辨率特征映射中相比，所提出的GCA模塊可以利用不同分辨率的融合特征映射來提高上下文獲取和相應像素化定位的效率。

E.邊界細化塊

論文加入了邊界細化塊以進一步提高檢測精度，圖4（b）展示了邊界細化殘差結構，其輸出為細化得分圖。

F.深度監督

在充分利用多級特征的同時，參數的數量也明顯增加，這可能會增加優化的難度。為了解決這個問題，論文在模型中加入了深度監督，目的是簡化訓練過程，加速網絡模型的優化。每個分辨率的PFF模塊生成的融合特征圖可以單獨進行裂紋預測。將每像素損失（交叉熵）添加到上述五個分辨率融合的特征中。損失函數描述為：

其中Ti和Pi分別表示真實值和預測概率。

4、實驗分析

論文采用NEU-DET缺陷數據集，DAGM 2007 缺陷數據集，MT缺陷數據集，以及Road 缺陷數據集進行測試。這里以NEU-DET和DAGM2007數據集的測試結果為例，展示論文所提PGA-Net網絡的預測效果。

1） NEU-SEG缺陷的檢測結果：在圖5展示了PGA-Net和其他方法對帶鋼表面缺陷圖像的視覺比較。在低對比度（4-5行）和類內差異（7-8行）等具有挑戰性的缺陷檢測情況下， PGA-Net算法的性能優于其他方法，預測結果與真實值非常接近。通過表1所示的定量比較，PGA-Net在評價指標方面優于其他比較方法：mIOU值提高到82.15%。

圖5. NEU-SEG數據集檢測結果對比。紅色、綠色和黃色分別代表夾雜物（In）、斑塊（Pa）和劃痕（Sc）缺陷。（a）原始圖像; （b）真實值; （c）SegNet; （d） PSPNet; （e） DeepLab; （f） RefineNet; （g） FCN; （h） PGA-Net

表1 NEU-SEG缺陷的檢測結果定量比較

2） DAGM2007數據集結果：圖6展示了DAGM 2007部分缺陷圖像可視化檢測結果。該數據集的主要檢測挑戰是背景和缺陷之間的低對比度（1-3行）?？梢园l現，SegNet遺漏或錯誤地檢測到某些缺陷。對于一些大面積缺陷，PSPNet和RefineNet不能精確定位缺陷。FCN和DeepLab放大了一些低對比度缺陷區域。相反， PGA-Net的性能更接近實際情況。表2所示展示了對各對比方法的定量比較，可以發現PGA-Net將性能提高到74.78%。

圖6. DAGM2007數據集檢測結果對比。（a）原始圖像; （b）真實值; （c）SegNet; （d） FCN; （e） DeepLab; （f） PSPNet; （g） RefineNet; （h） PGA-Net

表2 DAGM2007數據集結果定量比較

消融實驗

為了評價所提出的方法，論文進行了一系列消融實驗，包括降采樣類型、融合特征分辨率的影響以及對檢測結果的邊界細化。所有這些消融實驗的評價都是基于NEU-SEG數據集。

1）降采樣類型的消融研究：對于PFF模塊中的降采樣結構，論文使用了大核卷積取代最大池。這是因為，卷積降在低了特征維數的同時仍然保留了特征信息，而最大池可能會導致大量特征信息的丟失。此外，使用較大的內核不會帶來太大的計算負擔，如表3所示，性能由79.89%提高到80.46%。 表3不同設置下論文方法的詳細性能

2）融合特征分辨率的影響：當通過卷積和反卷積（具有大的核尺寸和步長）調整這些特征分辨率時，FEM中的一些融合特征結構（空間和語義）很容易被破壞，這與目標融合特征圖的分辨率有很大差異。為了驗證融合特征分辨率的效果，論文額外評估了來自PFF的五個融合特征圖（Dec-1s、Dec-2s、Dec-4s、Dec-8s、Dec-16s），相應的性能如3所示。從表中可以看出，隨著分辨率的增加，模型性能逐漸變好，這證明了論文方法選擇分辨率進行特征圖融合的必要性。

3）邊界細化對檢測結果的消融：在提出的方法中加入了邊界細化塊，以提高檢測結果的性能。如表3所示，邊界細化塊的mIOU值為82.15%，證明了BR方法的有效性。

4）與其他多級特征融合方法的比較：為了驗證PFF模塊的優越性，對UN、DLA、DSS等多級特征融合方法進行了比較。論文用這些方法中的多級融合模塊取代了所提方法中的PFF模塊。所有模塊都基于同一個骨干網VGG-16網絡。在NEU-SEG數據集上評估這些模塊的預測結果。論文方法和其他方法的直觀比較顯示如圖7所示，量化評價如表4所示?？梢钥闯觯c多級特征融合模塊相比，論文所提的PFF取得了更好的性能。

圖7 NEU-Seg 數據集上的檢測結果比較。 （a） 原始圖像; （b）真實值; （c）UN; （d） DLA; （e） DSS; （f） 本文方法 表4不同多尺度特征融合模塊的詳細性能

5、結論

論文提出了一種用于表面缺陷檢測的自動檢測網絡。在該框架中，通過特征提取模塊從缺陷圖像中提取多級特征。并引入金字塔特征融合模塊，將多級特征融合成不同的分辨率。全局上下文注意力模塊使有效信息從低分辨率融合特征圖傳播到高分辨率融合特征圖。此外，在框架中增加了邊界細化塊，對目標邊界預測進行細化。該框架中引入了深度監督，以加快網絡優化的進程。實驗表明，該方法在四種表面缺陷數據集的檢測上取得了較大的進步。但由于數據集數量和多樣性的限制，在圖中出現了一些缺陷缺失和錯誤檢測的情況。雖然檢測的速度可以達到41-49fps/s，在實際檢測過程中可以接受，并且不損害用戶體驗。但是還需要進一步提高，以滿足實時性和高準確度的要求。另外，在實驗過程中需要對訓練樣本和測試樣本進行標注，耗時較長。在未來的研究中，計劃尋求一種有效的數據增強策略，結合論文方法來提高檢測性能，并優化框架來加速提出的方法以滿足實時性和高精度的要求。此外，在今后的工作中將采用半監督機制。

審核編輯：郭婷