《基于多尺度特征融合注意力機制的紙病分類方法研究》論文發(fā)表期刊：《中國文藝家》；發(fā)表周期：2021年04期

《基于多尺度特征融合注意力機制的紙病分類方法研究》論文作者信息：張開生先生，博士，教授，博士生導師；研究方向：微電子、單片機應用，嵌入式系統(tǒng)、物聯(lián)網技術的應用及開發(fā)，工業(yè)自動化控制等。

　　摘要：針對造紙工業(yè)中傳統(tǒng)紙病分類算法準確率低的問題，本課題提出一種多尺度圖像增強結合注意力機制的方法;采用銳化濾波器和對比度增強操作獲得圖像對直線信息的響應，同時利用Sobel邊緣檢測獲取圖像對邊緣信息的響應，然后將這些響應分別放進卷積神經網絡(CNN)中提取淺層局部信息后進行特征融合，得到全局信息，最后利用注意力機制，通過關注這些圖像中最有特點的部分，進行紙病分類。實驗表明，該方法優(yōu)于HOG+SVM，LBP+SVM以及傳統(tǒng)CNN等方法，在自建數據集上，分類準確率可達到96.63%;與現有基于CNN的紙病分類算法相比，所需的數據量更少，分類效果更好。

　　關鍵詞：多尺度特征融合;注意力機制;卷積神經網絡;圖像分類

　　Abstract: Aiming at the problem of inaccurate classification of traditional paper defect Algorithm in paper industry, this study proposed al classification method combined with multi-scale feature fusion and attention mechanism. The method uses sharpening filter and contrast enhancement to obtain the response to straight line, and then used Sobel edge detection to obtain the response to edge. Then, the above re-

　　sponses were put into a convolutional neural network (CNN) separately to extract shallow local information and focuse to get global information, finally an attention mechanism was used to classify paper defect by focusing on the most characteristic parts of the image. Experiments showed that this method outperformed HOG+SVM. LBP+SVM and traditional CNN methods, achieving 96. 63% classification accuracy on the selfbuilt dataset. Compared with existing CNN-based paper defect classification algorithm, the method proposed in this study required less train data and obtained better results

　　Key words: multi-scale feature fusion : attentional mechanisms; convolutional neural network; image classification

　　在紙張生產過程中，機器突然偏離正確軌跡等意外情況在所難免，這會使生產的紙張產生折疊、孔洞、劉痕等缺陷，不僅影響張質量，還會降低經濟效益，給造紙企業(yè)造成一定損失。因此，對紙張的缺陷檢測是造紙過程中不可或缺的環(huán)節(jié)。一直以來，這種缺陷檢測以人工排查為主，其原因主要有2方面，一是人工成本低廉;二是以前的計算機技術還不成熟，紙張缺陷檢測效果差"。隨著社會的發(fā)展，人力成本越來越昂貴，加之計算機技術飛速發(fā)展，越來越多的造紙企業(yè)開始用機器代替人12，紙張缺陷檢測的算法研究越來越多。袁浩等人3通過對紙病圖像進行特征選擇，再利用支持向量機對提取到的特征進行分類。但這種方法只對特定種類的紙張缺陷有較好效果，并不適用于所有紙病缺陷，且其檢測效果受光照影響明顯，泛化性差。為了改善這個問題，張學蘭等人提出了Prewitt算子檢測孔洞、臟點和褶皺。陳瑁等人"在背景與目標缺陷對比不明顯的情況下，提出了一種將邊緣檢測和小波融合結合起來的方法，此方法定位準確且有一定的抗噪性;但由于算法本身過于復雜，計算成本高，無法滿足現實造紙工廠檢測的實時性要求。殷燕屏等人“根據不同紙張缺陷圖像的灰度特征，利用動態(tài)雙閾值分割紙張缺陷區(qū)域，提取缺陷特征并進行識別分類;然而此方法需要對不同的紙張缺陷設置不同的閾值，導致參數設置困難。為了降低參數設置的復雜度，段茵等人"采用BP神經網絡進行紙張缺陷檢測的識別與研究;首先將圖像進行中值濾波，然后用全局Onsu算法根據閾值將圖像分為目標和背景2個部分，對缺陷紙張進行形態(tài)學處理后，輸入BP神經網絡進行缺陷分類。李光明等人"先利用Canny算子、Sobel算子等對紙病進行梯度圖像增強，然后用MSMG進行多尺度圖像增強，最后將增強后的圖像放進卷積神經網絡進行缺陷分類。針對傳統(tǒng)紙病識別方法只對某些種類紙病分類效果好、特征計算復雜、實時性差等問題，本課題提出一種多尺度特征融合注意力機制的紙病分類方法，通過融合多種圖像增強方式進行多尺度特征提取，以應對不同的紙病缺陷，將這些特征輸入到帶有注意力機制的卷積神經網絡，讓網絡更加關注紙張缺陷部分，從而達到更好的分類效果。

　　1多尺度特征融合注意力機制的紙病分類方法

　　本課題采用的多尺度特征融合注意力機制的紙病分類方法如圖1所示。將待檢測的缺陷圖片進行亮度增強、銳化濾波與對比度增強、Sobel邊緣檢測等圖像增強算法后，分別輸入到3個共享權重的Resnet進行淺層特征提取得到局部特征;隨后將3個特征圖進行concate融合得到全局特征。此時融合得到的特征圖包含待檢測缺陷圖片的直線信息、邊緣信息等多尺度信息。最后將包含多尺度信息的全局特征圖輸入帶有attention機制的Resnet，讓網絡更多關注能區(qū)別缺陷類別的特征，從而更好地進行分類。

　　1.1亮度增強

　　亮度增強就是改變圖像的亮度和對比度，實際是對圖像的每個像素點進行相應操作。具體過程可由式

　　式中，gli.j)及f(ij)代表圖像在(i.j)這個點亮度增強前后的像素值;參數a代表使圖像像素增長或降低的倍率，該參數必須大于0;參數B代表向白色或黑色靠近的程度，該值可正可負。

　　該算法對紙張中的污點、邊裂、孔洞響應特別強烈，具體效果如圖2-圖4所示，其中左圖為原圖，右圖為亮度增強后的圖像。

　　1.2 銳化濾波

　　銳化空間濾波器主要用來增強圖像的突變信息，圖像細節(jié)信息和邊緣信息。使用鄰域的微分作為算子，增大鄰域間像素的差值，使圖像的突變部分變得更加明顯。從圖像灰度的一階微分和二階微分的性質可知，在灰度值變化的地方，一階微分和二階微分的值均不為0，在灰度恒定的地方，微分值均為0。因此，使用一階微分和二階微分都可以得到圖像灰度的變化值。本課題中使用二階算子，紙病圖片可以看作二維離散函數，對于二階微分的 x方向和 y方向如式(2)和式(3)所示。

　　二階微分在斜坡處的值為0，但在斜坡兩端值不為0，且符號不同，這樣二階微分得到的是由0分開的1 個像素寬的雙邊緣。也就是說，與一階微分相比，二階微分在增強圖像細節(jié)方面更好，且計算更方便。

　　二階微分算子的代表為拉普拉斯算子 (▽)，定義如式(4)~式(6)所示。

　　該算法對紙張中的折痕、劃痕等直線部分響應特別強烈，具體效果如圖 5和圖 6所示，其中左圖為原圖，右圖為銳化后的圖像。

　　1. 3 Sobel邊緣檢測

　　Sobel算子包含2組3×3的矩陣，分別為橫向及縱向，將之與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值。A代表原始圖像，Gx及 Gy分別代表經橫向及縱向邊緣檢測的圖像灰度值，如式(7)和式(8)所示。

　　圖像的每個像素的橫向及縱向灰度值通過式(9)計算，以計算該點灰度的大小。

　　如果梯度G大于某一閥值，則認為點(x, y)為邊緣點，可通過式(10)計算梯度方向。

　　Sobel 算子根據像素點上下、左右鄰點灰度加權差在邊緣處達到極值這一現象檢測邊緣;同時，對噪聲具有平滑作用，可提供較為精確的邊緣方向信息。該算法幾乎對所有紙病響應都特別強烈，具體效果如圖 7和圖 8所示，其中左圖為原圖，右圖為銳化后的圖像。

　　1.4 Resnet特征提取器與分類器Resnet是由He等人"提出的一種基于CNN的特征提取框架，主要解決了深度神經網絡的“退化”問題。

　　1.4.1 批量歸一化

　　神經網絡學習過程的本質一方面是為了學習數據分布，如果訓練數據與測試數據的分布不同，則網絡的泛化能力會大大降低;另一方面，如果每批訓練數據的分布各不相同，則每次迭代都需學習適應不同的分布，會大大降低網絡的訓練速度，因此需要對數據做歸一化預處理。

　　首先計算每個批次的均值 (μB) 與方差 (σB)，計算公式如式(11)和式(12)所示。

　　然后根據上面計算得到的結果進行正則化，如式(13)所示。

　　為了讓學習到的特征分布不被破壞，需對其進行變換重構，如式(14)所示。

　　1. 4. 2 池化層

　　由于Resnet使網絡加入了更多的單元，導致整個網絡隱藏層參數增多，訓練時易造成過擬合的狀況。為了減少參數的復雜度，采用最大池化，使其不再嚴格要求相鄰塊聚合到 1 個上層塊，第 l+1 層的特征圖如式(15)所示。

　　圖9為未經池化的網絡結構，圖10為經過池化后的網絡結構。如圖9和圖10所示，2者對比可以直觀

　　看出池化層對于降低特征分辨率的作用。

　　1. 4. 3 注意力機制

　　卷積注意力模塊 (CBAM) 是 Woo 等人[10]提出的一種用于前饋卷積神經網絡的注意力模塊。給定1個中間特征圖，CBAM會沿著2個獨立的維度(通道和空間)依次推斷注意力圖，然后將注意力圖與輸人特征圖相乘以進行自適應特征優(yōu)化。

　　通道注意力模塊將特征圖在空間維度上進行壓縮，得到1個一維矢量后再進行操作。在空間維度上進行壓縮時，不僅考慮了平均值池化還考慮了最大值池化，如式(16)所示。

　　空間注意力模塊對通道進行壓縮，在通道維度分別進行了平均值池化和最大值池化，接著將前面提取到的特征圖 (通道數都為 1) 合并得到 1 個 2 通道的特征圖，如式(17)所示。

　　1.5算法描述

　　本課題采用多尺度特征融合結合注意力機制的紙病分類方法，利用不同圖像增強算法對不同紙張缺陷類型的響應程度不同，將這些特征拼接后輸入至Resnet進行特征提取，然后利用融合注意力機制的Resnet模型將網絡關注的重點集中到紙張缺陷區(qū)域，進而實現紙張缺陷分類。

　　多尺度特征融合結合注意力機制的紙病分類算法具體步驟如下。

　　(1)準備紙病圖像數據，采用旋轉、平移、拼接等操作進行數據擴充;

　　(2)將擴充后的數據隨機劃分為訓練集合測試集;

　　(3)利用亮度增強、銳化濾波、Sobel邊緣檢測3種算法分別對訓練集圖像進行處理，得到3張增強后的圖像;

　　(4)將這3張圖像分別送入3個共享參數的Resnet中進行特征提取得到局部特征;

　　(5)將步驟4得到的3個局部特征圖進行拼接融合得到全局特征圖;

　　(6)將全局特征圖送人融合CBAM的Resnet中進行分類;

　　(7)重復步驟4-6直至網絡收敏;

　　(8)將測試數據進行數據增強后，送至訓練好的網絡進行分類，得到測試集數據對應的預測標簽;(9)將測試集的預測標簽與實際標簽對比，計算紙病識別分類正確率。

　　算法流程圖如圖11所示。

　　2 實驗與分析

　　2. 1 實驗條件

　　實驗硬件環(huán)境如下：64 位 Microsoft Windows 10操作系統(tǒng)，Intel(R)Core(TM)CPU i5-4590 CPU@3.3 GHz四核處理器，8G 運行內存，GPU 采用 GTX 1080Ti。實驗軟件環(huán)境：IDE 為 Pycharm，深度學習框架為開源的Pytorch。

　　2. 2 實驗數據準備

　　實驗通過實際紙病圖像分類，驗證本課題算法的可行性。實驗選擇的各紙病類別及其數量如表1所示。

　　首先對每個類別的數據進行逆時針旋轉9001800，270等操作以進行數據擴充，擴充后的圖像總計2097個，每張圖像的尺寸為116x116x3 dpi。隨后按8：2比例將總數據集隨機劃分成訓練集和測試集。對比紙病類別標簽與實際類別標簽，對實驗結果進行評價。

　　2.3深度網絡訓練過程及結果

　　在對樣本進行多次訓練，不斷調整參數后，最終設定訓練集的batch size為32，測試集的batchsize為64，優(yōu)化器采用SDG，設置基礎學習率base_r為

　　0.01，且每迭代50次衰減1次，衰減系數為0.1，設置權重衰減系數weight-decay為0.0001，訓練的最大迭代次數max_iter為500，為了防止過擬合，設置Drop out為0.5.

　　訓練后，模型在收斂過程中的訓練集和測試集的ace變化如圖12所示。在上述設置的參數下，模型在訓練集的最終準確率為99.43%，在測試集的最終準確率為96.63%。由此可知，本課題所設計的算法在紙病樣本上得到了較好的收斂。

　　2.4不同方法結果對比

　　為了驗證本課題提出方法的有效性，將不同方法應用在自建數據集上比較結果，如表2所示。從表2可以看出，本課題提出的方法在損失較小實時性的同時，在紙病識別準確率上獲得較大的提升，證明性能十分優(yōu)異。

　　3結論

　　針對不同紙病類別對不同數據增強算法響應差別較大的問題，本課題提出了一種多尺度特征融合結合注意力機制的紙病分類方法。該方法先利用亮度增強、銳化器、Sobel邊緣檢測的方法分別對紙病進行圖像增強，不同紙病類別雖不能對每種圖像增強方法都響應強烈，但會對其中至少1種或2種方法有較好響應。本方法將這些響應進行特征融合后送入帶有注意力機制的卷積神經網絡中，讓其重點關注那些響應強烈的特征，以此進行分類。本分類算法在測試集上的分類準確率達到了96.63%，同時耗時少于一般傳統(tǒng)方法，證明了本方法的優(yōu)越性和實用性。

　　參考文獻

　　[1]高樂樂，周強，王偉剛，基于CNN的深層次特征提取病辨識方法研究[J].中造2報，2019，34(4)：52-58.

　　GAO LL，ZHOU Q，WANG W G.Paper Defects Recognition Based on Deep Layer Feature Extraction of CNN[J].Transactions of China Pulp and Paper，2019，34(4)：52-58，

　　[2]Rakesh Kumar Jain，Vikas Kumar.Status，Prospects&Perspectives of Indian Paper Industry[J].Paper and Biomaterials，2019，4(1)：57-64.

　　[3]袁浩，付忠良，程建，等，基于支持向量機的紙張缺陷圖像分類識別[J].計算機應用，2008，28(2)：330-332+349.

　　YUAN H，FU Z L，CHENG J，et al.Paper defect image classification and recognition based on support vector machine[J].Journal of Computer Applications，2008，28(2)：330-332+349.

　　[4]張學蘭，李軍，辛培紅，等，邊緣檢測在紙病圖像分析中的應用[J].造紙科學與技術，2012，31(6)：121-125.

　　ZHANG XL，LI J，XIN P H，et al.The Application of Edge Detection in Paper Defect Image[J].Paper Science&Technology，2012，31(6)：121-125.

　　[5]陳瑁，王亦紅，基于機器視覺的低對比度紙病識別算法研究[J].中國造紙學報，2013，28(2)：29-33.

　　CHEN J.WANG Y H.Identification Algorithm of low Contrast Pa-per Defects Based on Machine Vision[J].Transactions of China Pulp and Paper，2013，28(2)：29-33.

　　[6]殷燕屏，熊智新，胡慕伊，基于閾值分割及分形特征的紙病圖像識別算法研究[J].中國造學報，2011，26(4)：41-45.

　　YIN Y P，XIONG Z X，HU M Y.Paper Defect Image Recognition Algorithm Based on Threshold Segmentation and Fractal Features [J].Transactions of China Pulp and Paper，2011，26(4)：41-45.

　　[7]段茵，陳愷煊，劉 昕，等，基于BP神經網絡的紙張缺陷檢測與識別研究[J].西安理工大學學報，2018，34(2)：235-239.

　　DUAN Y，CHEN K X，LIU X，et al.Research on paper defect detection and recognition based on BP neural network[J].Journal of Xi'an University of Technology，2018，34(2)：235-239

　　[8]李光明，薛丁華，加小紅，等，基于多尺度圖像增強結合卷積神經網絡的紙病識別分類[J].中國造紙，2018，37(8)：47-54.

　　LI G M，XUE D H，JIA X H，et al.Paper Defects ClassificationBased on Multi-scale Image Enhancement Combined with Convolu-

　　tion Neural Network[J].China Pulp&Paper，2018，37(8)：47-54.

　　[9]He K，Zhang X，Ren S，et al.Deep Residual Leamning for Image Recognition[C]/2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.

　　[10]Woo s，Park J，Lee J Y，et al.Cbam：Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision，2018：3-19.