摘要：針對現有的故障診斷方法在處理高維度且動態特征明顯的化工生產過程中觀測的數據時，存在無法識別長時間依賴關系、精確度不夠的問題，本文對長短時記憶模型進行改進，提出了一種基于深度學習與attention機制的分類模型，以田納西-伊斯曼仿真平臺的仿真數據作為研究對象，通過小波閾值去噪法對數據進行預處理，再對模型分類效果進行驗證，比較了本文模型與改進前的模型，最后通過t-sne算法繪制樣本數據及在模型各層輸出特征向量在二維空間的分布圖。實驗結果表明，改進后的深度學習模型，對故障分類時能達到92.71%的召回率與93.05%的準確率，相對改進前的模型分別提高了16.84%與13.66%，對數據特征的學習效果更好，更適用于化工數據。

　　關鍵詞：深度學習;attention機制;故障診斷

　　0引言

　　隨著化工工業的迅速發展，化工生產的規模越來越龐大，大規模的生產使得企業的效益成倍提升[1]，但復雜的生產過程也使得出現生產故障的可能性變的更高。因此實時監控過程數據，及時發現異常情s0引言隨著化工工業的迅速發展，化工生產的規模越來越龐大，大規模的生產使得企業的效益成倍提升[1]，但復雜的生產過程也使得出現生產故障的可能性變的更高。

　　因此實時監控過程數據，及時發現異常情況并且判斷出故障類型很重要。化工生產過程監控的數據具有動態、高維度的特性，可測的過程變量和故障之間的關系復雜[2]。最初數據驅動的分類方法以統計學和機器學習為主[3,4]，如文獻[5]結合了支持向量機與PCA的方法用于TE過程數據的故障分類;文獻[6]提出了一種基于核主元分析與關聯向量機(RVM)相結合的故障診斷算法(KPCA-RVM)。近年來計算機的性能得到提升，在處理大數據時深度學習的優勢逐漸展現。深度學習中能夠通過算法本身提取特征值，在應用于難以人工提取特征的復雜數據時具有優勢。

　　文獻[7]通過結合數據增強與深度卷積網絡(CNN)的方法對TE過程仿真數據進行了研究，得到了不錯的結果。但是CNN由于結構的局限性，只能對數據的靜態特征進行訓練，忽略了序列數據間在時間上長期的依賴關系。循環神經網絡相比傳統方法增加了循環結構解決了長時間依賴關系，在此基礎上文獻[8]采用了長短時記憶網絡(LongShortTermMemory，LSTM)，增加了記憶單元來選擇性的記憶過去的信息，緩解了循環結構在處理長序列問題的不足，因此近年來成為了工業故障診斷的熱門，如文獻[9]提出了一種基于長短期記憶(LSTM)的方法直接對原始過程數據進行分類，實驗結果在精確度上較于RNN有所提高。

　　雖然LSTM在處理長序列數據時具有結構上的優勢，但在面對高維度的數據時，仍然存在不足。高維數據各變量對于故障的判斷而言存在相關度的差異，模型能夠關注更重要的變量時，分類的精度必然更高。為了使算法具有識別變量相關性程度的能力，一些學者采用了數據統計的方法對數據降維，去掉了不相關的變量。如文獻[10]提出了一種基于組合核函數KPCA與改進ELM的故障診斷方法，但是這種方法在降維的同時會丟失很多局部信息，影響診斷結果。

　　Attention機制的提出提供了一種在不丟失數據的前提下量化各特征權重的方法，文獻[11]結合了卷積網絡與attention機制，在圖片分類的任務中提高了對人臉微小運動的識別能力，這是因為注意力機制增加關鍵特征的權重后，能夠使模型忽略干擾信息，識別樣本間的微小差異。在本文的研究中將改進LSTM模型，并將其與attention機制結合，使得模型在兼具對數據的局部感知能力與對動態特征識別能力的前提下，能夠識別故障數據間微小的差異，提高模型對高維度序列數據的識別精度。

　　1TenesseeEastman化工過程

　　1.1TE過程仿真原理

　　在實際中化工數據大多是不能向外公開的，得到真實的采樣數據對于研究者來說是一件困難的事情，而化工生產的研究又非常必要，為了研究人員能夠較容易的獲得實驗數據，美國Eastman化學公司開發了TennesseeEastman(TE)仿真平臺[12]，是根據伊斯曼化學公司的實際工藝做少許修改后得到的。

　　1.2數據預處理

　　本文將數據集分為訓練集以及測試集兩部分，其中數據集由TE仿真平臺48h運行下獲得，觀測數據總數為960，每個樣本由52個過程變量組成，其中故障在8h時引入，前160個觀察值為正常數據，中間600個值作為訓練集，后200個值作為測試集。本文將訓練模型對其中的6種故障進行識別，用以驗證訓練的效率與分類的精度。由于化工過程生產環境合操作復雜等因素[13]，監測的數據會受到各種噪聲的影響，這些噪聲會影響對過程數據的分析和數據特征學習。本文將采用小波降噪算法對TE過程數據降噪[14]。

　　2CNN-LSTM-Attention模型

　　2.1模型的優點

　　為了應對化工過程數據動態高維度的特點，本文采用CNN-LSTM的深度學習結構[15,16]，結合了attention機制的特點[17]，增加了相關性強變量的權重，使得在訓練模型時能夠更加關注與對故障分類更有決定性的變量，從而提高訓練的效率。對相關性較弱的變量通過降低權重的方式防止了數據的丟失，保證了分類的精度。

　　1)采用循環神經網絡作為框架的核心部分，能有效的關注到數據中的動態特征;2)LSTM由于結構的特點感受野會受到限制，通過與CNN的結合能夠提高整個深度學習框架的感受野，使得每次訓練接受的輸入信息更加全面，從而提升深度學習的訓練效率;3)在模型的輸出層前增加了Attention結構，使得模型在訓練的過程中能夠更關注相關性高的特征。

　　2.2模型的組成

　　本文模型由卷積層、最大池化層、循環層、全連接層、以及softmax和輸出層組成，在全連接層與softmax層之間加入attention機制，用來篩選最重要的特征值，模型輸出的結果與真實結果進行對比。

　　1)一維卷積層數據集數據有較長的時間維度，直接傳入LSTM網絡會面臨梯度爆炸的問題，通過卷積層初步提取特征再傳入循環層的方式可以有效的減少循環層訓練的參數，并且提高訓練的效率。在一維卷積網絡中，卷積層會在感受野中逐層提取輸入序列數據的特征，通過迭代選擇出最有效的高級特征。

　　可見，較高層中的神經元通過上一層的部分神經元加權傳遞信息，這部分神經元就是高層神經元的感受野，通過多層的傳遞后，輸出層神經元的感受野足夠大，包含了整體數據的信息，從而做到了權值共享，減小了模型的復雜度，便于網絡的訓練。

　　2)循環層數據集具有動態特征，循環神經網絡可以有效的提取此類特征，通過對卷積層提取特征進行訓練，可以得到包含時序信息的更有效的特征值。主要由三個部分組成，分別是輸入門、遺忘門、輸出門以及神經單元。

　　3仿真實驗及結果分析

　　本文將在模型訓練時的學習效率、模型的泛化性兩個方面對提出深度學習模型的性能進行分析。通過與LSTM模型進行比較，從對故障分類的精度以及模型訓練的效率，驗證本文提出方法的效果。訓練效率由在訓練集中損失函數的迭代速度來體現，模型的泛化性由對測試集數據的分類精度來驗證。

　　4結論

　　循環神經網絡在處理時間序列數據時具有優勢，通過循環結構可以關注到序列數據的長期依賴關系，其變體在解決梯度爆炸等問題后更是推動了該類深度學習算法在工業生產過程中的應用。本文為了提高模型的訓練效率與泛化性，采用了將深度學習與注意力機制相結合的CNN-LSTM-Attention深度學習算法，在仿真數據集中表現出了高效的訓練過程以及準確的測試結果，這體現出了本文算法的在處理動態高維度數據時的優勢。現實生產中故障數據的數量遠小于正常數據的數量，這會給模型識別故障數據帶來問題，如何處理數據的不平衡性是深度學習分類模型的又一挑戰方向。

　　參考文獻

　　[1]劉強,秦泗釗.過程工業大數據建模研究展望[J].自動化學報,2016,42(2):3-13.

　　[2]文成林,呂菲亞,包哲靜,等.基于數據驅動的微小故障診斷方法綜述[J].自動化學報,2016,42(9):1285-1299.

　　[3]文成林,呂菲亞.基于深度學習的故障診斷方法綜述[J].電子與信息學報,2020,42(1):234-248

　　[4]孟晨,楊華暉,王成,等.數據驅動的武器系統電子元部件級故障診斷研究綜述[J].系統工程與電子技術,2021,43(2):574-583.

　　[5]CHENJ,XING,ZHUX,etal.FaultclassificationonTennesseeEastmanprocess:PCAandSVM[C].InternationalConferenceonMechatronics&Control.Jinzhou:IEEE,2015.2194-2197

　　作者：唐穎川1黃姣茹1錢富才1，2