地層結(jié)構(gòu)及其分布的模擬是地質(zhì)信息化研究與工程規(guī)劃設(shè)計(jì)建造的迫切需求。現(xiàn)有的研究方法主要以鉆孔數(shù)據(jù)為基礎(chǔ)，選擇插值方法進(jìn)行二維剖面繪制和三維地層建模。插值方法是決定模擬結(jié)果準(zhǔn)確程度的重要因素，但插值方法的選取受主觀因素影響，缺乏科學(xué)合理性，難以推廣應(yīng)用。針對(duì)這一問題，本文提出一種基于鉆孔數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的地層序列模擬方法，即將鉆孔地層數(shù)據(jù)處理為地層類型序列與地層層厚序列，利用循環(huán)神經(jīng)網(wǎng)絡(luò)與序列-序列架構(gòu)建立地層序列模擬模型。通過將模擬結(jié)果與實(shí)際鉆孔數(shù)據(jù)對(duì)比分析，發(fā)現(xiàn)地層序列模型可以較準(zhǔn)確地模擬地表到基巖面之間的地層類型與厚度范圍。研究可為地層模擬提供新方法。

　　關(guān)鍵詞地層序列模擬;機(jī)器學(xué)習(xí);循環(huán)神經(jīng)網(wǎng)絡(luò);序列-序列學(xué)習(xí)

　　人工智能方向論文范文：機(jī)器學(xué)習(xí)在社會(huì)調(diào)查職業(yè)編碼中的應(yīng)用

　　內(nèi)容摘要：?jiǎn)柧碚{(diào)查一般通過開放文本題采集職業(yè)信息。這種題型雖能提供豐富信息，但數(shù)據(jù)管理復(fù)雜，需要將原始數(shù)據(jù)進(jìn)行編碼。傳統(tǒng)的人工編碼法耗時(shí)耗力。本文首次嘗試將機(jī)器學(xué)習(xí)中兩個(gè)常見分類器“樸素貝葉斯”和“支持向量機(jī)”運(yùn)用在中文職業(yè)文本編碼上。結(jié)果顯示，它們?cè)诼殬I(yè)大類編碼上的表現(xiàn)令人滿意，但在職業(yè)細(xì)類上性能不足，而且在不同職業(yè)類別間性能差異很大，其中“農(nóng)林牧漁水利業(yè)生產(chǎn)人員”和“不便分類的其他人員”的分類效果較好。

　　0引言

　　地層結(jié)構(gòu)是漫長(zhǎng)的地質(zhì)作用的結(jié)果，在時(shí)空分布上表現(xiàn)為不均勻、不規(guī)則性等，但在宏觀上具有統(tǒng)計(jì)上的規(guī)律性。弄清地層結(jié)構(gòu)及其規(guī)律是地質(zhì)信息化的基礎(chǔ)，同時(shí)不良地層的分布也是工程建設(shè)的重點(diǎn)關(guān)注對(duì)象。如何利用有限的鉆孔資料進(jìn)行地層結(jié)構(gòu)及分布規(guī)律的研究，是地質(zhì)學(xué)與工程地質(zhì)領(lǐng)域中的重要課題。地層結(jié)構(gòu)與分布規(guī)律的研究，鉆孔數(shù)據(jù)是基礎(chǔ)，它可以提供準(zhǔn)確的地層結(jié)構(gòu)信息，但是成本高，耗時(shí)長(zhǎng)，同時(shí)具有離散性。如何有效利用有限的鉆孔數(shù)據(jù)進(jìn)行地層分布規(guī)律的研究成為了人們普遍關(guān)注和探索的問題。選擇不同的插值方法連接鉆孔數(shù)據(jù)，繪制二維地質(zhì)剖面或建立三維地質(zhì)模型是模擬特定區(qū)域的地層情況的主要方法。其中，三維地質(zhì)建模在地層構(gòu)建上有多種選擇，主要分為面模型與體模型。面模型有以數(shù)字高程表征地形空間特征的DEM模型(Songetal.，2018)和以不規(guī)則的三角網(wǎng)格表示地層分界面的TIN模型(Watsonetal.，2015)。

　　體模型通過體元進(jìn)行三維地層實(shí)體的構(gòu)造，以三棱柱模型(Zhangetal.，2015)和四面體模型為主，還有周翠英等(2006)提出的塊體理論。無論二維剖面圖或三維地質(zhì)模型，鉆孔連接的插值方法有多種選擇，如線性插值、多項(xiàng)式插值、反距離插值與克里金插值等，模擬效果存在差異。模型建模與插值方法的選取受主觀因素影響，具有局限性的同時(shí)缺乏科學(xué)合理性，因而無法推廣應(yīng)用。如何規(guī)避主觀因素，利用智能的方法對(duì)地層分布進(jìn)行模擬是地質(zhì)信息化研究與工程設(shè)計(jì)建設(shè)中值得探索的問題。

　　機(jī)器學(xué)習(xí)近年來發(fā)展迅速，與傳統(tǒng)的統(tǒng)計(jì)學(xué)觀念相比，雖然兩者的目的都是挖掘數(shù)據(jù)中潛在的信息，但統(tǒng)計(jì)學(xué)手段在探索數(shù)據(jù)規(guī)律的過程中會(huì)基于經(jīng)驗(yàn)引入假設(shè)與建立模型，其結(jié)果具有較高的可解釋性(Breiman，2001)。機(jī)器學(xué)習(xí)手段則不對(duì)數(shù)據(jù)作假設(shè)，而是檢驗(yàn)輸出與數(shù)據(jù)標(biāo)簽的接近程度，通過BP(BackPropagation，誤差反向傳導(dǎo))算法不斷調(diào)整參數(shù)以獲得更高的準(zhǔn)確率。當(dāng)前，機(jī)器學(xué)習(xí)被廣泛應(yīng)用于不同研究領(lǐng)域當(dāng)中，在圖像識(shí)別、語言翻譯、無人駕駛等方面取得了優(yōu)秀的表現(xiàn)。

　　在地質(zhì)學(xué)與工程領(lǐng)域，Rodriguez�睪alianoetal.(2015)在礦產(chǎn)勘查中應(yīng)用決策樹原理;段友祥等(2016)和Wangetal.(2017)分別利用卷積神經(jīng)網(wǎng)絡(luò)和極限學(xué)習(xí)機(jī)(ELM)與主成分析(PCA)進(jìn)行了儲(chǔ)層厚度的預(yù)測(cè);季斌(2017)對(duì)比了多種機(jī)器學(xué)習(xí)算法進(jìn)行了礦產(chǎn)預(yù)測(cè);黃宏偉等(2017)基于深度學(xué)習(xí)進(jìn)行了隧道滲漏水圖像識(shí)別;Bhattacharyaetal.(2006)和Yangetal.(2015)進(jìn)行了土壤分類的研究;張濤(2016)利用多層感知器與BP神經(jīng)網(wǎng)絡(luò)研究了化學(xué)元素與巖漿巖、沉積巖巖性及沉積巖礦物的關(guān)系;陳冠宇等(2016)、沙愛民等(2018)和程國(guó)建等(2016)分別利用卷積神經(jīng)網(wǎng)絡(luò)判斷不良地質(zhì)體、地表病害與巖石種類。

　　另外，Zhangetal.(2011)基于高斯過程預(yù)測(cè)巖溶塌陷;Korupetal.(2014)和闕金聲等(2016)進(jìn)行了山體滑坡的相關(guān)研究。然而，目前國(guó)內(nèi)外基于鉆孔數(shù)據(jù)的地層分布機(jī)器學(xué)習(xí)研究正處于起步階段，國(guó)內(nèi)外相關(guān)研究少有報(bào)道。針對(duì)上述問題，本文提出一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)原理的地層序列機(jī)器學(xué)習(xí)模擬方法，它將鉆孔數(shù)據(jù)處理為地層序列數(shù)據(jù)，建立地層類型序列與地層層厚序列模型，實(shí)現(xiàn)基于輸入鉆孔坐標(biāo)，能夠較為準(zhǔn)確地判斷相應(yīng)位置的地層信息。該方法不依賴于數(shù)據(jù)假設(shè)與專家經(jīng)驗(yàn)等主觀因素，通過與實(shí)際鉆孔數(shù)據(jù)對(duì)比表明，上述模型具有較好的可行性，可應(yīng)用于地質(zhì)信息化研究與工程規(guī)劃、設(shè)計(jì)建造等方面。

　　1地層序列模擬的機(jī)器學(xué)習(xí)理論基礎(chǔ)

　　1.1循環(huán)神經(jīng)網(wǎng)絡(luò)

　　地質(zhì)體一般呈層狀分布，具有先后關(guān)系，在空間上構(gòu)成地層序列(宋仁波等，2017)。循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks，RNN)是用于處理序列問題的神經(jīng)網(wǎng)絡(luò)。展示了RNN的結(jié)構(gòu)，在“輸入層-隱藏層-輸出層”前饋神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，其隱藏層具有循環(huán)鏈接，每一時(shí)刻的輸出與該時(shí)刻之前的歷史輸入相關(guān)聯(lián)。

　　1.2地層序列導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)

　　RNN在每一時(shí)刻接收一個(gè)地層輸入并給出輸出。由于RNN具有“記憶性”，若當(dāng)前時(shí)刻的輸入存在誤差，隨著RNN不斷的學(xué)習(xí)，誤差將會(huì)不斷累積。導(dǎo)師驅(qū)動(dòng)(TeacherForcing)是一種任意時(shí)刻都采用正確序列作為輸入的監(jiān)督學(xué)習(xí)方法，如同導(dǎo)師指導(dǎo)學(xué)生進(jìn)行學(xué)習(xí)，故稱作導(dǎo)師驅(qū)動(dòng)。然而頻繁的外界干預(yù)會(huì)影響模型對(duì)于未知數(shù)據(jù)的泛化能力，在模型訓(xùn)練的過程中需要注意不同比例的導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)對(duì)模型的影響(Goodfellowetal.，2016)。

　　2基于循環(huán)神經(jīng)網(wǎng)絡(luò)的地層數(shù)據(jù)重構(gòu)

　　數(shù)據(jù)是研究的基礎(chǔ)。在進(jìn)行學(xué)習(xí)前，需根據(jù)數(shù)據(jù)特點(diǎn)、問題特征以及數(shù)據(jù)體量等因素將原始數(shù)據(jù)重構(gòu)為計(jì)算機(jī)程序可表示的，方便讀取利用的形式，因此進(jìn)行歸一化處理、地層序列填充與地層編碼等。

　　2.1數(shù)據(jù)歸一化

　　在鉆孔數(shù)據(jù)中，坐標(biāo)與地層層厚之間數(shù)量級(jí)相差較大。為了保證收斂，數(shù)據(jù)需進(jìn)行歸一化處理，將取值范圍壓縮為0～1(王蕊穎等，2013;解明禮等，2016;黃震等，2017)。

　　2.2地層序列填充

　　利用RNN進(jìn)行地層序列學(xué)習(xí)時(shí)，批量訓(xùn)練要求所有地層序列長(zhǎng)度相同，同時(shí)其輸出結(jié)果也是等長(zhǎng)的，而地層層數(shù)具有多種可能。為此，引入終止標(biāo)記(EndofSequence，EOS)作為虛擬地層，將地層序列填充為等長(zhǎng)，同時(shí)作為地層序列結(jié)束的標(biāo)記。在每一次訓(xùn)練中，RNN輸出等長(zhǎng)的地層序列，當(dāng)終止標(biāo)記出現(xiàn)時(shí)，采樣過程停止，取終止標(biāo)記出現(xiàn)前的所有序列作為預(yù)測(cè)地層序列。終止標(biāo)記被當(dāng)作地層的一種參與學(xué)習(xí)。此外，RNN在初始時(shí)刻沒有來自上一時(shí)刻的地層信息，因此還需為地層序列添加起始標(biāo)記(StartofSequence，SOS)，作為RNN預(yù)測(cè)開始的信號(hào)。

　　2.3地層編碼

　　地層類別是離散的分類值，難以直接用程序表示。獨(dú)熱(OneHot)編碼任意時(shí)候只有一位被激活。將每一種地層用唯一的數(shù)字標(biāo)記(劉興周，2010;溫繼偉等，2013)，并利用獨(dú)熱編碼表示。

　　3基于循環(huán)神經(jīng)網(wǎng)絡(luò)的地層序列模擬

　　3.1地層類型序列模型的建立

　　RNN在初始時(shí)刻沒有來自上一時(shí)刻的隱藏層狀態(tài)。坐標(biāo)信息是一個(gè)地層序列中所有地層的共同屬性。在每一次訓(xùn)練前，利用坐標(biāo)信息對(duì)RNN進(jìn)行初始狀態(tài)s0的賦值，以此使坐標(biāo)指導(dǎo)地層序列模擬。

　　3.2地層層厚序列模型的建立

　　地層層厚序列模型需要以地層類型為基礎(chǔ)，連接坐標(biāo)、地層類型與地層層厚等信息。因此，采取seq2iseq(sequencetosequence，序列-序列)架構(gòu)，利用兩個(gè)串聯(lián)的RNN分別作為編碼器與解碼器建立地層層厚模型(Sutskeveretal.，2014;Choetal.，2014)。編碼器負(fù)責(zé)處理地層類型信息，以其最后時(shí)刻的隱藏層狀態(tài)作為解碼器的初始狀態(tài)，進(jìn)而預(yù)測(cè)每一個(gè)地層類型對(duì)應(yīng)的層厚區(qū)間。

　　3.3地層序列模型

　　地層層厚序列模型在訓(xùn)練的過程中采用真實(shí)地層數(shù)據(jù)作為樣本，而在實(shí)際應(yīng)用場(chǎng)景中，地層數(shù)據(jù)是未知的。將地層類型序列模型與地層厚度序列模型相連接，以地層類型序列模型的模擬結(jié)果作為地層厚度序列模型的編碼器輸入，從而完整預(yù)測(cè)地層序列。

　　4應(yīng)用實(shí)例

　　4.1應(yīng)用區(qū)域及其數(shù)據(jù)簡(jiǎn)介

　　本文利用python語言，在Pytorch深度學(xué)習(xí)框架下進(jìn)行地層序列模型的開發(fā)與驗(yàn)證。研究區(qū)域位于江蘇省某市，面積約為3882平方千米。研究區(qū)域內(nèi)的土體主要為砂土類、黏性土類以及粉土類，局部地層具有淤泥、淤泥質(zhì)土。本文共涉及鉆孔數(shù)據(jù)1386個(gè)，全部終止于基巖面頂部。鉆孔共涉及13種地層。隨機(jī)選取150個(gè)鉆孔作為測(cè)試數(shù)據(jù)，其余用于訓(xùn)練。

　　4.2地層模擬實(shí)驗(yàn)

　　對(duì)地層類型模型與地層層厚模型進(jìn)行500個(gè)回合的訓(xùn)練，并在每次訓(xùn)練結(jié)束后利用測(cè)試鉆孔數(shù)據(jù)檢驗(yàn)?zāi)Ｐ偷男阅堋ｋS著學(xué)習(xí)次數(shù)增多，模型的預(yù)測(cè)能力不斷增強(qiáng)，同時(shí)進(jìn)步的速度逐漸減小。最終，地層類型準(zhǔn)確率為65.56%，平均預(yù)測(cè)序列相似度為76.14%，地層層厚準(zhǔn)確率為66.58%，基本滿足地層序列的模擬需求。

　　5結(jié)論

　　(1)根據(jù)機(jī)器學(xué)習(xí)理論，提出一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的地層序列模擬方法，利用鉆孔數(shù)據(jù)中地層序列信息進(jìn)行學(xué)習(xí)并給出了鉆孔數(shù)據(jù)的重構(gòu)方案。經(jīng)訓(xùn)練，該模型的地層類型相似度可以達(dá)到79.41%，地層層厚度預(yù)測(cè)準(zhǔn)確率可以達(dá)到71.43%，能較為準(zhǔn)確地模擬地層情況。與傳統(tǒng)方法相比，機(jī)器學(xué)習(xí)手段對(duì)地層序列的模擬不需要依賴數(shù)據(jù)假設(shè)與專家經(jīng)驗(yàn)等主觀因素，方法上具有通用性，可為地層結(jié)構(gòu)與分布研究提供新的思路與方法。

　　(2)通過進(jìn)行不同比例的導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)，發(fā)現(xiàn)其有助于提升模型的預(yù)測(cè)能力，但不呈正相關(guān)。訓(xùn)練過程中過多地采用導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)會(huì)影響模型的預(yù)測(cè)表現(xiàn)。

　　參考文獻(xiàn)

　　BhattacharyaB，SolomatineDP.2006.

　　Machinelearninginsoilclassification[J].NeuralNetworks，19(2)：186-195.

　　BreimanL.2001.Statisticalmodeling：Thetwocultures[J].StatisticalScience，16(3)：199-215.

　　ChenG，AnK，LiX.2016.Identificationandclassificationofadversegeologicalbodybasedonconvolutionneuralnetworks[J].GeologicalScienceandTechnologyInformation，35(1)：205-211.

　　ChengGJ，GuoWH，F(xiàn)anPZ.2017.Studyonrockimageclassificationbasedonconvolutionneuralnetwork[J].JournalofXi�餫nShiyouUniversity(NaturalScienceEdition)，32(4)：116-122.