摘要：增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion, SfM)已經(jīng)成為無人機(jī)影像空中三角測(cè)量的常用解決方案。考慮到無人機(jī)影像的特點(diǎn)，增量式 SfM 在效率、精度和穩(wěn)健性方面的性能有待提高。首先給出了增量式 SfM 無人機(jī)影像空中三角測(cè)量的技術(shù)流程，然后從特征匹配和幾何解算兩個(gè)方面對(duì)其關(guān)鍵技術(shù)進(jìn)行了綜述，最后從數(shù)據(jù)采集方式改變、大場(chǎng)景影像處理、通信與硬件技術(shù)發(fā)展、深度學(xué)習(xí)融合等方向，展望了增量式 SfM 無人機(jī)影像空中三角測(cè)量的挑戰(zhàn)和后續(xù)研究，總結(jié)本領(lǐng)域的現(xiàn)有研究，為相關(guān)研究者提供參考。

　　關(guān)鍵詞：無人機(jī)影像;空中三角測(cè)量;運(yùn)動(dòng)恢復(fù)結(jié)構(gòu);特征匹配;深度學(xué)習(xí)

　　近年來，無人機(jī)已成為攝影測(cè)量領(lǐng)域的重要觀測(cè)平臺(tái)[1]。與衛(wèi)星和航空攝影相比，無人機(jī)攝影測(cè)量具備高時(shí)效性、高靈活性和高分辨率的優(yōu)勢(shì)[2]。高時(shí)效性能夠?qū)崿F(xiàn)快速的任務(wù)執(zhí)行，滿足應(yīng)急響應(yīng)等需求;也能夠進(jìn)行高頻率作業(yè)，實(shí)現(xiàn)對(duì)目標(biāo)的連續(xù)觀測(cè)。高靈活性可根據(jù)場(chǎng)景結(jié)構(gòu)設(shè)計(jì)飛行航跡，滿足復(fù)雜場(chǎng)景的安全數(shù)據(jù)采集需求。同時(shí)，采用貼近或優(yōu)視攝影作業(yè)模式[3]，無人機(jī)可采集厘米級(jí)甚至毫米級(jí)的高分辨率影像，提升精細(xì)目標(biāo)場(chǎng)景的觀測(cè)能力。無人機(jī)攝影測(cè)量已在建筑物缺陷檢測(cè)、輸電線路巡檢、精細(xì)化農(nóng)業(yè)管理、文物遺產(chǎn)數(shù)字化等領(lǐng)域得到了廣泛應(yīng)用[4]。因?yàn)檩d荷能力或成本限制，無人機(jī)平臺(tái)沒有搭載高精度直接定位定向設(shè)備。無人機(jī)影像定位定向成為保障其應(yīng)用的關(guān)鍵技術(shù)[5]。在攝影測(cè)量與遙感領(lǐng)域，空中三角測(cè)量(簡(jiǎn)稱空三)技術(shù)已成功用于衛(wèi)星和航空影像的定位定向。但是，依賴高精度定位定姿系統(tǒng)(positioning and orientation system， POS)提供精確的未知數(shù)初值，且要求數(shù)據(jù)采集按照規(guī)定的航線執(zhí)行。這些因素極大地限制了攝影測(cè)量空三技術(shù)在數(shù)據(jù)采集無序、精確定位定向初值缺乏的無人機(jī)影像上的應(yīng)用推廣。由于不依賴未知數(shù)初值和具有較強(qiáng)的抗外點(diǎn)能力，增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion，SfM)技術(shù)可以直接從重疊影像恢復(fù)相機(jī)的位置姿態(tài)和場(chǎng)景的結(jié)構(gòu)信息，已成為當(dāng)前無人機(jī)影像空三的常用解決方案[6]。

　　另外，增量式 SfM 技術(shù)可處理無序數(shù)據(jù)集，適應(yīng)無人機(jī)影像的特點(diǎn)。鑒于上述因素，增量式 SfM 技術(shù)已廣泛應(yīng)用于商業(yè)和開源軟件，包括Bentley ContextCapture、Agisoft Metashape 和 MicMac 等影像處理和三維建模軟件。增量式 SfM 技術(shù)包括特征匹配和幾何解算兩個(gè)主要步驟，從兩張種子影像開始，通過迭代定向和平差實(shí)現(xiàn)場(chǎng)景空三處理。盡管在攝影測(cè)量與計(jì)算機(jī)視覺領(lǐng)域，基于局部特征的影像匹配[7]和基于光束法平差的幾何解算[8]已得到了深入研究和廣泛應(yīng)用。原始增量式SfM 技術(shù)用于處理小規(guī)模場(chǎng)景或者低分辨率影像，沒有顧及無人機(jī)影像的特點(diǎn)，主要體現(xiàn)在：

　　(1)無人機(jī)影像具有高分辨率、高重疊度、大數(shù)據(jù)量等特點(diǎn)，導(dǎo)致特征匹配的計(jì)算量大。同時(shí)，大傾角攝影和重復(fù)紋理等因素影響，使得特征匹配存在很多錯(cuò)誤匹配點(diǎn)，降低空三精度和穩(wěn)健性。(2)幾何解算需要迭代優(yōu)化，即每增加一張或若干張影像進(jìn)行局部或者全局光束法平差(bundle adjustment，BA)，導(dǎo)致增量式 SfM 迭代優(yōu)化的效率隨著影像數(shù)量增加而顯著下降[9-10]。

　　隨著無人機(jī)攝影測(cè)量的普及化和規(guī)模化應(yīng)用，勢(shì)必對(duì)基于增量式SfM 技術(shù)的無人機(jī)影像空三在效率、精度和穩(wěn)健性方面提出更高要求[11]。當(dāng)前，許多學(xué)者對(duì)增量式 SfM 無人機(jī)影像空三開展了大量工作。同時(shí)，深度學(xué)習(xí)技術(shù)也在攝影測(cè)量與計(jì)算機(jī)視覺幾何處理領(lǐng)域得到了廣泛研究，對(duì)于提升無人機(jī)影像空三的精度和可靠性具有巨大的應(yīng)用潛力。基于上述考慮，本文首先對(duì)增量式 SfM 的特征匹配和幾何解算關(guān)鍵技術(shù)進(jìn)行了綜述，然后展望了增量式 SfM 無人機(jī)影像空三的挑戰(zhàn)和后續(xù)研究，旨在總結(jié)本領(lǐng)域的現(xiàn)有研究，為相關(guān)研究者提供參考。

　　1 無人機(jī)影像 SfM 流程

　　顯示了無人機(jī)影像增量式 SfM 的技術(shù)流程，包括特征匹配和幾何解算兩個(gè)部分。特征匹配用于建立重疊影像的同名點(diǎn)對(duì)應(yīng)關(guān)系，包括特征提取、特征匹配和粗差剔除。其中，特征提取主要利用局部特征，提取具有高重復(fù)性、高可區(qū)分性的關(guān)鍵點(diǎn)及其描述子，比如 SIFT(scale invariant feature transform)、SURF(speedup robust feature)等特征。

　　特征匹配基于描述子距離最近準(zhǔn)則，利用最近鄰搜索獲取初始匹配點(diǎn);粗差剔除則基于參數(shù)化或非參數(shù)化方法，剔除初始匹配中的錯(cuò)誤匹配點(diǎn)。在獲取特征匹配點(diǎn)后，幾何解算則首先選擇兩張同名點(diǎn)數(shù)量足夠多、分布均勻的種子影像，利用相對(duì)定向算法建立初始化模型;然后通過空間后方交會(huì)，增量式地解算其余影像的位置姿態(tài)和場(chǎng)景三維點(diǎn)，并迭代執(zhí)行局部和全局 BA 提高影像空三精度和消除錯(cuò)誤匹配。無人機(jī)影像增量式 SfM 現(xiàn)有研究也主要從特征匹配和幾何解算兩個(gè)方面開展。

　　2 無人機(jī)影像特征匹配

　　特征匹配的目的是建立兩視或多視影像的同名點(diǎn)關(guān)系，是無人機(jī)影像 SfM 重建的基礎(chǔ)。在攝影測(cè)量與計(jì)算機(jī)視覺領(lǐng)域，特征匹配已有幾十年的研究歷程。基于局部特征描述子的特征匹配已成為當(dāng)前主流方法，該方法首先提取影像高顯著性的點(diǎn)、線或者塊狀結(jié)構(gòu)，并生成對(duì)應(yīng)的高維描述子，然后基于描述子的最近距離準(zhǔn)則建立影像對(duì)應(yīng)關(guān)系。基于局部特征描述子的特征匹配方法主要包括特征提取、特征匹配和粗差剔除 3 個(gè)步驟。

　　2.1 特征提取特征

　　提取的目標(biāo)是提取具有高重復(fù)性、高可區(qū)分性的特征點(diǎn)，并生成對(duì)應(yīng)的特征描述子。其中，高重復(fù)性可以保證所提取的特征點(diǎn)能夠在其他重疊影像中被檢測(cè)到;高可區(qū)分性則保證所提取的特征點(diǎn)能夠在其他重疊影像中被正確匹配到。已有的特征提取方法可以分為手工特征和深度學(xué)習(xí)特征。

　　1)手工特征手工特征提取方法包括早期的旋轉(zhuǎn)不變 Harris 角點(diǎn)特征[12]，到最近的具有尺度、視角和光照不變性的 SIFT 特征[13]及其改進(jìn)算法，比如基于仿射視角模擬的 ASIFT(affineSIFT)[14]、利用平方根代替歐式距離準(zhǔn)則的 RootSIFT[15]。同時(shí)，為了適應(yīng)資源受限平臺(tái)的計(jì)算需求，有學(xué)者利用二進(jìn)制描述子或者硬件加速，提出了計(jì)算效率更高的特征描述子，比如 SURF[16]、ORB(oriented FAST and rotated BRIEF)[17]、GPUSIFT[18]。在攝影測(cè)量與遙感領(lǐng)域，手工特征也得到了深入研究和廣泛應(yīng)用[19-21]。

　　為了實(shí)現(xiàn)大傾角無人機(jī)特征匹配，現(xiàn)有方法一方面提取特征點(diǎn)的局部仿射不變支撐鄰域[22];另一方面利用無人機(jī)粗略 POS 進(jìn)行影像整體糾正，以減少影像透視變形的影響[23-24]。為了實(shí)現(xiàn)高分辨率無人機(jī)影像特征匹配，現(xiàn)有研究通常利用粗略無人機(jī) POS 信息或者降采樣影像之間的單應(yīng)矩陣，建立影像之間的幾何對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)分塊特征匹配策略，這類方法也常用于大幅面遙感影像[25-26]。

　　2)深度學(xué)習(xí)特征近年來，深度學(xué)習(xí)特征在攝影測(cè)量與計(jì)算機(jī)視覺領(lǐng)域得到了廣泛關(guān)注。不同于手工特征的硬編碼模式，深度學(xué)習(xí)從訓(xùn)練樣本提取內(nèi)在特征，并利用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行擬合[27]。大多數(shù)深度學(xué)習(xí)特征采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)模型實(shí)現(xiàn)，可以分為分步特征提取描述網(wǎng)絡(luò)和聯(lián)合特征提取描述網(wǎng)絡(luò)。

　　(1)分步特征提取描述網(wǎng)絡(luò)。該類網(wǎng)絡(luò)僅僅利用 CNN 模型學(xué)習(xí)特征提取方法所獲取影像塊的描述子。文獻(xiàn)[28]提出了基于全卷積結(jié)構(gòu)的 L2-Net 深度特征提取網(wǎng)絡(luò)，利用漸進(jìn)采樣策略和對(duì)數(shù)似然估計(jì)損失函數(shù)實(shí)現(xiàn)模型訓(xùn)練。由于簡(jiǎn)潔的模型結(jié)構(gòu)和優(yōu)異的模型性能，L2-Net 成為后續(xù)多項(xiàng)深度特征學(xué)習(xí)網(wǎng)絡(luò)的基礎(chǔ)模型，包括基于三元邊界損失的HardNet[29]、顧及幾何約束的 GeoDesc[30]、考慮特征點(diǎn)空間關(guān)系的 ContextDesc[31]。

　　(2)聯(lián)合特征提取描述網(wǎng)絡(luò)。該類網(wǎng)絡(luò)直接從影像提取特征點(diǎn)及其對(duì)應(yīng)的描述子。這類網(wǎng)絡(luò)模型采用端到端的結(jié)構(gòu)進(jìn)行設(shè)計(jì)，輸入為原始或者降采樣影像，輸出為特征點(diǎn)和描述子。文獻(xiàn)[32]提出的 LIFT(learned invariant feature transform)網(wǎng)絡(luò)模型，模擬 SIFT 算法的特征提取、主方向計(jì)算和特征描述等步驟，是這類深度學(xué)習(xí)特征的早期嘗試。

　　其他相關(guān)研究者從訓(xùn)練樣本生成、極端場(chǎng)景條件等多個(gè)方面進(jìn)行研究。為了解決特征檢測(cè)網(wǎng)絡(luò)訓(xùn)練樣本不足的問題，文獻(xiàn)[33]利用合成數(shù)據(jù)集，采用特征點(diǎn)自標(biāo)注算法生成訓(xùn)練樣本，提出特征點(diǎn)檢測(cè)器自監(jiān)督學(xué)習(xí)的 SuperPoint 網(wǎng)絡(luò)模型。與常規(guī)的特征提取-特征描述步驟不同，文獻(xiàn)[34]提出適用于極端條件下的特征提取網(wǎng)絡(luò)模型 D2-Net，該模型首先生成特征圖和特征描述子，然后基于特征圖的高層信息提取可靠特征點(diǎn)。

　　與聯(lián)合特征提取描述網(wǎng)絡(luò)相比，分步特征提取描述網(wǎng)絡(luò)在基于影像的三維重建中的應(yīng)用更加廣泛，主要原因在于這類模型可直接嵌入現(xiàn)有的三維重建流程，即從特征提取的影像塊生成類似 SIFT 的 128 維描述子，并采用歐式距離最小化準(zhǔn)則獲得初始特征匹配[27-28]。圖 2 顯示了 RooSIFT 算法與深度學(xué)習(xí)模型進(jìn)行特征提取的性能對(duì)比。其中，特征匹配均采用描述子歐式距離最近鄰準(zhǔn)則實(shí)現(xiàn)，括號(hào)中的數(shù)值分別代表內(nèi)點(diǎn)數(shù)、初始匹配數(shù)和內(nèi)點(diǎn)率。從實(shí)驗(yàn)結(jié)果可以看出，與 RootSIFT 算法相比，近年提出的深度學(xué)習(xí)模型性能逐步提高，并超過手工特征提取算法的性能。

　　2.2 特征匹配

　　匹配效率提升特征匹配通過描述子歐式距離最近準(zhǔn)則建立初始匹配點(diǎn)。已有方法一般通過近似最近鄰搜索算法(approximate nearest neighbor，ANN)[35]或者圖形處理器(graphics processingunit，GPU)加速技術(shù)[18]提升特征匹配效率。由于高維特征描述子計(jì)算量大和無人機(jī)影像分辨率高、匹配對(duì)數(shù)量多等因素，特征匹配成為無人機(jī)攝影測(cè)量三維重建最耗時(shí)的步驟之一[36]。無人機(jī)影像特征匹配效率提升的方法主要分為 3 類：

　　(1)限制影像的特征點(diǎn)數(shù)量。其核心思想是選擇有用的特征點(diǎn)參與匹配。文獻(xiàn)[37]以尺度空間和影像空間的均勻分布為準(zhǔn)則，選擇分布均勻的特征點(diǎn);文獻(xiàn)[38]選擇高層尺度空間的特征，并將其嵌入 VisualSfM 軟件，實(shí)現(xiàn)線性時(shí)間復(fù)雜度的特征匹配;文獻(xiàn)[39]則考慮特征描述子的信息量，選擇更容易匹配的特征點(diǎn)。

　　(2)減少參與匹配的影像數(shù)量。其核心思想是從原始數(shù)據(jù)集中選擇代表性的關(guān)鍵影像，進(jìn)而減少后續(xù)匹配對(duì)的數(shù)量，實(shí)現(xiàn)特征匹配加速。現(xiàn)有方法分為基于影像聚類的方法[40-41]和基于影像拓?fù)溥B接圖分析的方法[42-43]。前者從具有相同視角的影像聚類集合中選擇一張代表性的影像，如文獻(xiàn)[41]中的 iconic view;后者則將影像和匹配對(duì)表達(dá)為無向圖結(jié)構(gòu)，并從圖結(jié)構(gòu)中選擇一個(gè)最小頂點(diǎn)子集，使得該頂點(diǎn)子集能夠穩(wěn)健重建，并且其他頂點(diǎn)存在至少一條與之連接的邊。

　　(3)減少影像匹配對(duì)數(shù)量。其核心思想是減少不必要的匹配對(duì)，達(dá)到匹配加速的目的。這類方法往往是最直接、可靠的特征匹配加速方法。在不依賴其他輔助信息的情況下，影像匹配對(duì)選擇可以依據(jù)降采樣影像的匹配點(diǎn)數(shù)量[38]或者基于內(nèi)容的影像檢索(content-based image retrieval，CBIR)技術(shù)獲得[44-45]。

　　對(duì)于無人機(jī)影像，機(jī)載 POS 數(shù)據(jù)可以提供輔助信息用于匹配對(duì)選擇[46-47]。上述方法生成的影像匹配對(duì)依然包含很多冗余信息。影像拓?fù)溥B接圖(topological connection network，TCN)首先被用于簡(jiǎn)化匹配對(duì)數(shù)量[48-49]，如文獻(xiàn)[48]利用影像 POS 信息建立初始影像拓?fù)溥B接圖;然后提取最小生成樹，實(shí)現(xiàn)影像拓?fù)溥B接圖的最簡(jiǎn)化;最后基于連接邊擴(kuò)展，建立航向旁向連接邊，達(dá)到影像匹配對(duì)簡(jiǎn)化的目的。

　　與初始 TCN 圖相比，影像匹配對(duì)數(shù)量顯著減少。深度學(xué)習(xí)技術(shù)近年來，深度學(xué)習(xí)技術(shù)也被用于特征匹配，取代描述子最近鄰搜索策略。現(xiàn)有深度學(xué)習(xí)網(wǎng)絡(luò)模型采用全連接神經(jīng)網(wǎng)絡(luò)作為匹配判別層，并與特征提取層組成端到端的特征匹配網(wǎng)絡(luò)。匹配判別層和特征提取層組成了深度學(xué)習(xí)特征匹配的網(wǎng)絡(luò)模型，即聯(lián)合特征測(cè)度學(xué)習(xí)網(wǎng)絡(luò)。特征匹配網(wǎng)絡(luò)通常采用孿生結(jié)構(gòu)或者三分支結(jié)構(gòu)。

　　文獻(xiàn)[50]設(shè)計(jì)了基于孿生結(jié)構(gòu)的 MatchNet 網(wǎng)絡(luò)，包含一個(gè)多層 CNN 組成的特征描述子生成子模塊和一個(gè)三層全連接子模塊組成的描述子相似性計(jì)算子模塊;文獻(xiàn)[51]對(duì)比了 5 種特征匹配神經(jīng)網(wǎng)絡(luò)模型，即雙通道網(wǎng)絡(luò)、孿生網(wǎng)絡(luò)、偽孿生網(wǎng)絡(luò)、中心環(huán)繞-雙流網(wǎng)絡(luò)，以及空間金字塔池化網(wǎng)絡(luò)。除了網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，訓(xùn)練樣本采樣策略對(duì)深度學(xué)習(xí)模型的性能有顯著影響。文獻(xiàn)[52]提出漸進(jìn)采樣策略，選擇較難匹配的正負(fù)樣本。該采樣策略可以提高模型的判別能力，加速模型訓(xùn)練速度，也被其他相關(guān)研究所采用[29]。

　　2.3 粗差剔除由于局部描述子有限的可區(qū)分性和遮擋、重復(fù)紋理等因素影響，基于最近鄰搜索的初始特征匹配不可避免地包含錯(cuò)誤匹配點(diǎn)，粗差剔除成為高精度特征匹配的關(guān)鍵步驟。現(xiàn)有粗差剔除方法可以分為參數(shù)化方法、非參數(shù)化方法和深度學(xué)習(xí)方法。

　　3 無人機(jī)影像

　　幾何解算攝影測(cè)量平差假定數(shù)據(jù)采集航線規(guī)范、未知數(shù)理想初值已知。考慮到無人機(jī)影像的無序性和未知數(shù)初值不確定，運(yùn)動(dòng)恢復(fù)結(jié)構(gòu) SfM 成為無人機(jī)影像空三的標(biāo)準(zhǔn)解決方案。SfM技術(shù)來源于計(jì)算機(jī)多視幾何領(lǐng)域，其目標(biāo)是為恢復(fù)重疊影像位姿和場(chǎng)景結(jié)構(gòu)信息。SfM 的優(yōu)勢(shì)主要體現(xiàn)在兩個(gè)方面：(1)不依賴未知數(shù)初值，直接從重疊影像估計(jì);(2)不對(duì)數(shù)據(jù)采集標(biāo)準(zhǔn)過度要求，能夠適應(yīng)無序數(shù)據(jù)集。

　　4 結(jié)語

　　本文對(duì)增量式 SfM 的特征匹配和幾何解算關(guān)鍵技術(shù)進(jìn)行了綜述。現(xiàn)有研究極大地推動(dòng)了增量式 SfM 朝著高效率、高精度和高穩(wěn)健的方向發(fā)展，同時(shí)也促進(jìn)了包括 AliceVision、COLMAP、MetaShape 和 Pix4DMapper 等開源和商業(yè)軟件系統(tǒng)的不斷完善。當(dāng)前，在攝影測(cè)量與計(jì)算機(jī)視覺領(lǐng)域，增量式 SfM 無人機(jī)影像空三的研究熱情依然不減。考慮到數(shù)據(jù)采集方式改變、大場(chǎng)景數(shù)據(jù)處理、通信與硬件技術(shù)發(fā)展、以及深度學(xué)習(xí)融合等因素，增量式SfM 無人機(jī)影像空三面臨新的挑戰(zhàn)和發(fā)展。本文從以下幾個(gè)方面進(jìn)行研究展望：

　　(1)針對(duì)幾何感知的數(shù)據(jù)采集方式，如何實(shí)現(xiàn)高效、高精度的影像匹配，是提高增量式 SfM 無人機(jī)影像空三效率和精度的基礎(chǔ)。近年來，幾何感知無人機(jī)航跡規(guī)劃方式得到了廣泛關(guān)注，如貼近或優(yōu)視攝影測(cè)量[3]。但是，由于飛行高度低和大傾角攝影造成的遮擋嚴(yán)重、透視畸變問題，導(dǎo)致同名點(diǎn)的匹配難度大。現(xiàn)有研究通常利用無人機(jī)平臺(tái)的粗略 POS整體糾正影像，這類方法以減少特征數(shù)量和額外計(jì)算量為代價(jià)，很難滿足大場(chǎng)景無人機(jī)影像高效特征匹配需求。同時(shí)，無序影像的窮舉匹配極大地降低了影像匹配效率。

　　基于內(nèi)容的圖像檢索 CBIR 利用圖像特征進(jìn)行相似影像搜索，成為開源 SfM 系統(tǒng)特征匹配加速的重要模塊。對(duì)于無人機(jī)影像，則要從檢索精度和檢索效率兩方面進(jìn)行平衡：如果利用公開數(shù)據(jù)集訓(xùn)練詞匯庫，則會(huì)降低檢索精度;如果用無人機(jī)影像本身訓(xùn)練，則會(huì)造成高計(jì)算代價(jià)。高效影像檢索和穩(wěn)健特征匹配是增量式 SfM 無人機(jī)影像空三的基礎(chǔ)。

　　(2)針對(duì)大場(chǎng)景影像數(shù)據(jù)處理，如何加速 BA 優(yōu)化效率和避免 SfM 順序性約束，是提高無人機(jī)影像空三效率和穩(wěn)健性的核心。增量式 SfM 依賴迭代的局部和全局 BA 優(yōu)化，以減少誤差累計(jì)和提高位姿解算精度。為了提高 BA 優(yōu)化效率，現(xiàn)有方法通常從硬件加速技術(shù)、簡(jiǎn)化和優(yōu)化平差模型等方面改進(jìn)，但依然無法滿足大場(chǎng)景數(shù)據(jù)處理需求。盡管硬件加速是提升 BA 效率最直接的方式，但是嚴(yán)重依賴所使用的硬件配置條件，有時(shí)無法滿足實(shí)際應(yīng)用的硬件條件。

　　平差模型簡(jiǎn)化和優(yōu)化方法能夠減少未知數(shù)數(shù)量，但是其加速上限十分有限，且依賴特定的數(shù)據(jù)采集設(shè)備。近年來，基于分塊-合并策略的并行增量式 SfM 技術(shù)將大場(chǎng)景分割為緊湊的小場(chǎng)景，結(jié)合分布式并行計(jì)算技術(shù)，可打破順序性約束。盡管在處理大場(chǎng)景影像數(shù)據(jù)方面受到廣泛關(guān)注，但是模型合并仍是其難點(diǎn)。

　　(3)聯(lián)合深度學(xué)習(xí)技術(shù)的增量式 SfM 無人機(jī)影像空三技術(shù)框架。當(dāng)前，深度學(xué)習(xí)已在圖像語義信息提取方面得到廣泛應(yīng)用。聯(lián)合圖像語義信息的攝影測(cè)量幾何處理也已成為新的研究熱點(diǎn)[90]。

　　一方面，深度學(xué)習(xí)技術(shù)可以直接獲取幾何處理所需的特征信息，增強(qiáng)手工特征的判別能力;另一方面，經(jīng)典幾何處理方法具有更高的精度，可以密集深度學(xué)習(xí)技術(shù)的不足。從影像特征匹配方面看，聯(lián)合特征提取描述網(wǎng)絡(luò)需對(duì)原始影像進(jìn)行降采樣，導(dǎo)致特征點(diǎn)僅有像素級(jí)定位精度[91-92]。

　　結(jié)合高精度的手工特征提取算法和高可區(qū)分性的深度學(xué)習(xí)特征描述網(wǎng)絡(luò)，則可得到精度和可區(qū)分性增強(qiáng)的特征描述子。因此，聯(lián)合深度學(xué)習(xí)技術(shù)的優(yōu)勢(shì)，對(duì)特征提取、特征匹配、粗差剔除、幾何解算等環(huán)節(jié)進(jìn)行優(yōu)化，可以進(jìn)一步提升增量式 SfM 無人機(jī)影像空三的整體性能。

　　(4)針對(duì)災(zāi)害應(yīng)急、突發(fā)事件監(jiān)測(cè)等時(shí)效性敏感應(yīng)用，如何實(shí)現(xiàn)機(jī)上實(shí)時(shí)數(shù)據(jù)處理是進(jìn)一步擴(kuò)展無人機(jī)攝影測(cè)量應(yīng)用的重要途徑。當(dāng)前，無人機(jī)攝影測(cè)量應(yīng)用主要采用在線數(shù)據(jù)采集和離線數(shù)據(jù)處理模式，主要原因在于無人機(jī)平臺(tái)有限的計(jì)算能力和數(shù)據(jù)傳輸帶寬。

　　無人機(jī)論文范例：淺談無人機(jī)遙感測(cè)繪技術(shù)在露天礦山測(cè)繪中的應(yīng)用前景

　　隨著移動(dòng)計(jì)算設(shè)備和通信技術(shù)的發(fā)展，無人機(jī)機(jī)上實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的數(shù)據(jù)處理和信息傳輸將會(huì)得到進(jìn)一步發(fā)展，如英偉達(dá) Jetson 高性能人工智能邊緣計(jì)算、基于 5G 通訊技術(shù)的快速數(shù)據(jù)傳輸。同時(shí)，機(jī)器人導(dǎo)航與自動(dòng)駕駛領(lǐng)域利用同時(shí)定位與制圖技術(shù)(simultaneouslocalization and mapping，SLAM)實(shí)現(xiàn)未知場(chǎng)景下的環(huán)境探索[93]和自主導(dǎo)航。這些技術(shù)會(huì)進(jìn)一步提升無人機(jī)系統(tǒng)的智能化水平，擴(kuò)展無人機(jī)攝影測(cè)量應(yīng)用。因此，面向機(jī)上實(shí)時(shí)/準(zhǔn)實(shí)時(shí)的信息提取將會(huì)成為一個(gè)重要需求。

　　參考文獻(xiàn)：

　　[1]Li Deren, Li Ming. Research Advance and Application Prospect of Unmanned Aerial Vehicle RemoteSensing System[J]. Geomatics and Information Science of Wuhan University, 2014, 39(5): 505-513 (李德仁, 李明. 無人機(jī)遙感系統(tǒng)的研究進(jìn)展與應(yīng)用前景[J]. 武漢大學(xué)學(xué)報(bào)·信息科學(xué)版,2014, 39(5): 505-513)

　　[2] Colomina I, Molina P. Unmanned Aerial Systems for Photogrammetry and Remote Sensing: AReview[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 92: 79-97

　　[3] Zhou X H, Xie K, Huang K, et al. Offsite Aerial Path Planning for Efficient Urban SceneReconstruction[J]. ACM Transactions on Graphics, 2020, 39(6): 192

　　[4] Jiang S, Jiang W S, Wang L Z. Unmanned Aerial Vehicle-Based Photogrammetric 3D Mapping: ASurvey of Techniques, Applications, and Challenges[J]. IEEE Geoscience and Remote SensingMagazine, 2248, PP(99): 2-38

　　[5] Jiang San, Xu Zhihai, Zhang Feng, et al. Solution for Efficient SfM Reconstruction of ObliqueUAV Images[J]. Geomatics and Information Science of Wuhan University, 2019, 44(8): 1153-1161(姜三, 許志海, 張峰, 等. 面向無人機(jī)傾斜影像的高效 SfM 重建方案[J]. 武漢大學(xué)學(xué)報(bào)·信息科學(xué)版, 2019, 44(8): 1153-1161)

　　作者：姜三 1,2，陳武 2，李清泉 3，江萬壽 4