集成SIFT算法与检测模型优化的UAV影像匹配方法
高莎1, 袁希平1,3, 甘淑1,2,*, 胡琳1, 毕瑞1, 李绕波1, 罗为东1
1.昆明理工大学国土资源工程学院, 云南 昆明 650093
2.云南省高校高原山地空间信息测绘技术应用工程研究中心, 云南 昆明 650093
3.滇西应用技术大学云南省高校山地实景点云数据处理及应用重点实验室, 云南 大理 671006
*通讯作者 e-mail: gs@kust.edu.cn

作者简介: 高 莎, 女, 1993年生, 昆明理工大学国土资源工程学院博士研究生 e-mail: 2441689096@qq.com

摘要

低空无人机(UAV)测量凭借着低成本、 高效率、 高精度的数据采集模式, 可快速获取高空间分辨率的影像数据, 已经成为遥感领域的一种重要技术手段。 其中, 影像匹配技术是UAV影像数据处理的重要步骤, 图像间的匹配直接影响后期三维场景的精度及视觉效果。 针对高原山地的高差起伏变化大地形复杂, 植被覆被率高及地物分布不规则等问题存在, 致使在该区域UAV地形测量处理中因局部噪声造成影像匹配较难。 由于影像获取时受到该区特殊地形的限制, 大场景影像需要借助多幅影像匹配拼接得到。 目前, 基于特征点的影像匹配是一种图像配准技术, 不仅适用于低重叠度影像之间的匹配, 还可以运用到运动恢复图像间的匹配。 为探索特殊地形地貌条件下快速有效的UAV影像匹配技术, 提出一种面向高原山地复杂地形的集成尺度不变特征变换(SIFT)算法与最近邻次近邻距离比(NNDR)、 随机抽样一致算法(RANSAC)模型约束改进的UAV影像匹配方法。 主要技术流程为: 首先, 基于SIFT算法, 进行尺度空间的极值检测, 构建高斯金字塔函数, 通过高斯差分运算来实现特征点定位, 并对所检测到的特征点的邻域位置、 方向、 尺度等进行统计分析, 据此生成适合UAV影像特征的描述符; 其次, 集成“马式距离”和NNDR模型的综合运用, 进行特征点对的第一次约束优化提取及相似度检测, 在此基础上, 利用RANSAC算法, 引入匹配点对的均方根误差值(RMSE)进行第二次约束, 以实现匹配错误点对的剔除, 保证了影像匹配精确优化。 此外, 为了证实所提出优化算法的有效性, 选择了1组高原山地典型地貌UAV影像数据进行匹配试验, 结果表明: 面向高原山地复杂地形进行无人机影像匹配中, 所提出的改进算法不仅可以提取大量的特征点对, 同时还可以提高同名特征点的检测正确率, 并且配准正确率达到了85%, 因此更加适用于高原山地复杂地形的无人机影像匹配处理技术优化。

关键词: UAV; 影像匹配; 改进SIFT算法; 对比分析
中图分类号:P237 文献标志码:A
UAV Image Matching Method Integrating SIFT Algorithm and Detection Model Optimization
GAO Sha1, YUAN Xi-ping1,3, GAN Shu1,2,*, HU Lin1, BI Rui1, LI Rao-bo1, LUO Wei-dong1
1. School of Land and Resources Engineering, Kunming University of Science and Technology, Kunming 650093, China
2. Application Engineering Research Center of Spatial Information Surveying and Mapping Technology in Plateau and Mountainous Areas Set by Universities in Yunnan Province, Kunming 650093, China
3. West Yunnan University of Applied Sciences, Key Laboratory of Mountain Land Cloud Data Processing and Application for Universities in Yunnan Province, Dali 671006, China
*Corresponding author
Abstract

Low-altitude unmanned aerial vehicle (UAV) measurement has become an important technical tool in the remote sensing field by the virtue of low-cost, high-efficiency, high-precision data acquisition mode and rapid acquisition images with high spatial resolution. Image matching technology is an important step in UAV image data processing, and the matching between images directly affects the accuracy and visual effect of the later 3D scenes. For the highland mountainous area, the topography is complex with large elevation changes, high vegetation cover and irregular distribution of features, making it difficult to match the images due to local noise in the UAV topographic survey processing. As the special terrain of the area limits the image acuqisition, large scene images need to be obtained by matching and stitching multiple images. At present, feature point-based image matching is an image alignment technique, which is applicable to the matching between low overlap images and can be applied to the matching between motion recovery images. To explore the fast and effective UAV image matching technique under special terrain and landscape conditions. This paper proposes an integration Scale Invariant Feature Transform (SIFT) algorithm, the Nearest Neighbor Distance Ratio (NNDR) algorithm and Random Sample Consensus (RANSAC) model constraints improved the UAV image matching method for complex terrain in highland mountains. The main technical process is as follows: Firstly, based on the SIFT algorithm for extreme value detection in scale space, a Gaussian pyramid function is constructed, and feature point localization is achieved by a Gaussian difference operation. It also performs statistical analysis on the neighborhood location, direction, and scale of the detected feature points to generate a description suitable for UAV image features. Secondly, the first constraint of feature pairs is extracted, and similarity is detected by integrating the “Mahalanobis distance” and NNDR models. On this basis, the RANSAC algorithm is used to introduce the root mean square error (RMSE) of the matched pairs for the second constraint, to achieve the rejection of the wrong matched pairs and ensure the accurate optimization of image matching. In addition, to confirm the effectiveness of the optimization algorithm proposed in this paper, one group of UAV image data of typical landscapes in the highland mountains were selected for matching tests. The results show that the improved algorithm proposed in this paper can extract a large number of point pairs and improve the correct detection rate of the same name points in UAV image matching for complex terrain in highland mountainous areas. Moreover, the correct rate of alignment reaches 85%, so it is more applicable to the optimization of UAV image matching processing technology for complex terrain in highland mountains.

Keyword: UAV; Image registration; Improved SIFT algorithm; Contrastive analysis
引言

影像匹配是无人机影像处理的核心步骤之一。 匹配实质就是从两幅或者多幅影像图中寻找同名特征点的过程。 匹配方法一般分为两大类, 一类是基于影像像素匹配, 另一类为基于影像特征点匹配[1]。 高原复杂山地因地形高差大, 无人机摄影成像视差严重, 植被茂密且遮挡严重, 由此形成影像亮度不均, 以及局部存在阴影等情况而导致此类区域的低空无人机(unmanned air vehicle, UAV)影像匹配难度大, 目前对高原山地复杂地形影像匹配研究屈指可数[2]。 针对无人机遥感影像数据而言, 前期数据采集的不稳定性, 以及高原山地复杂地形的独特地貌条件, 很容易造成影像数据的几何变形, 利用影像像素配准时往往达不到预期效果, 甚至很多时候会出现无法匹配的情况[3]。 相反, 利用特征匹配, 可以很好地提高影像配准的稳定性, 因此, 对无人机遥感影像匹配, 大多数情况下采用的是基于特征的匹配[4]。 基于影像特征匹配主要依靠图像局部不变的点、 线、 面、 纹理等, 经过特征提取、 特征描述、 特征匹配等三大阶段[5]来实现影像数据匹配。 由于基于特征点的匹配具有高效稳定匹配的特点, 因此备受研究者青睐[12]。 目前, 基于特征点匹配主流算法主要有尺度不变特征变换算法(scale invariant feature transform, SIFT)、 加速稳健特征匹配算法(SURF)、 不同尺度的关键点检测算法(BRISK)、 快速特征点提取描述算法(ORB)、 基于非线性尺度空间的特征点检测方法(KAZE)等[6, 7]

无人机影像匹配是无人机影像处理的重要环节, 直接影响后期数据成果的质量精度。 鉴于无人机影像匹配的重要性, 国内外研究学者一直对影像匹配方法持续不断的更新研究并且取得了不错的研究成果[8]。 1997年, Smith提出了基于最小核值相似区域算子, 该算法匹配效果虽好, 但是对阈值依赖性较强, 稳定性差[9]。 Lowe提出尺度不变, 特性变化算法(SIFT), 并于2004年形成了一套基本理论, 对旋转, 缩放, 光照, 尺度变化都具备良好的稳定性, 也是目前影像匹配的主流算法[10]。 2011年, Bradski等提出了ORB算法, 利用FAST进行特征检测然后利用BRIEF描述特征, 该算法虽然匹配效率较高但是匹配误差正确率较低[11]。 2012年Alcantarilla等提出KAZE算法用非线性空间尺度代替线性空间尺度, 从中获取精细的纹理信息导致该算法耗时长, 处理效率低下[12]。 相比国外影像匹配研究, 国内虽然对影像匹配研究起步较晚, 但是在影像匹配领域也获得了很大的进步。 其中, 最具代表性的是2017年, 曾庆化等为弥补ASIFT算法效率低下的不足, 提出了基于ORB算法快速大视角影像匹配[13]。 2018年邓仕雄等为了克服环境条件影响影像匹配效率问题, 提出了引入极线约束来改进SURF算法, 很大程度上提高了影像配准效率[14]。 2019年, 张培佩等提出了一种改进SIFT算法, 该算法通过改变特征描述算法利用汉明距离与最近邻次近邻距离比(nearest neighbor distance ratio, NNDR)方法结合对无人机影像进行匹配, 该方法下影像匹配不仅正确率较高而且配准效率也得到了提升[15]

综合国内外研究现状不难发现, 在影像匹配技术方面已经取得了不错的成果, 但是针对高原山地区域特殊匹配难点问题的无人机影像匹配算法研究相对较少。 本文以云南典型高原复杂地形区域为例, 采用UAV测量技术获取影像数据, 提出利用高斯差分函数进行特征点检测, 通过邻域统计分析描述特征点, 利用“ 马氏距离” 进行匹配点对的二次筛选, 结合NNDR方法进行影像相似度检测, 为进一步对特征点对进行优化选择, 利用随机抽样一致算法(random sample consensus, RANSAC)算法进行配准错误点的剔除, 实现面向滇中高原复杂山地探测的UAV影像配准方法的技术优化。 研究中为了进行方法运用实证, 选取了1组典型地貌遥感影像数据进行配准试验, 并与现行主流SURF, BRISK, ORB和KAZE匹配算法进行对比分析探讨。 总之, 研究旨在构建一套面向高原山地复杂地形无人机影像快速匹配算法流程, 并证实本文匹配技术方案的可行性与有效性。

1 实验部分

本文提出的影像匹配方法的技术流程如图1所示。 主要包括以下四方面关键技术方法的集成运用: ①基于SIFTS算法对影像特征点的进行提取与描述, 即首先通过匹配影像尺度空间极值检测, 构建高斯金字塔, 对上下邻域塔层之间进行高斯差分运算来实现特征点的定位, 然后利用梯度直方图来确定特征点的主-辅方向, 并对特征点邻域方向的位置、 方向、 尺度生成合适的描述字符进行特征描述。 ②基于位置尺度的“ 马氏距离” 匹配技术方法, 对匹配影像的特征点进行二次筛选, 可更加有效计算两张影像的相似度。 ③基于NNDR模型影像相似度检测技术方法, 利用邻域空间距离关系, 确定一个阈值, 进一步完善影像相似度检测。 ④基于RANSAC的粗差剔除技术方法, 基于影像像元大小的基础之上, 利用匹配点对的均方根误差值(root means square error, RMSE)值对粗差剔除进行约束。

图1 UAV影像匹配流程图Fig.1 Flow chart of UAV image matching

1.1 基于尺度不变的影像的特征点提取

特征点检测与描述是无人机影像匹配的基础, 对于影像匹配而言, 选取特征点应具备一定的信息量以及两个方向的独特性。 例如, 利用亮度变化的像素区域来增加信息量以及两个方向特征突出, 使其具备一定的独特性, 在确定特征点之后需要利用计算机语言来对特征点加以描述, 该描述将会影响后期影像匹配的成功率。 特征点的描述最直接方案是利用灰度相关与亮度变化两种方式来进行描述, 针对灰度描述虽然应用广泛, 但是对噪声的敏感度以及抗几何形变的能力较差[7]。 目前, 主流方向还是利用亮度变化构成梯度二阶差分(高阶差分)对特征点进行描述, 基于SIFT算法进行特征点检测与描述也是目前影像匹配主流算法之一, 其中构建“ 最佳尺度空间” 是通过高斯金字塔确定梯度方向进行特征点的检测与描述, 具体步骤如下:

(1) 构建“ 最佳尺度空间”

SIFT的实质即为在不同尺度空间寻找关键点, 通过高斯函数对图像进行模糊降采样及差分处理得到最佳尺度空间。

高斯金字塔每张图像由高斯函数G(x, y, σ )与原图像Image(x, y)求卷积得到L(x, y, σ )来表示, 具体公式如式(1)所示

Image(x, y)* G(x, y, σ)=L(x, y, σ)(1)

其中

G(x, y, σ)=L(x, y, σ)Image(x, y)=12πσ2e-x2+y22σ2(2)

式(1)和式(2)中, * 为卷积运算, σ 为尺度空间因子, 值越小表示图像被平滑次数越小, 相应的空间尺度就越小。

尺度空间在实现时使用高斯差分函数(difference of Gaussian, DOG)D(x, y, σ )表示, 即相邻高斯金字塔上层或下层图像相减, 如式(3)所示, 得到高斯差分图像

D(x, y, σ)=[G(x, y, )-G(x, y, σ)]* I(x, y)=L(x, y, )-L(x, y, σ)(3)

(2)特征点检测

特征点是通过高斯差分函数的局部空间极值点来组成, 利用高斯差分金字塔对该像素点的8个方向相邻点及上下9× 2个相邻点进行比较, 如图2所示, 以确保平面和尺度空间上下都能寻找到极值点。

图2 高斯差分函数的极值检测Fig.2 Extreme value detection of Gaussian difference function

利用高斯差分函数可以找到离散空间中的极值点, 然后结合三维二次函数来确定特征点的位置与尺度, 剔除边缘响应点, 以确保特征点的稳定性, 该方法是利用高斯差分函数在尺度空间进行泰勒展开的矩阵表达, 如式(4)所示

D(X)=D+DTXX+12XT2DXXX^=-2D-1X2DX(4)

式(4)中, X^为中心偏移量, 当该值超过预设阈值时, 需要改变特征点的位置, 并且需要重新定位, 对新的位置进行差值运算, 通过反复迭代运算实现极值点的探测以及特征点准确位置的确定。

(3)特征点主方向确定

为了使描述符具备旋转不变性, 需要确定特征点的基准方向, 通过特征点邻域像素的梯度方向, 并且绘制梯度直方图, 通过梯度直方图的峰值即代表特征点邻域方向的主方向。

(4)特征点描述

每个特征点都拥有三个信息, 位置, 方向以及尺度, 用一组向量对特征点信息进行描述, 使其不随角度, 光照变化而改变, 基于SIFT算法对特征点描述是对特征点邻域方向的梯度信息进行统计通过生成特征描述符加以描述。

1.2 基于“ 马氏距离” 的位置匹配

传统SITF算法的位置匹配都是基于欧式距离的基础上进行邻域距离计算, 在欧式距离空间中, 原本共线的点通过映射处理后仍为共线点, 称之为仿射映射。 如果在一个平面空间内, 一个图形仿射变换为另外一个图形, 称为两个图形仿射等价。 实际生活中, 拍摄3D物体时, 不能保证仿射变换时距离不变, 更无法保证仿射变换时同一个物体在成像过程中仍然处在同一条直线。 通常情况下, 无人机摄影测量时, 当目标对象远远小于摄影机对地观测距离时, 可以用物体的仿射变换表示, 利用2D影像代替3D物体处理。 并且, 同一物体的不同成像由2D影像的仿射变换决定。 基于“ 马氏距离” 的位置匹配主要是通过对匹配影像的特征点进行二次筛选, 为下一步NNDR模型相似度检测提供更精确的样本空间。

马氏距离本身具备仿射变换特点, 无人机遥感影像也满足仿射变换关系, 故匹配特征点的马氏距离差值为0。 利用马氏距离的位置匹配进行匹配点对的二次筛选流程如下:

①构建针对影像AB, SIFT粗匹配特征点的样本空间AsBs;

As={(xA1, yA1)...(xAn, yAn)}Bs={(xB1, yB1)...(xBn, yBn)}(5)

②其中B图中Asi匹配的特征点为Bsi, 根据式(6)分别计算AsiBsi到样本空间AsBs的马氏距离MAdMBd

Mdi=(zi-μ)tC-1(zi-μ)(6)

式(6)中, C为协方差矩阵, C-1C的逆矩阵, μ 为样本均值, 定义如式(7)

μ=(μx, μy)=i=1nxii=1nyinC=i=1nxi-μxyi-μxxi-μxyi-μxn(7)

③计算两幅影像特征点的马氏距离之差。

dis=MAd-MBd(8)

④求dis中的最大值dismax。 通过阈值系数控制, 删除满足dis> κ dismax, 条件的匹配点对。

1.3 基于NNDR模型影像相似度检测

通过特征提取以及特征描述完成了影像数据配准的前半段, 利用马氏距离的距离匹配, 进行了匹配特征点的二次筛选, 接下来是描述两个匹配的特征点是否等价, 来进行影像“ 相似度检测” 。 目前比较常见的影像配准相似度检测主要有相关性检测(nomalized correlation coefficient, NCC), 最近邻次近邻距离比(nearest neighbor distance ratio, NNDR)以及互信息(mutual information, MI)三种测度。 综合三种测度的优缺点以及大量试验表明, 鉴于一般情况NNDR特征描述的独特性, 影像配准的精度高于NCC与MI。

基于NNDR进行无人机影像数据的相似度检测, 实质是对单个指标与多峰值匹配使之具备更好的对抗性。 NNDR是一个相对阈值, 而不是描述亮度与梯度变化的固定阈值, 着重强调特征的“ 独特性” 。 如式(5)所示, D0表示初始特征向量, D1D2表示邻域搜索范围内通过马氏距离得出的最近邻与次近邻特征点对距离, 当NNDR值小于阈值范围, 则定义该点为正确匹配点对。 该方法可有效避免多峰值出现, 提高了数据配准的准确度。

NNDR=D0-D1D0-D2threshold(9)

1.4 基于RANSAC的误匹配处理

为保证影像数据配准的准确性, 需要对误配准的特征进行剔除。 在前期影像配准过程中, 常常会受到外界干扰, 如几何形变, 特征描述的表达能力以及相关性测度的有效性等都会导致误匹配的特征数量高于正确匹配的特征数量。 为了进一步提高配准精度, 确保配准的正确率, 除了利用影像灰度与梯度等辐射量信息, 同时还可以用立体像对之间的相对几何信息进行约束。 在影像配准过程中, 正确匹配的特征点通常称之为“ 内点” , 错误匹配的特征点为“ 外点” , 并且内点通常可以用一定的数据模型进行描述, 例如核线几何。

基于RANSAC检测方法核心就是寻找符合直线方程的两个“ 内点” 。 在采样检测中, 使观测值个数为n, 并且nm, 假定抽样为内点的比例为w, 每次随机抽样m个点, 在抽取k次的情况下, m为内点的概率p=1-(1-wm)k, 给k赋值后即可开始迭代计算, 当P值越接近1时, 表明粗差越小。 每次都随机抽样m个点, 并且模拟出一个直线模型函数, 将其余候选点带入该方程, 如果函数方程值为0或者接近0时, 则判定为内点, 通过多次循环计算, 直到找到最佳内点集合, 再重新计算直线方程, 其中不满足直线方程的即为外点, 在此过程中, 引入同名点对的RMSE值, 通过综合实验及统计分析, 设定RMSE阈值, 来进行特征点对的二次约束, 最后完成对外点的剔除。

2 结果与讨论
2.1 试验数据与试验平台

(1)数据源。 于2020年10月14日, 由大疆 M300搭载RIE-M6相机进行影像数据采集, 并预设航向重叠度50%, 旁向重叠度92%, 平均飞行高度400 m, 影像平均分辨率为0.07 m。 为了验证本文研究方法在高原山地快速配准的优势, 利用1组分辨率5 772 px× 3 648 px像素的典型地貌遥感影像数据进行匹配试验研究, 如图3所示, 该区两张影像局部高差大, 特征不明显。

图3 试验影像数据Fig.3 Experimental image data

(2)试验平台。 本次无人机影像的匹配后台运行环境为: 运行内存16G, Inter(R)Xeon(R)CPUE5-2609 V4 1.70GHZ处理器在Windows 7系统下基于Python3.1.6进行影像匹配。

2.2 基于尺度不变的影像特征点提取处理结果

尺度不变的影像特征点提取分析主要是基于SIFT算法基础上对影像特征点进行提取, 为了验证SIFT算法面向高原山地复杂地形特征点提取的有效性, 并将提取特征点的数目及其提取时长与SURF, BRISK, ORB和KAZE算法提取结果进行综合对比分析, 整理结果如表1所示。

表1 不同算法对影像特征点提取数目及时长统计 Table 1 Statistics on the number and length of image feature point extraction by different algorithms

根据表1中不同算法试验结果统计分析得出: ①针对不同算法的影像特征点提取数量而言, 基于SIFT算法的特征点提取数目最多, 并且与其他四种算法相比呈现出2~4倍基数变化情况; 提取特征点数目次之的为BRISK与KAZE算法, 仅为SIFT算法的52.4%与50.8%; 提取特征点数目最少的为SURF与KAZE算法, 只达到了SIFT算法的46.8%与23.3%。 ②针对不同算法影像特征点提取时长而言, 基于BRISK算法在进行配准试验时间耗时最长, KAZE

算法次之, ORB最小。 ③结合影像特征点数目与耗时分析, 可以得出特征点数量与配准时间成正比, 提取特征点数量越大, 耗时越长, 反之亦然。 其中, 针对BRISK在对影像进行配准试验时, 出现的特征点数量较SIFT次之, 配准时长却高于SIFT算法的时长, 该现象是由于BRISK算法在尺度空间构建耗时较长导致的。 ④综合上述三条论证, 可以得出基于SIFT算法在面向山地复杂地形影像匹配特征点提取时, 能够提取到相对较多的特征点参与影像配准计算, 增强影像匹配的可靠性。

2.3 集成马氏距离位置匹配与NNDR相似度检验

鉴于特征点提取分析对比中, 基于SIFT算法在面向高原山地复杂地形影像特征点提取时, 虽然耗时相对较长, 但是提取特征点对数量较多, 可靠性较强, 并且数据鲁棒性较好。 为了进一步提取高质量的匹配特征点对, 利用“ 马氏距离” 的位置匹配与NNDR特征点对相似度检验对特征点进行二次筛选, 用SIFT+, SURF+, BRISK+, ORB+和KAZE+表示, 如表2所示。

表2 基于马氏距离与NNDR模型匹配点对的二次筛选 Table 2 Secondary screening of matched point pairs based on Mahalanobis distance and NNDR model

根据表2中不同算法结合马氏距离位置匹配约束特征点二次筛选统计结果分析得出: ①针对特征点对数量而言, 通过马氏距离与NNDR匹配特征点对的二次筛选, 5种算法提取特征点对数目均出现成倍数减少现象, 其中, SIFT+算法, 筛选之后的特征点对数量最多, KAZE+特征点对数量最少, 与SIFT+算法呈现了7倍之差。 ②针对特征点对提取耗时而言, 二次筛选很大程度上缩短了匹配点对提取时长。 其中耗时最长为SIFT+算法, BRISK+次之, KAZE+最短。 ③结合影像特征点数目与耗时分析, 通过位置约束以及NNDR相似度检测之后的特征点对较初始匹配特征点对数量大幅度较少, 特征点数量与配准时间成正比。 ④考虑特征点对的提取效率, SIFT+算法虽然耗时较长, 但是提取效率高达35%, BRISK+次之为33%, 提取效率最低的为ORB+, 仅为18%。 ⑤综合上述四条论证, 可以得出, 面向山地复杂地形影像匹配特征点提取时, 结合马氏距离的位置约束与NNDR相似度检测, SIFT+算法不仅提取匹配特征点对数目可靠, 并且缩短了时间程度, 提高了匹配效率。

2.4 综合RANSAC的误匹配剔除改进

本次试验研究中, 为保证影像匹配的准确度, 需要剔除匹配错误特征点对, 在SIFT+, SURF+等5不同算法提取的特征点二次筛选基础上利用RANSAC来剔除立体影像匹配中的错误点对误差。 剔除结果如表3所示, Inliers为内联点对, matched为匹配点对, 通过统计分析, 不难发现, 基于SIFT+算法影像匹配时, 内联点对与匹配点对数量均呈现最大值。

表3 不同算法对影像特征点匹配相关数据统计 Table 3 Statistics related to image feature point matching by different algorithms

为进一步分析5种算法在山区复杂地形下的配准效率与准确度, 本文结合高原山地特性, 利用匹配点对的均方根误差(RMSE)值为阈值, 其中 RMSE 的单位为: 像素。 并根据阈值进行约束迭代处理, 结合匹配正确率, 作为影像匹配效果的评价标准, 对不同算法配准点对的RMSE值进行统计如表4所示。

表4 不同算法对影像特征点提取正确率及RMSE值统计 Table 4 Statistics of correct extraction rate and RMSE rate of image feature points by different algorithms

结合表2表3综合分析可以得出: ①通过RANSAC的误匹配处理与RMSE约束, 就匹配点对而言, 针对不同算法的影像匹配点对数量, 改进后SIFT+算法的匹配点对数目均高于另外4种匹配算法; 并且呈现出3~5倍基数变化情况。 其中匹配点对最少的为KAZE+算法。 ②就影像匹配正确率而言, SIFT+, SURF+, BRISK+, ORB+和KAZE+算法对影像正确匹配率分别为84.1%, 74.2%, 68.8%, 69.37%和77.25%, 结合“ matched” 匹配点对与匹配正确率分析可以得出, 基于SIFT+算法在面向高原复杂山地影像配准时较其余4种算法影像匹配正确率更高。 ③通过影像内联点对、 匹配点对与匹配正确率综合计算分析, 三者未呈现正比的线性相关, 出现该情况是受到前期数据处理时提取内联点对数据量较大的影响。 ④在影像精配准阶段, RANSAC算法基础上引入RMSE对影像匹配结果进行约束, 通过统计分析, 需提前设置一个阈值, 当RMSE值超过预设阈值时候, 则需要剔除影像匹配中的残差最大点, 该方法不仅可以提高配准的准确度还可以同时获取亚像素级精度的匹配点对。 ⑤综合以上试验分析可以得出: 面向山区复杂地形影像配准时, SIFT算法在特征描述, 能够提取到相对较多的特征点对参与影像配准计算, 增强影像匹配的可靠性, 匹配正确率相对较高, 精配准阶段通过RMSE约束条件下, 配准精度可以达到亚像素精度。

3 结论

无人机影像匹配是无人机影响后期处理的关键步骤, 直接影响后期三维重建与特征信息提取的精度。 针对高原山地复杂地形低空无人机影像存在区域变形严重, 高差大, 影像遮挡严重, 特征点不明显以及数据量大等问题, 探讨研究了面向高原山地复杂地形无人机影像如何快速匹配又能保证正确率的问题。 总结本研究主要工作及初步成果包括: ①针对研究区区域变形严重, 高差大, 影像遮挡特征不明显等问题, 利用主流的SIFT, SURF, BRISK, ORB和KAZE算法进行试验研究, 通过综合对比分析, 可以发现基于SIFT+算法的影像匹配在面向山区复杂地形区域时可以很好地发挥其优势, 无论在特征点提取数量还是在匹配正确率方面都较其他4种匹配算法精度高, 可靠性强。 ②通过改进影像匹配算法, 用“ 马氏距离” 位置匹配替换传统欧式距离匹配并结合NNDR模型对匹配点对进行相似度检测, 实现特征点的二次筛选, 实验结果表明SIFT+算法在针对特征点对的二次筛选时不仅可靠性强, 而且缩短了时间成本, 提高了数据处理效率。 ③为进一步提高影像匹配精度, 需要剔除错误匹配特征点对, 结合RANSAC算法引入RMSE对影像匹配结果进行约束, 当RMSE值超过预设阈值时候, 则需要剔除影像匹配中的残差最大点, 该方法不仅匹配正确率相对较高, 而且精配准阶段通过RMSE约束条件下, 配准精度可以达到亚像素精度。

虽然通过实证试验得出了本文提出的技术方法在面向高原山地复杂地形运用中得到不错的匹配效果, 但是仍然还存在一些问题与不足有待深化探讨, 例如: ①由于高原山地复杂地形, 高差突变大局部影像曝光不一致带来的局部阴影还没有很好的方法解决, 在影像预处理阶段, 如何有效快速地对影像进行匀光匀色处理以便得到颜色一致的影像是今后研究的一个重点方向; ②目前, 许多影像匹配算法基本都是基于特征点进行匹配, 后期面向复杂地形特征点信息不明显区域是否可以考虑加入地形线描述参与匹配, 以增加在山体部分的正确特征匹配点对。 ③由于数据量较大, 可以考虑将影像数据分区块处理, 将影像重叠区域重点加密匹配, 减少非重叠区域的冗余影像匹配, 进而提高匹配算法的效率, 需要进一步研究。 ④基于RANSAC算法引入RMSE对影像匹配结果进行约束, RMSE阈值的调控确定, 也是影像数据匹配处理的核心问题, 也是下一步研究的重点方向。

参考文献
[1] YAO Yong-xiang, LI Jia, DUAN Ping, et al(姚永祥, 李佳, 段平, ). Geomatics and Information Science of Wuhan University(武汉大学学报)https://doi.org/10.13203/j.whugis20200362. [本文引用:1]
[2] LI Ya-dong, CAO Ming-lan, LI Chang-qing, et al(李亚东, 曹明兰, 李长青, ). Scientia Silvae Sinicae(林业科学), 2020, 56(10): 113. [本文引用:1]
[3] XI Wen-fei(喜文飞)). Acta Geodaetica et Cartographica Sinica(测绘学报), 2020, 49(8): 1071. [本文引用:1]
[4] TANG Ying-fu, WANG Zhong-jing, ZHANG Zi-xiong(唐颖复, 王忠静, 张子雄). Journal of Tsinghua University·Science and Technology(清华大学学报·自然科学版), 2021, 61(2): 161. [本文引用:1]
[5] YI Li-na, XU Xiao, ZHANG Gui-feng, et al(易俐娜, 许筱, 张桂峰, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2019, 39(6): 1885. [本文引用:1]
[6] JIANG San, XU Zhi-hai, ZHANG Feng, et al(姜三, 许志海, 张峰, ). Geomatics and Information Science of Wuhan University(武汉大学学报信息科学版) , 2019, 44(8): 1153. [本文引用:1]
[7] Mousavi V, Varshosaz M, Remondino F. Remote Sensing, 2021, 13(7): 1302. [本文引用:2]
[8] ZHAN Zong-qian, LI Yi-hui, WANG Chen-dong, et al(詹总谦, 李一挥, 王陈东, ). Geomatics and Information Science of Wuhan University(武汉大学学报信息科学版) , 2018, 43(11): 1620. [本文引用:1]
[9] Gupta S, Thakur K, Kumar M. The Visual Computer, 2021, 37: 447. [本文引用:1]
[10] Lowe D G. International Journal of Computer Vision, 2004, 60(2): 91. [本文引用:1]
[11] Rublee E, Rabaud V, Konolige K, et al. IEEE International Conference on Computer Vision, 2011: 2564. [本文引用:1]
[12] Alcantarilla P F, Bartoli A, Davison A J. Computer Vision-ECCV 2012. Springer, Berlin, Heidelberg, 2012: 214. [本文引用:2]
[13] ZENG Qing-hua, CHEN Yan, WANG Yun-shu, et al(曾庆化, 陈艳, 王云舒, ). Control and Decision(探制与决策), 2017, 32(12): 2233. [本文引用:1]
[14] DENG Shi-xiong, WANG Xiao-hong, LIU Ji-geng, et al(邓仕雄, 王晓红, 刘继庚, ). Journal of Guizhou University·Natural Sciences(贵州大学学报·自然科学版) , 2018, 35(1): 35. [本文引用:1]
[15] ZHANG Pei-pei, WANG Yong-bo, SONG Wei(张培佩, 王永波, 宋伟). Journal of Hunan University of Science & Technology·Natural Science Edition(湖南科技大学学报·自然科学版), 2019, 34(2): 90. [本文引用:1]