引用本文
刘青松, 杜文静, 罗博, 李凯歌, 但有全, 许罗鹏, 杨秀锋, 唐深兰. 飞机机翼表面损伤的近红外高光谱识别[J]. 光谱学与光谱分析, 2024,44(11): 3069-3074.
LIU Qing-song, DU Wen-jing, LUO Bo, LI Kai-ge, DAN You-quan, XU Luo-peng, YANG Xiu-feng, TANG Shen-lan. Near Infrared Hyperspectral Identification of Surface Damage on Aircraft Wings[J]. Spectroscopy and Spectral Analysis, 2024,44(11): 3069-3074.
Doi:10.3964/j.issn.1000-0593(2024)11-3069-06  
Permissions
Copyright©2024, 《光谱学与光谱分析》期刊社
《光谱学与光谱分析》期刊社 所有
飞机机翼表面损伤的近红外高光谱识别
刘青松1, 杜文静1, 罗博2, 李凯歌1, 但有全1,*, 许罗鹏1, 杨秀锋2, 唐深兰1
1.中国民用航空飞行学院理学院/民航光子与光学探测重点实验室, 四川 广汉 618307
2.中国民用航空飞行学院机务处, 四川 广汉 618307
*通讯作者 e-mail: dandin12x@163.com

作者简介: 刘青松, 1991年生, 中国民用航空飞行学院讲师 e-mail: lqs@cafuc.edu.cn;杜文静, 女, 1997年生, 中国民用航空飞行学院硕士研究生 e-mail: du_wenjing_11@163.com;刘青松, 杜文静: 并列第一作者

收稿日期: 2023-06-06 修回日期: 2024-01-15
基金: 国家自然科学基金项目(U1433127), 中央高校基本科研业务费专项资金项目(ZJ2022-003, ZJ2022-005, JG2022-27, JG2019-19, J2020-060), 四川省通用航空器维修工程技术研究中心资助课题(GAMRC2021YB08)资助
摘要

飞机表面损伤的检测和设备研究, 对于飞行安全与运营效益具有重大的现实意义。 光谱匹配技术是飞机表面损伤高光谱检测需要解决的关键技术之一。 不同光谱匹配算法的识别精度常因研究对象而异。 为了利用光谱匹配算法实现飞机样品损伤识别, 首先搭建了室内近红外高光谱飞机表面损伤检测系统, 采集了参考样品和蒙皮样品两类样品的高光谱数据, 并利用损伤像元光谱和无损像元光谱制作了两类像元的标准光谱。 接着基于计算待测像元光谱与标准光谱相似度的匹配方法, 先后采用光谱角(SA)、 马氏距离(MD)、 光谱信息散度(SID)、 光谱相关系数(SCC)四类单一光谱匹配算法和六类组合光谱匹配算法进行两类样品的损伤识别。 利用总体分类精度 Pa和Kappa系数对上述光谱匹配算法的损伤识别结果进行精度评价。 通过对SA、 MD、 SID、 SCC单一算法的阈值参数优化, 给出能够较好满足检测需求的合理阈值组。 进一步, 基于四类单一算法进行组合匹配算法设计, 分别采用SA-MD、 SA-SID、 SA-SCC、 MD-SID、 MD-SCC和SID-SCC六类组合算法对两类飞机样品进行损伤识别。 结果表明, 相比单一匹配算法, 组合算法的整体识别准确率相对较高。 最后, 分别给出适用于飞机样品损伤识别的最优单一匹配算法和组合算法, 其中SCC算法和MD-SCC算法, 对两类样品的损伤识别率分别可达95%以上和97.5%, 可为外场飞机表面损伤的高光谱检测提供技术支撑。

关键词: 高光谱; 飞机表面; 损伤识别; 光谱匹配; 总分精度
中图分类号:O433.4 文献标志码:A
Near Infrared Hyperspectral Identification of Surface Damage on Aircraft Wings
LIU Qing-song1, DU Wen-jing1, LUO Bo2, LI Kai-ge1, DAN You-quan1,*, XU Luo-peng1, YANG Xiu-feng2, TANG Shen-lan1
1. School of Science & Key Laboratory of Photonic and Optical Detection in Civil Aviation, Civil Aviation Flight University of China, Guanghan 618307, China
2. Maintenance Department, Civil Aviation Flight University of China, Guanghan 618307, China
*Corresponding author

LIU Qing-song and DU Wen-jing: joint first authors

Abstract

The development of detection techniques and equipment for aircraft surface damage has significant practical significance for flight safety and operational efficiency. Spectral matching technology is a crucial technology that must be addressed in the hyperspectral detection of aircraft surface damage. The recognition accuracy of different spectral matching algorithms often varies depending on the research object. To use a spectral matching algorithm to achieve damage identification of aircraft samples, this article first built an indoor near-infrared hyperspectral system for aircraft surface damage detection and collected hyperspectral data of reference samples and skin samples. It produced standard spectra of two types of pixels using damaged pixel spectra and non-destructive pixel spectra. Subsequently, based on the matching method for calculating the similarity between the measured pixel spectrum and the standard spectrum, four types of single spectrum matching algorithms, namely spectral angle (SA), Mahalanobis distance (MD), spectral information divergence (SID), and spectral correlation coefficient (SCC), and six types of combined spectrum matching algorithms, were used for damage identification of two types of aircraft samples. The accuracy of multiple spectral matching algorithms' damage identification results was evaluated using the overall classification accuracy Pa and Kappa coefficient. A reasonable threshold group that can better meet the detection requirements is provided by optimizing the threshold parameters of single algorithms, such as SA, MD, SID, and SCC. Furthermore, based on the above four types of single matching algorithms, six types of combined matching algorithms were designed and used for sample damage identification, like SA-MD, SA-SID, SA-SCC, MD-SID, MD-SCC, and SID-SCC. The results show that the identification accuracy of those combined algorithms is relatively higher than that of any matching algorithms. Finally, this article presents the optimal single matching algorithm and combination matching algorithm for damage identification of aircraft samples, with the SCC algorithm and MD-SCC algorithm achieving damage identification rates of over 95% and 97.5% for both types of samples, respectively. This can provide technical support for hyperspectral detection of aircraft surface damage in the outfield.

Keyword: Hyperspectrum; Aircraft surface; Damage identification; Spectral matching; Overall classification accuracy
引言

飞机表面的周期性检查是检修维护的重要环节。 机翼表面结构主要由包围在骨架外围的蒙皮-涂层系统构成, 由于长时间暴露在外界恶劣的环境下, 加之长期承受交变载荷和摩擦作用, 甚至可能遭遇鸟击或雷击等突发意外情况, 极易导致机翼表面结构损伤[1]。 表面涂层发生损伤后, 腐蚀介质的渗入将引起蒙皮的腐蚀、 老化、 裂纹和变形[2]。 机翼结构完整性的破坏不仅增加维护成本, 缩短飞机服役寿命, 甚至易引发飞行故障和灾难。 因此开展飞机表面损伤的检测技术和设备研究, 对于飞行安全与运营效益具有重大的现实意义。

人工检查主要依靠检测人员目视或手持检测设备进行检测。 目前国内外航空公司的机外检查主要以人工检查为主, 约占所有检测的90%[3], 其主要弊端在于劳动强度大、 准确率较低、 质量差异大、 检测周期长、 综合成本高。 基于机器视觉技术的自动检测方法, 借助机器人搭载可见光或热红外相机, 收集清晰、 直观的图像或三维视频, 极大减少了对检测人员的依赖[4, 5]。 不过, 对于飞机表面存在的难以用肉眼察觉的微孔洞、 微裂纹等缺陷, 基于图像特征的机器视觉检测精度仍然十分有限, 因此亟需发展新型的飞机表面检测技术。 高光谱成像技术是一种可非接触获取目标空间信息, 同时又能以较高光谱分辨率获取目标精细光谱信息的先进技术[6], 已在农产品内外品质的快速检测领域得到广泛应用。 而高光谱成像技术用于飞机表面损伤检测的研究鲜有报道, 2018年, Ma等尝试利用可见光高光谱技术对B787飞机表面的雷击损伤进行检测识别, 在其所采用的四种分类算法中, 支持向量机(SVM)对模拟雷击损伤的识别效果最好[7]。 类似研究中, 2014年, 高建树等通过设计构造冰的光谱特征和识别阈值, 提出一种机翼铝蒙皮表面积冰及冰厚的近红外多光谱检测技术[8]。

光谱匹配技术是高光谱图像目标识别的一种方法, 也是飞机表面损伤检测中需要解决的关键技术之一[9]。 常用的光谱匹配算法包括基于统计指标的匹配、 基于光谱编码的匹配和基于波形特征的匹配[10]。 不同算法的识别精度常因研究对象而异, 两种或多种光谱相似性测度的组合可有效提高光谱匹配分类的精度[11]。 为了利用光谱匹配算法实现飞机表面损伤识别, 搭建了室内近红外高光谱飞机表面损伤检测系统, 采集了参考样品和蒙皮样品两类机翼样品的高光谱数据。 先后采用四类单一匹配算法和六类组合匹配算法进行损伤识别。 利用总体分类精度Pa和Kappa系数对多种光谱匹配算法的损伤识别结果进行精度评价[12]。 最终分别给出适用于机翼样品的最优单一匹配算法和组合算法, 从而为飞机表面损伤的高光谱检测提供技术支撑。

1 实验部分
1.1 样品制备和数据采集

为了确保观察到的损伤像元和无损像元的光谱差异, 确实是由飞机表面损伤引起的, 选用两种基材制作的机翼样品。 参考样品以1060纯铝为基材, 依次进行打磨处理、 底漆喷涂和晾干、 面漆喷涂和风干, 以此模拟机翼表面的蒙皮-涂层系统。 蒙皮样品为从中国民用航空飞学院的Cessna172R教练机机翼上切割的表面蒙皮-涂层系统(基材为2024-T3铝合金), 并分别制作长短不一、 粗细不同的划痕损伤, 以模拟不同的机翼表面划痕损伤。 参考样品根据损伤大小划分为六个感兴趣区, 如图1(a)所示, 各区域内均含有不同程度的损伤: ①长7.5 mm 宽0.5 mm、 ②长17.5 mm 宽0.5~2.0 mm、 ③长28.5 mm 宽0.5~1.5 mm、 ④长7.0 mm 宽2.0 mm、 ⑤长13.5 mm 宽1.5 mm、 ⑥长30.0 mm 宽1.0~2.5 mm。 而蒙皮样品则划分为四个区域, 如图1(b)所示: ①长7.0 mm 宽0.2 mm、 ②长7.5 mm 宽0.7 mm、 ③长14.5 mm 宽0.2 mm、 ④长14.0 mm 宽0.7 mm。

图1 飞机机翼样品Fig.1 Samples of the aircraft wing

利用搭建的室内近红外高光谱飞机表面损伤检测系统[13], 如图2所示, 对上述两类样品进行数据采集和分析。 该系统主要由近红外高光谱成像仪(江苏双利合谱公司生产的Image-λ -N17E型, 光谱分辨率5 nm)、 卤素灯照明光源、 电动位移平台、 计算机控制子系统组成, 可在900~1 700 nm波段范围内以1.8nm的采样间隔进行光谱成像, 提供512个采样波段的样品近红外高光谱图像。 采集前需对系统各参数进行调试, 确保高光谱数据采集效果较佳。 采集过程中, 置于电动位移平台上的实验样品, 随平台沿滑轨匀速移动, 同时数据采集软件实时显示图像和光谱信息。 样品数据采集完后, 还需分别采集白板和暗背景的参考数据, 以备后续光谱反射率校准处理。 测量时设置物像距离1.2 m(相应线视场宽度38 cm, 空间分辨率0.6 mm), 电动位移平台速度0.75 cm· s-1, 相机曝光时间3 ms。

图2 室内近红外高光谱飞机表面损伤检测系统Fig.2 Indoor near-infrared hyperspectral aircraft surface damage detection system

1.2 机翼样品高光谱数据预处理

首先利用数据采集软件Spectra VIEW将机翼样品的高光谱数据进行反射率校准, 然后利用数据处理软件ENVI(environment for visualizing images), 提取损伤像元与无损像元的真实反射率光谱曲线。 在参考样品的六个目标区内, 选取损伤像元和无损像元各30个, 在蒙皮样品的四个目标区内, 选取损伤像元和无损像元各20个, 提取和计算其平均反射率光谱, 并作为损伤和无损两类像元样本的标准光谱。 图3为参考样品不同区域的损伤和无损像元的光谱曲线, 两类像元光谱存在一定差异, 剔除探测器响应的两端边缘波段, 无损像元光谱反射率随波长单调上升, 而损伤像元光谱曲线则存在一定波动, 在1 000 nm左右多数损伤像元出现一定程度波峰, 且无损像元反射率整体低于损伤像元。 图4为蒙皮样品像元的光谱曲线, 两类像元光谱曲线差异较大, 特别在1 000~1 300 nm波长区间内变化趋势差异显著, 无损像元光谱曲线整体呈下降趋势, 而损伤像元存在较宽的明显波峰, 且损伤像元的反射率明显高于无损像元。

图3 参考样品两类像元的光谱曲线Fig.3 Spectral curves of two types pixels of the reference sample

图4 蒙皮样品两类像元的光谱曲线Fig.4 Spectral curves of two types pixels of the skin sample

经过反射率校准和感兴趣区域选择后, 为更高效减少冗余需对其进行数据降维, 采用主成分分析法(principal component analysis, PCA)对飞机样品高光谱数据进行降维。 参考样品, 选择主成分数7时, 累计方差贡献率为99.8%。 蒙皮样品, 选择主成分数5时, 累计方差贡献率可达99.7%, 从而实现在保留原始数据信息的同时大幅进行数据降维。 后续的光谱匹配算法基于经过主成分降维后的样品光谱。

2 光谱匹配算法的优化设计
2.1 单一匹配算法的阈值设计

在高光谱图像目标识别中, 光谱匹配技术主要通过计算两条光谱曲线的相似度来判断未知像元的归属类别。 为了利用光谱匹配算法实现飞机表面损伤识别, 分别采用光谱角(SA)、 马氏距离(MD)、 光谱信息散度(SID)、 光谱相关系数(SCC)四类单一光谱匹配算法对参考样品和蒙皮样品进行损伤识别。 在上述两类样品的所有目标区域内, 每类样品各随机选取像元样本40个, 其中包含损伤样本20个和无损样本20个, 共计80个, 作为测试样本。

光谱匹配算法的阈值设置会直接影响算法的识别率。 因而, 如何选择识别率高且不过分严格的阈值参数是值得深入探讨的。 设待测光谱X与标准光谱Y的光谱匹配统计值为θ , 阈值设置为c。 光谱角(SA)、 马氏距离(MD)、 光谱信息散度(SID)均是统计值越小, 光谱相似度越高。 因此当统计值θ 小于阈值c时, 即判定X属于Y类, 反之, 则不属于Y类。 对于SCC算法, 统计值越大, 光谱相似度越高。 因此其判定法则为当统计值θ 大于阈值c时, 即判定X属于Y类, 反之不属于Y类。 由于本文只对像元进行有损和无损像元的分类, 因此, 总体分类精度Pa的值能反映模型分类识别的准确率; 而Kappa系数表示度量一致性的指标, 即模型预测结果和实际分类结果是否一致的程度。 表1、 表2分别为参考样品和蒙皮样品在不同阈值时, 四类单一光谱匹配算法的总体分类精度Pa和Kappa系数。

表1 不同阈值单一光谱匹配算法分类精度评价结果(参考样品) Table 1 Classification accuracy evaluation results of single spectral matching algorithms with different thresholds (reference samples)
表2 不同阈值单一光谱匹配算法分类精度评价结果(蒙皮样品) Table 2 Classification accuracy evaluation results of single spectral matching algorithms with different thresholds (skin samples)

对于参考样品, 当设置四类单一算法的匹配阈值分别为: SA (c=0.09); MD (c=3 000); SID (c=0.009); SCC (c=0.3)时, 四类单一匹配算法的总分精度Pa均可达0.95及以上, Kappa系数均可达0.9及以上, 表明当采用合理的阈值时, 上述匹配算法均能够较好地满足对参考样品损伤识别的需要。

对于蒙皮样品, 当设置四类单一算法的匹配阈值分别为: SA (c=0.1); MD (c=400); SID (c=0.01); SCC (c=0.4)时, 四类单一匹配算法的总体分类精度Pa均可达0.95及以上, Kappa系数均可达0.9及以上, 表明当采用合理的阈值时, 上述匹配算法均能够较好地满足对蒙皮样品损伤识别的需要。

2.2 组合匹配算法的设计选择

进一步, 选择总体分类精度Pa在80%~90%的四类单一算法进行组合算法设计。 以损伤像元光谱为标准光谱, 分别利用两种单一光谱匹配算法对待测像元进行相似度计算, 若一种及以上匹配算法判定该像元为损伤像元, 则判定其为损伤像元, 否则判定为无损像元。 分别采用光谱角-马氏距离(SA-MD)、 光谱角-光谱信息散度(SA-SID)、 光谱角-光谱相关系数(SA-SCC)、 马氏距离-光谱信息散度(MD-SID)、 马氏距离-光谱相关系数(MD-SCC)和光谱信息散度-光谱相关系数(SID-SCC)六类组合算法对参考样品和蒙皮样品进行识别, 其分类结果如表3、 表4所示。

表3 不同组合光谱匹配算法分类精度评价结果(参考样品) Table 3 Classification accuracy evaluation results of different combination spectral matching algorithms (reference samples)
表4 不同组合光谱匹配算法分类精度评价结果(蒙皮样品) Table 4 Classification accuracy evaluation results of different combination spectral matching algorithms (skin samples)

对于参考样品, 在上述分类方法中, MD-SCC分类效果最好, 总体分类精度Pa 97.5%, Kappa系数0.95。 其中, 含SA的组合算法的Pa平均为92%, 含MD的组合算法的Pa平均为94%, 含SID的组合算法的Pa平均为91%, 含SCC的组合算法的Pa平均值为95%。 表明该类样品对于SCC算法较为敏感。

对于蒙皮样品, 上述SA-SCC 、 MD-SCC 、 SID-SCC分类效果均最好, 总体分类精度Pa为97.5%, Kappa系数0.95。 其中, 含SA的组合算法的Pa平均为92.5%、 含MD的组合算法的Pa平均为94%、 含SID的组合算法的Pa平均为92.5%、 含SCC的组合算法的Pa平均为97.5%。 表明该类样品同样对SCC算法较为敏感。

3 飞机样品损伤识别结果与讨论

综合考虑算法阈值判定和组合设计, 从而确定适用于飞机样品的最优损伤识别算法。 从表1和表3可知, 对于参考样品可选择阈值为0.3的SCC单一匹配算法进行损伤识别, 准确率可达95%; 也可选择马氏距离阈值2000, 且光谱相关系数阈值0.6的MD-SCC组合匹配算法, 准确率可达97.5%。 从表2和表4可知, 对于蒙皮样本, 可选择阈值为0.4的SCC单一匹配算法, 准确率可达97.5%; 也可选择含SCC的组合算法[如SA-SCC(0.07, 0.6)、 MD-SCC(350, 0.6)、 SID-SCC(0.005, 0.6)], 准确率均可达97.5%。 相比单一匹配算法, 组合算法的识别准确率相对较高, 不过计算量也会明显增加。

就单一算法而言, SCC算法对参考样品和蒙皮样品的损伤识别均最为敏感, 且准确率可达95%及以上。 对组合算法而言, MD-SCC算法对参考样品的损伤识别效果较好, 对蒙皮样品的损伤识别效果同其他含SCC的算法的效果相当, 准确率均可达97.5%, 同时Kappa系数可达0.95。 因此, 分别利用SCC和MD-SCC算法构建两种飞机样品的损伤识别模型(见表5), 损伤识别结果如图5所示。

表5 基于光谱匹配算法的飞机表面损伤识别模型 Table 5 Models of aircraft surface damage identification based on spectral matching algorithm

图5 基于光谱匹配算法的飞机表面损伤识别结果Fig.5 Results of aircraft surface damage identification based on spectral matching algorithm

由图5可知, 上述两种基于单一匹配算法和组合匹配算法的飞机表面损伤识别模型, 均可有效识别参考样品和蒙皮样品的表面损伤, 其中MD-SCC组合算法可实现无损区域的精准识别, 但存在将部分损伤像元误识别为无损像元的情况, 而SCC则可精准识别损伤区域, 但存在将部分无损像元误识别为损伤像元的情况。 总体上, 利用SCC算法、 MD-SCC算法分别构建的两个识别模型, 均可实现室内实验条件下飞机表面损伤的高精度识别。 前一个模型有快速处理的优势, 而后一个模型有准确率更高的特点, 可根据实际应用需求进行选取。

4 结论

为了利用光谱匹配算法实现飞机表面损伤的高光谱检测, 分别采用四类单一光谱匹配算法和六类组合光谱匹配算法进行两类样品的损伤识别, 结果表明, 组合匹配算法的损伤识别准确率明显好于任一单一匹配算法。 不同光谱匹配算法的识别精度常因研究对象而异, 对于两类飞机机翼样品, SCC算法对参考样品和蒙皮样品的损伤识别均较为敏感, 准确率均可达95%及以上。 基于SCC算法的其他组合算法可进一步提高损伤识别准确率, 如MD-SCC算法准确率均可达97.5%。 因此, 利用SCC算法、 MD-SCC算法均可实现室内实验条件下飞机表面损伤的高精度识别。 前者具有快速处理的优势, 而后者具有准确率更高的特点, 可根据实际应用需求进行选取。 另外, 光谱匹配算法的阈值设置会直接影响算法的识别率。 因而, 在实际应用时, 需要合理选择识别率高且不过分严格的阈值参数。 同时, 对于不同对象、 不同算法和不同阈值的自动确定方法是值得深入探究的。

参考文献
[1] PAN Qiao, YANG Li-yuan, SUN Zhi-hua, et al(潘峤, 杨丽媛, 孙志华, 等). Environmental Testing(环境试验), 2020, (2): 41. [本文引用:1]
[2] Zhang Tianyu, Zhang Teng, He Yuting, et al. Chinese Journal of Aeronautics, 2023, 36(4): 1. [本文引用:1]
[3] WU Jun, LI Xin, LIU Shao-yu, et al(吴军, 李鑫, 刘少禹, 等). Acta Optica Sinica(光学学报), 2021, 41(11): 1115002. [本文引用:1]
[4] Jovancevic I, Larnier S, Orteu J J, et al. Journal of Electronic Imaging, 2015, 24(6): 061110. [本文引用:1]
[5] CHEN Yun-quan, LI Shuang-gao, HUANG Xiang, et al(陈允全, 李泷杲, 黄翔, 等). Aeronautical Manufacturing Technology(航空制造技术), 2019, 62(10): 51. [本文引用:1]
[6] BAI Xue-bing, MA Dian-kun, ZHANG Meng-jie, et al(白雪冰, 马殿坤, 张梦杰, 等). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2022, 42(7): 1993. [本文引用:1]
[7] Ma Yand y, Mannion Anthony, O'Brien Stephen. Proc. of SPIE, 2018, 10819: 108190X-1. [本文引用:1]
[8] GAO Jian-shu, ZHENG Da-chuan, YU Zhi-jing, et al(高建树, 郑大川, 于之靖, 等). Laser & Infrared(激光与红外), 2014, 44(4): 391. [本文引用:1]
[9] SU Hong-jun, DU Pei-jun (苏红军, 杜培军). Remote Sensing Technology and Application(遥感技术与应用), 2006, 21(4): 288. [本文引用:1]
[10] YANG Guo-peng, YU Xu-chu, LIU Wei, et al(杨国鹏, 余旭初, 刘伟, 等). Bulletin of Surveying and Mapping(测绘通报), 2007, (10): 17. [本文引用:1]
[11] WEI Xiang-po, YU Xu-chu, FU Qiong-ying, et al(魏祥坡, 余旭初, 付琼莹, 等). Geography and Geo-Information Science(地理与地理信息科学), 2016, 32(3): 29. [本文引用:1]
[12] XU Long-xin, SUN Yong-hua, HE Shi-jun, et al(徐隆鑫, 孙永华, 何仕俊). Journal of Capital Normal University(Natural Science Edition)[首都师范大学学报(自然科学版)], 2021, 42(6): 50. [本文引用:1]
[13] Du Wenjing, Liu Qingsong, Li Kaige, et al. Proc. of SPIE, 2023, 12558: 125580J-1. [本文引用:1]