高光谱成像技术是指在电磁波谱范围内获取许多非常窄的光谱连续的影像数据, 通过精细光谱来研究光与物质之间的相互作用, 可以探知物质的物理化学特性。 采集手机盖板玻璃的高光谱影像, 捕捉污渍和瑕疵在特征光谱上的差异进行外观检测。

50个手机盖板玻璃样本统一由盖板玻璃制造公司提供, 盖板样本上由专业人员制作了玻璃指纹、 胶质物质、 清洁剂、 灰尘等4种污渍和划痕瑕疵。 高光谱数据通过高光谱成像仪(Hyperspec VNIR-SWIR with Co-Registered pixels)采集具有高光谱共记录特性的像素, 光谱测量范围为400~1 000 nm, 光谱分辨率为5 nm, 空间分辨率为0.3, 光谱通道数369, 空间通道数1 600。

盖板玻璃由玻璃材质制成, AOI光学成像检测需要在强光照射下进行识别。 如图1所示, 利用两台卤素灯作为光源, 并获取最佳光线入射角度以增强成像清晰度。 通过调整两盏卤素灯使入射光与手机盖板玻璃平面的夹角为30° 、 45° 、 60° 和90° , 成像结果如图2所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 数据采集实验装置Fig.1 Data collection experimental device

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 (a)30° ; (b)45° ; (c)60° ; (d); 90° ; (e)标准光源Fig.2 (a) 30° ; (b) 45° ; (c) 60° ; (d) 90° ; (e) Standard light source

除了图像评价以外, 还以结构相似性指数(SSIM)和峰值信噪比(PSNR)两个清晰度评价指标综合亮度、 对比度和结构信息评价成像清晰度, PSNR计算公式如式(1)和式(2)所示, SSIM计算公式如式(3)所示。

MSE=1N∑i=1N(Ii-Ki)2(1)

式(1)中, N是像素总数, I_i和K_i分别表示两幅影像在相应位置i的像素值。 该公式表示对每个像素位置上的差异进行平方, 然后将所有平方差值相加并除以像素总数, 得到MSE值。

PSNR=10×log10max2MSE(2)

式(2)中, max是图像中可能出现的最大像素值, 对应于8位图像为255, 均方误差(MSE)表示原始图像和待比较图像之间每个像素值差异的平方平均值。 PSNR的结果以分贝(dB)为单位, 提供了一种对图像质量的直观度量, 较高的PSNR值表示图像质量较好。

SSIM=(2uxuy+c1)(2σxy+c2)(ux2+uy2+c1)(σx2+σy2+c2)(3)

式(3)中, u_x和u_y分别表示图像x和y的亮度均值, σx2和 σy2分别表示图像x和y的方差, σ _xy表示图像x和y之间的协方差, c₁和c₂为常数, 为了避免分母为0, 较高的SSIM值表示图像质量较好。 最终结果如表1所示。 基于定性和定量结果显示光的入射角为45° 时对于污渍瑕疵的成像效果最清晰。

表1

Table 1

表1(Table 1)

表1 不同光入射角的成像清晰度 Table 1 Imaging clarities of stain defects under different incident angles 光入射角 SSIM PSNR 清晰度 30° 0.912 28.24 较为清晰 45° 0.932 31.38 很清晰 60° 0.922 31.29 较为清晰 90° 0.919 28.89 不清晰

表1 不同光入射角的成像清晰度 Table 1 Imaging clarities of stain defects under different incident angles

对采集到的高光谱影像进行辐射校正与反射率计算。 在固定光源和成像目标之间的观测几何条件后, 采集一张已知反射率的标准白板的高光谱影像。 基于辐射定标系数, 将像素的DN值转换为辐亮度影像, 即点光源的光照强度。

将以黑色纸板为背景的盖板玻璃样本放置于固定白板前, 进行高光谱数据采集, 以使得盖板玻璃在对应点上接收到与原始白板完全相同的光源照射, 在此基础上将手机盖板玻璃的辐亮度影像与白板的辐亮度影像做比值处理, 计算得到整幅手机盖板玻璃影像的光谱反射率。

基于以上步骤, 有效采集50个手机盖板玻璃高光谱影像。 光谱数据在采集过程中受到实验环境、 测量仪器、 实验操作以及样本本身质量的影响, 400~500和900~1 000 nm范围内的影像信噪比较低, 无法使用, 被剔除; 得到500~900 nm光谱范围的246个波段的光谱曲线, 采用SG滤波进行平滑处理, 以消除随机噪声、 基线偏移的影响。 最后, 以66窗口大小作为感兴趣区(AOI)构建高光谱反射率样本集, 取窗口区域内反射率均值作为该样本类型的典型光谱反射率, 制作了包括无污无瑕盖板样本500个, 及玻璃指纹、 胶质物质、 清洁剂、 灰尘等4种污渍和划痕瑕疵样本各100个的污渍瑕疵数据集, 共计1 000个样本, 样例如图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 (a)手机盖板; (b)划痕; (c); 胶质物质; (d)指纹; (e)灰尘; (f)清洁剂Fig.3 (a) Phone cover glass; (b) Scratches; (c) Glial substances; (d) Fingerprints; (e) Dust; (f) Cleaning agents

为了更好的选择区分污渍瑕疵的特征波段, 先对比分析污渍和瑕疵的光谱特性。 如图4所示, 四类污渍的光谱曲线与盖板的光谱曲线略有不同, 反射率都高于盖板反射率。 光谱曲线形状的差异是由于不同污渍材质不同会在不同波段出现特征吸收峰使得曲线形状有些差异, 而差异不明显的原因则是污渍的含量过少。 几种污渍反射率都高于盖板反射率的原因是污渍受到光反射后会形成亮斑, 由于亮度上的差异使得污渍反射率都高于盖板。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 污渍瑕疵反射光谱Fig.4 Reflectance spectra of stains and defects

胶质物质污渍是手机盖板玻璃在传送带运输过程中, 由于传送带老化或环境温度影响与玻璃接触摩擦后残留的痕迹, 主要成分为聚氨酯、 聚酯和硅胶等。 胶质物质在590~610、 680~700和780~810 nm附近有微弱吸收峰。 这些吸收峰由于胶质物质含量较少, 仅在玻璃表面形成薄薄一层, 因此不明显。

灰尘是指玻璃盖板在生产过程中, 空气中的尘埃颗粒落在玻璃上形成的污渍, 主要成分为油脂、 煤尘和材料碎片等。 灰尘在500~520和700~730 nm附近有微弱吸收峰。 这些吸收峰由于灰尘含有金属粉尘和其他材料粉尘化学物质, 且灰尘量少、 附着层薄, 因此不明显。

指纹是手机盖板玻璃上常见的污渍之一, 由手指或手掌上的油脂、 汗液和微小颗粒混合物形成, 通常在操作过程中接触盖板时留下。 指纹的主要成分为有机物、 脂肪酸和氨基酸等。 指纹在500~520和550~580 nm附近有微弱吸收峰, 这些吸收峰由于含有油脂、 氨基酸、 蛋白质及工厂环境中的化学物质, 且指纹量少、 附着层薄, 因此不明显。

清洁剂是手机盖板玻璃生产过程中常见的残留污渍, 通常由于清洁不当或控制不严而残留在玻璃表面。 清洁剂主要成分包括醇类、 酮类和醚类等有机化合物。 清洁剂在500~520、 600~630、 680~700和810~840 nm附近有微弱吸收峰。 这些吸收峰是由于清洁剂的残留, 其用量、 工厂环境条件(如温度和湿度)及清洁剂的挥发性所导致。

手机盖板玻璃的瑕疵指的是玻璃盖板在生产的工艺环节中, 由于生产技术、 工厂环境和人为原因等因素而使得玻璃产生的划痕、 斑点、 崩边、 擦伤等等对玻璃盖板物理结构上的破坏, 在影像上显示为亮斑亮点。 在光谱特性方面, 瑕疵的反射率在500~900 nm范围呈现下降趋势, 通过对比瑕疵和污渍在500~900 nm范围的光谱曲线, 瑕疵并没有类似污渍的吸收峰存在, 这是因为瑕疵是手机盖板玻璃物理结构的破坏, 本质还是盖板并无其他物质, 因此其光谱曲线形状与盖板相似。

为了选择出能区分污渍瑕疵的特征波段, 采用决策树和随机森林(random forest, RF)两种模型的特征递归消除法作波段选择, 它通过反复训练模型, 并剔除其中的弱特征, 直到达到所需的特征数量。 决策树的特征选择能力使其能够识别最重要的特征, 从而降低了维度灾难的影响; 同时随机森林算法也是一种基于决策树的集成学习方法, 其模型同样具有较好的稳定性和可解释性, 同时对两个模型都采用五折交叉验证来最大程度利用数据以及减少过拟合的风险。 首先, 对全波段进行波段选择, 统计十次重要性排序以及各波段贡献率, 剔除贡献率过低的波段并统计精确率、 召回率和F1分数。 随后对第一次波段选择后的特征波段进行第二次的波段选择, 再次统计十次重要性排序以及各波段的贡献率, 经过统计将贡献率低的无用波段去除, 得到第二次特征选择波段的结果以及精确率、 召回率和F1分数。 最后进行第三次五折交叉验证的波段选择, 再次精简波段, 通过依次删除贡献率低的波段, 比较互相之间精确率、 召回率以及F1分数, 综合考虑波段数量以及精度的要求, 由于随机森林模型的精度优于决策树, 因此最终确定基于随机森林模型的特征递归消除法作为特征波段选择结果。

为了进一步优化模型性能、 降低成本和减少冗余信息, 提出了精选特征波段的方法。 该方法基于光谱特性分析, 逐个剔除粗选的特征波段中不在特征吸收峰范围内的波段。 这一逐步剔除的过程确保了最终选择的特征波段集合与污渍的吸收特性高度匹配, 最终得到了精选后的波段, 随后将其输入三种分类器: 随机森林、 XGBoost和AdaBoost.M2进行模型训练, 以精确率、 准确率和F1分数评价指标来评断不同特征波段数量的精度, 同时验证剔除波段的冗余性。 其中, XGBoost和AdaBoost.M2同属于boosting算法, XGBoost是一种梯度提升树(Gradient Boosting Tree)算法, 它通过集成多个决策树来提升分类性能; AdaBoost.M2是AdaBoost算法的一种改进版本, 通过改变样本权重的更新方式, 提高了算法的鲁棒性和性能。 最终通过对比分析比较不同波段组合下在三个分类器的分类精度, 最终确定最优的特征波段个数为8个以及分类性能最佳的分类器为随机森林。

经过第一次基于随机森林的特征递归消除法, 如表2所示, 选出的特征波长分别是502、 526、 567、 689、 711、 779、 789、 818、 828、 836、 838、 844、 847、 864、 873、 888和891 nm一共17个波长。 随后, 再次运用五折交叉验证随机森林对第一次选择的17个波段进行分类, 统计十次重要性排序以及各波段贡献率, 由于836、 847、 873和891 nm波段贡献率都不足5%, 因此剔除这四个波段, 第二次波段选择的结果一共是13个波段, 他们分别是502、 526、 567、 689、 711、 779、 789、 818、 828、 838、 844、 864和888 nm, 用17个特征波段进行分类的召回率、 精确率和F1分数分别为0.785、 0.795、 0.776。 再次运用五折交叉验证决策树对第二次波段选择的13个波段进行分类, 统计十次重要性排序以及各波段贡献率, 剔除贡献率低于10%的波段, 即去除828、 838和864 nm, 用13个特征波段进行分类的召回率、 精确率和F1分数分别为0.802、 0.806、 0.798。 第三次特征递归去除后得到的波段一共是10个波段, 他们分别502、 526、 567、 689、 711、 779、 789、 818、 844和888 nm。 用10个特征波段进行分类的召回率、 精确率和F1分数为0.817、 0.818和0.804。 经过精度的比较以及贡献率重要性的排名, 这10个波段的贡献率相差不大, 因此最终确认将经由随机森林特征波段选择的10个波段作为分类污渍瑕疵的粗选特征波段。

表2

Table 2

表2(Table 2)

表2 随机森林不同波段数的分类精度结果 Table 2 Classification accuracy results of random forest with different bands 特征波长/nm 召回率 精确率 F1分数 全波段 0.762 0.771 0.753 502、526、567、689、711、779、789、818、828、836、838、844、847、864、873、888、891 0.785 0.795 0.776 502、526、567、689、711、779、789、818、828、838、844、864、888 0.802 0.806 0.798 502、526、567、689、711、779、789、818、844、888 0.817 0.818 0.804

表2 随机森林不同波段数的分类精度结果 Table 2 Classification accuracy results of random forest with different bands

为了进一步优化模型性能、 降低成本和减少冗余信息, 提出了精选特征波段的方法。 该方法基于光谱特性分析, 逐个剔除粗选的10个特征波段中不在特征吸收峰范围内的波段。 这一逐步剔除的过程确保了最终选择的特征波段集合与污渍的吸收特性高度匹配, 最终得到了各自精选后的9和8波段, 具体情况如表3所示。 而对于随机森林模型, RF-10到RF-9剔除的波段是779 nm, 这是由于779 nm在吸收峰波段的范围边缘, 因此剔除; RF-9到RF-8剔除的波段是844 nm, 同样是由于该波段在吸收峰波段的范围边缘。 然而, 当进一步减少到7个特征波段时, 无论是去除任一波段, 准确率和精确率再次下降, 这可能表明剔除了过多的波段, 导致丢失了一些重要信息, 从而影响了分类性能的提升。

表3

Table 3

表3(Table 3)

表3 随机森林特征波段 Table 3 Random forest feature bands 波段数量 波段/nm 10 502、526、567、689、711、779、789、818、844、888 9 502、526、567、689、711、789、818、844、888 8 502、526、567、689、711、789、818、888

表3 随机森林特征波段 Table 3 Random forest feature bands

将经过随机森林波段选择后的10个波段, 以及经过光谱特性分析去除冗余波段后的9、 8和7个特征波段组分别带入训练好的随机森林模型、 XGBoost和AdaBoost.M2三个模型进行分类, 并用精确率和准确率评价指标评定, 结果如表4所示, 从横向角度分析三个分类器对于同种特征递归模型的精度结果, 随机森林、 XGBoost和AdaBoost.M2三个分类器展示的精度趋势同样较为相似, 即当波段数量从10降低到8的过程中, 准确率和精确率都呈现上升趋势, 然而将波段数量进一步降低时, 去除任一波段得到精度都是下降, 因此将随机森林模型的波段组精选至8波段时最佳。 对于分类效果而言, 随机森林分类器在同波段数量下的分类精确都是最佳, 当波段数量为8时精度最高, 其精确率与准确率分别为0.831和0.886。 AdaBoost.M2分类器的精度略低于随机森林, 而XGBoost的分类精度最低。 总体来说, 对比全部精度, 当分类器是随机森林, 精选波段数量为8时效果最佳, 准确率和精确率分别为0.886和0.831。 因此综合来看, 随机森林分类器表现出较好的稳定性和性能, 可作为首选的分类器; 而基于随机森林特征递归模型精选的8个特征波段也展示最佳的精度结果, 因此502、 526、 567、 689、 711、 789、 818和888 nm为最终精选的波段。

表4

Table 4

表4(Table 4)

表4 精度对比 Table 4 Accuracy comparison RF XGBoost AdaBoost.M2 10 9 8 7 10 9 8 7 10 9 8 7 精确率 0.809 0.815 0.831 0.804 0.716 0.730 0.742 0.711 0.792 0.803 0.803 0.798 准确率 0.873 0.876 0.886 0.868 0.804 0.813 0.825 0.803 0.865 0.869 0.873 0.865

表4 精度对比 Table 4 Accuracy comparison

在确认了随机森林作为分类器, 并确定了包含8个精选特征波段后, 接下来对这些特征波段在随机森林分类器中的性能进行全面评估。 检测的最终目标是为了分类污渍和瑕疵, 但是直接按污渍和瑕疵两类进行分类, 从高光谱分类角度来说并不合理, 因此采取先细分类再进行类别合并的策略。 下面进行分类结果图的细节分析, 如图5所示。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 污渍瑕疵分类结果图Fig.5 Classification result chart of stains and defects

首先, 观察图5(a)及其分类结果图, 即使在划痕覆盖了部分污渍的情况下, 分类器仍能够较好地将划痕和污渍分开。 此外, 即使污渍在目视上不太明显的区域, 分类器也能够准确地将污渍区域与盖板区域区分开来。 对于图5(b)及其分类图, 分类器能够有效地区分划痕和污渍, 且在污渍和盖板之间也具有良好的区分度。 这表明分类器在处理具有一定复杂度的情况下, 仍能够取得较好的分类效果。 最后, 对于图5(c)及其分类图, 分类器同样能够准确地将划痕和污渍区分开, 并且在污渍和盖板之间也呈现出明显的区分度。

统计精度后的结果在表5中呈现, 基于8个特征波段的污渍瑕疵分类展现出了显著的提升。 准确率、 精确率、 召回率、 F1分数、 错分误差和漏分误差分别达到了0.954、 0.952、 0.922、 0.937和0.047和0.078。 相较之下, 全波段污渍瑕疵的准确率、 精确率、 召回率、 F1分数、 错分误差和漏分误差分别为0.939、 0.923、 0.897、 0.910、 0.076和0.103。 基于8个特征波段的模型在准确率、 精确率、 召回率和F1分数上均超越了全波段的模型, 其中准确率上升了1.5%, 精确率上升了2.9%, 错分误差下降了2.9%, 漏分误差下降了2.5%。 这一结果表明实验成功地实现了对波段的降维, 从原本的246波段中挑选出的8个特征波段在污渍瑕疵分类中表现更为出色, 同时说明通过细致的光谱特性分析和特征波段的挑选成功地提升了分类性能。 这一成功的案例也强调了在面对分类困难且复杂的问题时, 通过分步骤的分析和特征选择, 结合合适的策略进行分类任务的优化是非常有效的。 综上所述, 研究所提出的8个特征波段结合随机森林分类器跑够有效地区分手机盖板玻璃的污渍和瑕疵, 为手机盖板玻璃质量检测提供了可靠的技术支持。

表5

Table 5

表5(Table 5)

表5 污渍瑕疵分类精度 Table 5 Classification accuracy of stains and defects 类别 波段数 平均误差 准确率 精确率 召回率 F1分数 错分误差 漏分误差 污渍、瑕疵和盖板 8 0.046 0.954 0.952 0.922 0.937 0.047 0.078 污渍、瑕疵和盖板 246 0.060 0.939 0.923 0.897 0.910 0.076 0.103

表5 污渍瑕疵分类精度 Table 5 Classification accuracy of stains and defects