茶叶在机器采摘过程中, 茶梗和昆虫极易被机器误割, 混入原叶中形成内源性和外源性异物。 绿茶占茶叶总产量的70%, 是我国的主要茶叶饮品, 故选用龙井绿茶作为实验样品, 由南昌某茶叶公司提供。 昆虫异物选择面包虫, 长度和直径分别为10~20和1~1.5 mm; 茶梗异物的长度和直径分别为12~35和1~2 mm。 将所用的茶叶、 茶梗以及面包虫清洗干净后, 置于烘干箱中。 烘干箱温度控制在48 ℃左右, 烘干时间为12 h。 烘干后, 取出样品分别装载在自封袋内备用。

近红外光谱和荧光成像系统如图1所示, 由北京伟创英图科技有限公司提供, 主要包括: 调速移动平台、 步进电机、 卤钨灯(12 V、 50 W)、 紫外灯(1 W、 波长395~400 nm)、 环形光纤探头、 光路切换器(具有参比自动测量及系统自检)、 光电限位开关、 OtO近红外光谱仪(430~1 100 nm)、 SeeCAM_CU40相机、 台式电脑。 环形光纤探头和相机镜头到调速移动平台的距离分别为14.5和16 cm。 环形光纤探头的环形光纤槽直径2 cm、 槽宽3 mm, 卤钨灯通过光纤将光传输至环形光纤槽; 环形光纤槽发出的光, 经物料漫反射由探头接收, 经光纤传输至近红外光谱仪。 轻型电磁给料机的最大振幅为1.2 mm, 频率50 Hz。 实验中设置振幅为0.8 mm, 能较好地将异物和茶叶分离, 避免重叠形成误判。 轻型电磁给料机将茶叶和异物直接振动至样品槽内。 样品槽镶嵌在移动平台上, 为敞开的长方体结构。 样品槽四周为铝合金材料、 底部为白色聚四氟乙烯(PTFE)(厚5 mm), 尺寸为59 cm× 3.7 cm× 1 cm。 近红外光谱仪和相机均通过USB数据线连接到台式机上, 采用多光谱成像与近红外光谱检测软件系统, 采集近红外光谱和图像数据。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 近红外光谱和荧光图像系统示意图Fig.1 Schematic diagram of near infrared spectroscopy and fluorescence imaging system

光谱采集前系统预热30 min, 同时设置系统参数, 开启卤钨灯电源, 积分时间设为1 000 μ s, 平均次数为10次, 移动平台速度为5 cm· s^-1。 光谱仪设置为连续触发模式, 触发动作的启动和停止由光电限位开关控制, 样品槽头端进入采集工位启动触发, 样品槽尾端离开采集工位停止触发, 样品槽运动过程中连续记录100条近红外光谱; 光谱记录过程中, 同步触发相机采集图像, 每条光谱均对应保存一帧图像。 采用人工肉眼复检, 通过图像标记每条光谱{1, 2, 3}, 分别对应绿茶、 茶梗和面包虫。 首先, 采集参比光谱; 控制移动平台和空白样品槽平移, 连续记录100条参比光谱。 接着, 采集样品光谱; 将面包虫和茶梗与绿茶混合均匀后, 缓慢倒入轻型电磁给料机上, 由轻型电磁给料机振动上料, 平移台同步移动, 同样记录100条光谱, 由软件自动转换成吸光度光谱, 取信噪比较好的600~1 050 nm波段进行建模和模型预测。 重复上述实验, 共收集绿茶、 面包虫和茶梗光谱各200条。

SeeCAM_CU40相机为四通道多光谱相机(R, G, B和850 nm)。 茶叶和昆虫、 茶梗异物的色素含量存在显著差异, 紫外光源(395~400 nm)照射样品后, 在460 nm附近的光谱强弱差异最明显, SeeCAM_CU40相机的B通道图像较为清晰, 故采用B通道图像进行分析计算。 系统预热30 min, 开启紫外灯电源, 手动调节相机镜头至图像清晰为止, 相机曝光时间设为62.5 ms, 图幅设为1 344× 760 pixels²。 轻型电磁给料机振幅设为0.8 mm, 移动平台的速度设为5 cm· s^-1。 将面包虫、 茶梗和绿茶混合均匀, 缓慢倒入轻型电磁给料机上, 经电磁振动分离异物和茶叶, 落入样品槽内。 相机采用连续触发模式, 也由光电限位开关控制触发的启动和停止。 采集到昆虫异物的R, G, B和850 nm通道图像如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 昆虫异物的R(a), G(b), B(c)和850 nm(d)通道图像Fig.2 R (a), G (b), B (c) and 850 nm (d) channel images of insect foreign bodies

绿茶属于片状物料, 在近红外光谱采集过程中, 容易产生散射。 光程估计与校正方法(optical path-length estimation and correction, OPLEC)由陈增萍教授团队提出, 是一种将光谱校正与回归结合的算法, 能较好地校正光的散射效应^{[17, 18]}。

OPLEC采用建模集光谱数据与对应的浓度向量, 估计因物理性质差异引起的光散射乘子效应参数; 然后, 由建立的双校正模型预测值比值消除预测集样本的乘子效应, 具体步骤如下:

首先, 将光谱数据S(n× m, n为样本数, m为波长数)进行奇异值(SVD)分解[U, S, V]=svd(S); 然后, 设置主成分数值v(v代表光谱抽象的活性化学成分数), 取前v个的U_v, 乘子效应矢量p通过下列约束最小化获得

minpf(p)=12pT((I-UvUTv)+diag(c/w)(I-UvUTv)diag(c/w))p(1)

式(1)中, -p≤ -1, diag(c/w)是c/w的对角矩阵, w是权重。

最后, 建立双模型

diag(p)c=α1l+Sβ1p=α2l+Sβ2(2)

式(2)中, l是元素为1的矢量, diag(p)为对角元素为p对应元素的对角矩阵; α ₁, β ₁, α ₂, β ₂由偏最小二乘法求得。 预测集S_pre的浓度值c_pre

cpre=α1l+Sβ1α2l+Sβ2(3)

同时, 去趋势(Detrending)、 多元散射校正(MSC)、 标准正态变换(SNV)、 变权重正态变换(VSN)、 迭代自适应加权惩罚最小二乘法(airPLS)、 不对称最小二乘法(ALS)等光谱预处理方法也被尝试了。 以光谱变量作为输入变量X, 以食品和异物类别作为输出变量Y{1, 2, 3}, 应用偏最小二乘判别分析法建模(PLS-DA), 其中1, 2, 3分别代表绿茶、 茶梗、 昆虫。

图像处理包含图像分割, 取反运算, 中值滤波, 连通区域标记, 特征提取。 提取长轴长、 短轴长、 长短轴比、 离心率共4个特征变量, 作为输入变量X, 输出变量Y同上。 因为输入变量X维数较低, 故采用线性判别分析建模。 上述算法均在MATLAB R2017a中实现。 模型均采用正确判别率、 召回率、 精确率和F得分, 评价模型的性能。 在预测模型中, 将污染物的数据定义为真阳性(TP)类, 将纯绿茶数据定义为真阴性(TN)类。 因此, 假阳性(FP)和假阴性(FN)分别表示将纯茶叶误判为污染物和将污染物误判为茶叶, 如式(4)— 式(7)所示。

R=TPTP+FN×100%(4)

P=TPTP+FP×100%(5)

F=2P×RP+R×100%(6)

Accuraccy=TP+TNTP+TN+FP+FN×100%(7)

2.1.1 近红外光谱特征分析

图3(a)为聚四氟乙烯(PTFE)、 绿茶、 茶梗和面包虫的近红外平均光谱响应曲线。 由图3(a)可知, PTFE为样品槽底部材料, 其近红外光谱在600~1 050 nm范围无明显的吸收。 如果采集的是空白区域(PTFE)的光谱, 在光谱分析和异物识别过程中予以忽略。 纯绿茶在670和760 nm附近有明显的吸收, 而茶梗在670 nm附近也有吸收峰。 670 nm附近的吸收峰主要是由色素引起的, 绿茶茶叶中的儿茶素比茶梗中的儿茶素含量高, 而茶色素是由儿茶素聚合而成, 因此茶叶的茶色素含量较茶梗高些, 吸收峰值也较大^[19]。 760 nm主要由水分子四倍频振动引起^[20]。 从光谱整体形状上来讲, 越过740 nm吸光度突然降低, 750 nm之后区域较为平缓, 主要是由于该区域处于可见光(380~780 nm)和近红外光(780~2 500 nm)的过渡区域。 图3(b)为纯茶叶、 含有茶梗或面包虫异物茶叶的主成分得分图, 仅依靠第一和第二主成分很难区分茶叶和异物, 需要在更高维空间进行分析。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 茶叶和异物的近红外光谱(a)及主成分得分图(b)Fig.3 Near infrared spectra of tea and foreign bodies (a) and score of principal component analysis (b)

2.1.2 OPLEC光谱预处理

OPLEC采用双模型策略, 估算乘子效应参数, 实施光程校正。 参数v代表被测目标的活性化学成分数, 是OPLEC算法的关键参数, 通过求约束最小化问题minf(p)求解。 绘制minf(p)与v的关系曲线, 通过观察, 最小minf(p)对应的v即为最佳v值。 随着v的增加, minf(p)值逐渐降低, 当v值增加到11以后, minf(p)值无明显变化, 所以最佳v值确定为11。 这意味着有效光谱信息与乘子效应矢量p主要包含在U_v的前11个变量中。 同时, 最小预测均方根误差(RMSEP)变化曲线也被绘制了, 当v值为11时, RMSEP达到最小, 综合此时的RMSEP和v取值, 效果达到最佳。 采用OPLEC预处理后, 异物正确识别率由78%提高至85%。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 minf(p)与v的关系曲线(a)以及OPLEC模型的RMSEP值变化曲线(b)Fig.4 The relationship between minf(p) and v (a) and variation of RMSEP values for OPLEC model (b)

2.1.3 近红外光谱建模及预测

采用Kennard-Stone(K-S)算法将600条光谱划分成建模集和预测集, 其中451条光谱建模, 其余的149条光谱作为独立样品集, 用于评价模型的性能。 偏最小二乘判别分析算法(PLS-DA)是较为广泛应用的判别分析方法。 采用原始光谱建立的PLS-DA, 预测新样品, 正确识别率为78%, 模型预测决定系数 Rp2为0.77。 为了与OPLEC算法进行比较, 也尝试了Detrending, MSC, SNV, VSN, airPLS和ALS等光谱预处理方法, 原始吸光度光谱经各种光谱预处理后, 建立PLS-DA模型, 并进行预测, 结果如表1所示。 这些光谱预处理方法, 并未提高PLS-DA模型的预测能力。 相反地, 模型的预测精度反而降低了。 这主要是由于光谱的基线漂移, 也反映了茶叶和异物的光谱差异性, 进行基线校正, 相当于削弱了茶叶和异物之间的光谱差异。 其中, SNV和MSC都可进行基线校正, 但MSC需要输入外部参数, 而SNV不需要任何参数, 它们的处理结果是相同的^[21]。 茶叶属于片状分散性物料, 不同的样品分布容易引起光程的变化, 而且实验结果也说明OPLEC能较好地抑制光程变化, 预处理后建模效果也较好, 正确识别率提高到85%。

表1

Table 1

表1(Table 1)

表1 各种预处理结合PLS-DA模型预测结果 Table 1 Results of prediction using PLS-DA and different pretreatment methods Method Pretreatment Factor Rp2 RMSEP Correction recognition accuracy/% PLS-DA None 9 0.77 0.42 78 Detrending 7 0.72 0.48 70 MSC 7 0.74 0.45 73 SNV 7 0.74 0.45 73 VSN 7 0.72 0.45 74 airPLS 7 0.61 0.55 61 ALS 4 0.58 0.56 59 OPLEC 7 0.79 0.37 85

表1 各种预处理结合PLS-DA模型预测结果 Table 1 Results of prediction using PLS-DA and different pretreatment methods

近红外光谱在线检测时, 需要对样品槽的载物状态进行预判, 以决定进一步的操作。 由图3(a)可知, 在750~850 nm范围聚四氟乙烯(PTFE)的近红外光谱明显上升, 而其他物料的近红外光谱则平稳且略微下降, 选取850和750 nm两波长的比值预判样品槽是否有物料。 若比值大于1, 则样品槽空载, OPLEC-PLS-DA模型不预测(用0表示); 若比值小于等于1, 则表示载有物料, 将采集到的光谱代入OPLEC-PLS-DA模型, 判别是属于茶叶还是异物。 若为异物, 则将信号传递给后端执行器, 剔除异物。

OPLEC⁃PLS⁃DA, λ850nmλ750nm≤10, λ850nmλ750nm> 1(8)

2.2.1 荧光图像分割

与近红外光谱技术相比, 图像能扫描的范围更大, 可以在较大范围内进行异物检测。 采集了65张含有异物的荧光图像, 其中, 33张为混有茶梗的绿茶图像, 32张为混有面包虫的绿茶图像。 样品槽底为白色的PTFE材料, 反射较强, 因此在原始图像上灰度值较大, 接近于1; 而茶叶和异物区域, 反射较弱, 图像灰度值更趋向于0。 利用目标与背景在灰度值上的差异, 通过阈值分割, 提取目标。 采用最大类间方差法(OTSU)获取自动阈值T, 按照式(9)对原始图像f(x, y)实现分割后得g(x, y)二值图像。

g(x, y)=1, f(x, y)≥T0, f(x, y)< T(9)

由图5(c)和(d)可知, 目标区域(茶叶和异物)和背景区域得到了较好的分割, 供后续连通区域标记和特征提取使用。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 茶梗和昆虫异物的B通道原始图像及处理结果 (a), (b): B通道的原始图像; (c), (d): 二值化图像; (e), (f): 取反运算的图像; (g), (h): 中值滤波后的图像Fig.5 Original and processed images of tea stalk and insect foreign bodies obtained by channel B (a), (b) were the original images of channel B; (c) and (d) were the binarization image after threshold segmentation; (e) and (f) were the inverse images; (g) and (h) were the images with median filter

2.2.2 特征提取

图像分割后, 采用取反运算, 因为阈值分割时目标被赋值为0, 而图像连通区域标记是以1为目标进行标记的, 故需要进行取反运算[图5(e, f)]; 然后进行中值滤波, 去除细小噪声点[图5(g, h)], 对中值滤波后的图像进行连通区域标记, 最后运用MATLAB R2017a的图像处理工具箱中的特征提取函数(regionprops)提取特征。 实验中, 主要提取了离心率(E)、 长轴长度(L)、 短轴长度(W), 计算了长短轴比(L/W)。 从茶叶和异物的几何形状特征来看, 绿茶呈片状、 长短轴比要略小于异物, 边缘曲线变化较为平缓, 离心率要小于茶梗和昆虫异物; 茶梗和面包虫异物多呈直线型, 长短轴比要大于茶叶基质, 端点尖角处曲线变化幅度较大, 离心率要大于茶叶基质(表2)。 故实验中, 通过B通道图像, 提取离心率、 长轴长、 短轴长三个特征变量, 计算长短轴比, 共四个变量和355个感兴趣目标(35个茶梗、 35个面包虫和285个绿茶目标)用于后续的建模和模型预测。

表2

Table 2

表2(Table 2)

表2 提取的绿茶和异物几何形状特征 Table 2 Geometry features of green tea and foreign bodies extracted from images 种类 长轴长(L) 短轴长(W) 长短轴比(L/W) 离心率(E) 绿茶 405.32± 265.7 146.39± 134.3 3.51± 1.92 0.89± 0.13 昆虫 386.22± 51.71 69.94± 18.67 5.76± 1.14 0.98± 0.02 茶梗 603.43± 153.15 123.21± 54 5.58± 1.84 0.98± 0.02

表2 提取的绿茶和异物几何形状特征 Table 2 Geometry features of green tea and foreign bodies extracted from images

2.2.3 LDA建模和预测

运用K-S方法将采集到的355个感兴趣目标进行划分, 将267个感兴趣目标划入建模集, 剩余的88个感兴趣目标划入预测集, 用于评价模型的预测性能。 每幅图均按照上述方法提取变量, 从B通道图像中, 提取了四个特征变量。 考虑到变量数量较少, 故采用线性判别分析算法(LDA)进行建模和模型预测。 LDA建模的正确识别率为69%, 采用预测集评价LDA模型的预测能力, 正确识别率为64%。 本实验的正确识别率, 低于Lohumi等^[14]的鲜切蔬菜中异物识别率。 主要是由于他们采用高精度的LCTF荧光成像设备, 采集的图像对比度优于本实验图像。 但考虑到, 农业食品对象对低成本的需求, 本实验的紫外诱导荧光成像技术, 更适合食品异物的低成本检测需求。 由表3可知, 预测集中茶梗、 绿茶、 面包虫召回率为50%, 63%和88%, 精确率为22%, 98%和29%, F得分为31%, 76%和44%, 说明茶梗的召回率要低于面包虫。 由于茶梗和面包虫的形状接近, 离心率和长短轴比较为相近, 因此有4个茶梗异物被误判为面包虫, 但是没有被误判为绿茶。 由表3的预测结果可知, 16个异物被成功检出11个, 存在4个茶梗被误判为昆虫, 1个昆虫异物被误判为绿茶。 而分别有13和14个绿茶样本被误判为昆虫和茶梗异物, 导致正确识别率下降, F得分较低。 通过人工复检图像发现, 主要是由于绿茶的叶柄导致了误判。 综上, 运用电磁振动上料辅助荧光图像进行茶梗和昆虫异物的在线检测具备可行性。 对于误判问题, 后续可以从颜色、 几何形状等多种特征角度实施检测, 降低误判率。

表3

Table 3

表3(Table 3)

表3 LDA建模和模型预测结果 Table 3 Results of LDA calibration and prediction 判别结果 建模集参考 预测集参考 茶梗 绿茶 昆虫 茶梗 绿茶 昆虫 茶梗 19 36 0 4 14 0 预测 绿茶 4 143 4 0 45 1 昆虫 4 34 23 4 13 7 正确识别率/% 69 64

表3 LDA建模和模型预测结果 Table 3 Results of LDA calibration and prediction

在无电磁振动上料时, 茶叶基质和异物容易混堆在一起, 异物无法暴露出来, 增加了异物检测的难度。 而采用电磁振动上料, 能较好地分离茶叶与异物, 再结合荧光成像, 能够实现对茶叶中异物的检测, 降低了异物混入茶叶的风险。 电磁振动上料的效率影响在线检测效果, 本文采用上料速度(5 cm· s^-1)、 图像宽度(3.3 cm)、 单位时间内落料的重量(3.251 g· cm^-2)的乘积估算上料效率, 约为53.64(g· s^-1)。 在实际应用中, 可以通过提高图像视域宽度(例如线阵相机)和提高图像采集速率等方式, 提高在线检测的效率。