实验用的大豆样本以及大豆食心虫幼虫来源于实际农业机构。 将大豆食心虫幼虫放入温暖潮湿的箱子中等待大豆食心虫长成成虫后, 将20只成虫放入大豆中使其于大豆上产卵, 5 d后采集附着虫卵的大豆, 10 d后采集附着大豆食心虫幼虫的大豆, 30 d后采集被啃食的大豆。 分别对正常的大豆以及上述三种大豆拍摄高光谱图像, 每类样本数量为20颗大豆种子。

实验使用的高光谱成像系统如图1所示, 主要包括高光谱成像仪(Imperx IPX-2M30)、 CCD相机、 电控平移台、 4个150 W的卤素灯以及一台计算机。 其中采集的光谱范围为383.70~1 032.70 nm, 共包含256个光谱波段, 光谱分辨率为2.73 nm, 使用SpectraVIEW软件采集获得高光谱图像。 为避免环境光对采集到的图像产生影响, 整个试验采集过程在暗箱中完成。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 高光谱成像系统Fig.1 Hyperspectral imaging system

1.3.1 光谱预处理及感兴趣区提取

在采集图像过程中可能会由于光照不均匀而对实验结果造成影响, 所以对采集到的图像进行黑白校正。 采集过程中为了降低物体漫反射, 样本不均匀, 基线漂移等问题, 避免噪声对实验结果的影响, 对大豆光谱维度数据进行Savitzky-Golay滤波处理, 使光谱更加平滑, 并保持光谱的形状和宽度不变, 对后续的建模和检测具有重要的意义。

高光谱图像由很多窄波段图像组成, 波段间的相关性比较大, 从而造成数据冗余, 造成大量的重复计算。 为了避免数据冗余的影响, 对大豆高光谱图像进行主成分分析法降维处理, 选取前30个主成分高光谱波段作为特征波段。 以样本为中心选取50×50像素的正方形区域作为感兴趣区域, 将数据转换成50×50×30的高光谱数据。

1.3.2 小样本元学习模型原理

小样本元学习模型有规定的训练模式, 小样本元学习包含元训练数据和元测试数据, 两者均包含支撑集和查询集。 给定一个N-way K-shot分类任务, 支撑集中含有N个类别, 且每个类别含有K个被标签的样本, 查询集中同样也包含N个类别以及未被标签的样本。

三维关系网络(3D-relation network, 3D-RN)^[12]是一种基于度量的元学习方法, 训练好模型后无需对模型进行调整, 也能对新的类别进行分类。 3D-RN主要是训练一个卷积神经网络来学习距离度量的方式, 而不是采用线性度量方法来度量距离。

将所有数据分成多个任务p(T), 每个任务包含支撑集S={(x_i, y_i) }i=1k和查询集Q={(x_j, y_j) }j=1n。 每个任务的支撑集和查询集中的样本输入特征学习模块, 即三维卷积神经网络学习到各自的特征f(x_i), f(x_j), 然后将查询集样本与每类支撑集样本的特征向量拼接到一起, 最后将连接到一起的特征输入3D-RN度量距离, 并输出关系得分^[12]

ri, j=g(C(f(xi), f(xj)))(1)

式(1)中, f(·)为三维卷积神经网络学习样本的特征, g(·)为3D-RN网络度量两个样本间的距离, C(·)将两个特征拼接。 3D-RN的网络结构如图2。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 三维关系网络结构Fig.2 Structure of the 3D-Relation Network

与模型无关的元学习(model-agnostic meta learning, MAML)^[13]是一种基于模型的元学习方法, 通过训练一个模型, 使得这个模型能够最大程度的适应多分类任务, 即使面对未训练过的对象, 也不需要构建新的模型, 使用一样的学习模型也可以完成新任务的分类, 基本思想是寻找到对于模型更好的初始参数, 使得模型能够在该初始参数下快速高效的学习新的任务。

匹配网络(matching network, MN)^[14]是一种基于度量的元学习方法, 训练好一个模型后, 不需要对模型做调整, 也能对新的类别即训练中未出现的类别进行分类, 基本思想类似于端到端的近邻分类器。

高光谱图像采用SpectraVIEW软件采集, 采集图像时的曝光时间为18 ms, 平台移动速度1.50 cm·s^-1, 4盏卤素灯与平台的夹角为50°, 首先采集白板图像W和暗背景图像B, 并依次对大豆样本进行图像采集。 采集到的大豆样本如图3。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 大豆样本高光谱图像 (a): 正常大豆; (b): 附着虫卵的大豆; (c): 附着幼虫的大豆; (d): 被啃食的大豆Fig.3 Hyperspectral images of soybean samples (a): Normal soybean; (b): Soybean with egg; (c): Soybean with larvae; (d): Gnawed soybean

使用CAVE, iCVL和NUS数据集作为元训练数据集。 CAVE数据集是一个包含32个场景的哥伦比亚大学收集的多光谱数据集。 iCVL数据集是一个欧洲计算机视觉会议收集的高光谱数据集, 数据集覆盖了室内、 公园、 植物、 农村以及城市。 NUS数据集是一个包含一般场景和水果两大类的高光谱数据集。 本文采集的四类大豆样本数据作为目标测试数据集。 每个任务包含4个类, 每个类共包含20个样本, 分别对训练集包含每个类1个样本和5个样本两种情况进行研究。

3D-RN模型由特征学习模块、 特征拼接和关系网络组成, 特征学习模块使用的网络模型为ResNet18或Conv4。 ResNet18模型由3D卷积层、 BatchNormal归一化层、 Relu激活函数、 最大池化层、 常规残差模块和平均池化层组成。 其中第一层的3D卷积层的卷积核为7×7×7, 共包含8个常规残差模块, 常规残差模块中卷积层的卷积核为3×3×3, 最大池化层的卷积核为3×3×3, 损失函数为交叉熵损失函数。 Conv4模型由3D卷积层、 BatchNormal归一化层、 Relu激活函数和最大池化层组成, 共4个卷积层, 其中3D卷积层的卷积核为3×3×3, 最大池化层的卷积核为3×3×3。 关系网络由2个卷积层组成, 两层的卷积核均为3×3×3。 每轮迭代方式为: 卷积运算, 归一化操作, 再叠加两层全连接层, 激活函数为Relu。 最后使用均方误差损失函数输出关系得分。 MAML模型使用的网络模型为ResNet18或Conv4。 MN模型特征提取网络为ResNet18模型和Conv4模型, 训练数据使用的记忆网络为双向LSTM, 测试数据使用的记忆网络为LSTM, 距离度量网络使用余弦距离度量两个样本间的距离, 注意力分类网络采用softmax损失函数分类。 分类模型结果如表1所示。

表1

Table 1

表1(Table 1)

表1 不同分类模型在4-way 1-shot和4-way 5-shot情况下的检测结果 Table 1 Detection results of different classification models in the cases of 4-way 1-shot and 4-way 5-shot 小样本 学习模型 特征提取 模型 学习率 正确率/% 1-shot 5-shot MAML ResNet18 0.01 50.98±1.19 59.94±0.56 0.001 43.43±0.55 48.03±0.23 Conv4 0.01 42.15±0.38 52.65±0.79 0.001 35.15±0.73 37.06±0.58 MM ResNet18 0.01 69.19±1.21 78.65±0.79 0.001 56.58±0.47 69.49±0.82 Conv4 0.01 52.46±0.40 64.09±0.70 0.001 48.07±0.97 60.21±1.15 3D-RN ResNet18 0.01 71.12±0.61 82.75±2.50 0.001 65.90±0.77 76.40±1.23 Conv4 0.01 57.31±0.98 69.12±0.31 0.001 53.33±0.96 65.15±1.17

表1 不同分类模型在4-way 1-shot和4-way 5-shot情况下的检测结果 Table 1 Detection results of different classification models in the cases of 4-way 1-shot and 4-way 5-shot

结果表示, 基于度量的小样本学习模型表现得比较好, 其中3D-RN模型表现最好, 5-shot比1-shot表现更好。 3D-RN模型采用卷积网络度量查询集与支撑集中样本的距离, 这种非线性的度量方法能够更好地度量样本之间的距离, 且3D-RN模型不需要过低的学习率就能够得到很好的效果, 说明在少量样本下3D-RN模型需要的算力和迭代更小。 5-shot将支撑集中每类的5个样本的特征结合在一起能够更好地表示样本的特征, 从而使得分类的结果比1-shot更加优异。 本模型训练好后可以用于工业应用, 实际应用中不再需要训练, 直接完成预测任务, 耗时少, 精度高, 能够舍去大量的人工检测成本。

每个任务中每类样本数量也是个重要的超参数, 故分别对每类共含10, 20和30个样本使用3D-RN模型进行4-way 5-shot实验, 实验结果显示在10, 20和30个样本条件下, 准确率分别为69.27%±1.95%, 82.75%±2.50%和73.46%±1.44%。 表明样本数量太小使得模型无法充分学习导致准确率不高, 样本数量太大, 任务复杂度超出模型的表达能力, 导致准确率下降。