基于计算机视觉技术的茶叶品质随机森林感官评价方法研究
刘鹏1, 吴瑞梅1, 杨普香2, 李文金2, 文建萍1, 童阳3, 胡潇3, 艾施荣3,*
1. 江西农业大学工学院, 江西 南昌 330045
2. 江西省蚕桑茶叶研究所, 江西 南昌 330203
3. 江西农业大学软件学院, 江西 南昌 330045
*通讯联系人 e-mail: aisrong@163.com

作者简介: 刘 鹏, 1992年生, 江西农业大学工学院硕士研究生 e-mail: liupeng5688@qq.com

摘要

为弥补茶叶品质感官审评存在的缺陷, 利用计算机视觉技术对茶叶品质进行快速无损评价研究。 以碧螺春绿茶为对象, 依据专家感官审评结果, 将茶样分成4个等级; 采用中值滤波及拉普拉斯算子对茶样图像进行预处理, 并提取预处理后的茶样图像的颜色特征和纹理特征以表征茶叶图像的外形特征, 利用随机森林算法对茶叶外形特征属性进行重要性排序; 筛选出重要性较大的特征及随机森林算法中最优的决策树棵数建立感官评价模型, 并与建立的支持向量机(SVM)模型性能相比较。 结果表明: 色调均值、 色调标准差、 绿体均值、 平均灰度级、 饱和度均值、 红体均值、 饱和度标准差、 亮度均值、 一致性等9个特征属性的重要性较大, 且与感官审评特征描述结果相一致; 当采用优选出的9个重要性较大的特征及决策数棵数为500时, 建立的模型性能最优, 模型总体判别率为95.75%, Kappa系数为0.933, OOB误差为5%, 较SVM模型分别提高了3.5%, 0.066, 优选的9个重要性较大的图像特征与感官审评特征描述相一致。 研究表明: 利用随机森林方法筛选出对茶叶外形特征属性贡献最大的少数几个特征建立模型, 模型性能就能达到很好的识别效果, 模型得到简化, 同时模型精度和稳定性都高于其他方法。

关键词: 计算机视觉; 茶叶品质; 感官审评; 随机森林; 支持向量机
中图分类号:S126 文献标志码:A
Study of Sensory Quality Evaluation of Tea Using Computer Vision Technology and Forest Random Method
LIU Peng1, WU Rui-mei1, YANG Pu-xiang2, LI Wen-jin2, WEN Jian-ping1, TONG Yang3, HU Xiao3, AI Shi-rong3,*
1. College of Engineering, Jiangxi Agricultural University, Nanchang 330045, China
2. Sericulture and Tea Research Institute of Jiangxi Province, Nanchang 330203, China
3. College of Software, Jiangxi Agricultural University, Nanchang 330045, China
Abstract

In order to make up some flaws of sensory evaluation of tea quality, computer vision technology as a fast and nondestructive method was used to evaluate tea quality in this paper. Biluochun green tea samples were studied, and the tea samples were divided into four grades based on the evaluation results by experts for tea samples. The median filter and Laplace operator were used to preprocess the images of tea samples, and tea appearance features such as color features and texture features were extracted from the preprocessed images. Random forest(RF)method was used to analyze the significance of tea appearance features. The most important features and the optimal amounts of tree pruning of decision tree were investigated to develop the sensory evaluation model of tea quality. And the performance of RF model was compared to that of SVM model. The results show that nine more important features such as hue mean, hue standard deviation, greed channel mean, mean grey, saturation mean, red channel mean, saturation standard deviation, vision mean and uniformity were selected, and the result was consistent with the sensory evaluation profile; the optimal model was obtained when 9 most importance feature variables were selected and tree pruning of decision tree were 500. The overall recognition rate of the model was 95.75%, Kappa coefficient was 0.933, and OOB error was 5%. Compared with SVM model, the average recognition rate and Kappa coefficient of RF algorithm were improved 3.5% and 0.066, respectively. The 9 significant image features selected were consistent with the feature description of tea sensory evaluation terms by NY/T 863—2004. The study indicated that the developed model with a few significant appearance feature variables selected by RF method has high accuracy, and the model is simplified without lowering accuracy. The precision and stability of RF model are superior to that of SVM.

Keyword: Computer vision; Tea quality; Sensory evaluation; Random forestalgorithm; Support vector machine
引 言

目前茶叶品质评价仍以人工感官审评为主, 以理化检测方法为辅进行综合评定, 其结果易受审评员心理、 生理及环境因素影响, 具有一定的主观性。 茶叶外形、 叶底、 香气、 汤色和滋味是茶叶感官品质的5个审评因子, 其中茶叶外形包含外形颜色和形状, 由人眼视觉进行评价。 计算机视觉技术是采用仪器模拟人眼功能来代替人类视觉的一种快速无损检测技术, 通过提取待检目标物图像的颜色、 形状、 纹理等特征参数, 可对待测物的特征进行量化和标准化。 因此, 可利用计算机视觉技术来表征茶叶的外形指标。

近年来, 国内外研究者利用计算机视觉技术对茶叶品质评价进行了大量研究。 Wang等[1]利用计算机视觉技术和广义特征值最接近支持向量机方法, 建立茶叶品种鉴别系统, 其识别率为97.7%。 Borah[2]和Laddi[3]通过提取茶叶图像的颜色特征参数表征茶叶外形色泽、 提取纹理特征参数表征茶叶外形形状, 利用计算机视觉技术快速评价茶叶品质。 Dong等[4]运用计算机视觉技术获取茶叶图像的纹理和色泽特征, 筛选出10个与专家感官评分极显著相关的特征变量, 分别建立针芽形绿茶外形感官品质的线性和非线性预测模型。 张志峰等[5]通过获取茶叶图像的3个纹理特征参数, 建立BP神经网络识别模型, 对不同品种茶叶进行识别研究。 余洪等[6]采用主成分分析方法对提取的茶叶图像的颜色和纹理特征进行降维处理, 建立最小二乘支持向量机茶叶品质评价模型。 目前研究文献主要采用神经网络、 支持向量机等方法建立茶叶品质的计算机视觉评价模型。 而人工神经网络(artificial neural network, ANN)、 支持向量机(support vector machine, SVM)等模式识别方法在学习过程中, 强调经验风险最小化, 存在收敛速度慢、 局部最小化和过度拟合等缺陷, 易导致模型识别精度不高[7]。 随机森林(random forests, RF)算法是一种非线性模型建立方法, 具有预测精度高、 对异常值容忍度和噪声鲁棒性好等优点, 广泛应用于医药研究[8]、 农业科技[9]、 社会科学[10]、 经济金融[11]等领域的模型建立。

本文以碧螺春绿茶为研究对象, 依据审评员对茶样评分结果及碧螺春茶感官审评标准, 将茶叶分成4个等级。 采用随机森林算法建立茶叶品质的计算机视觉分级评价模型, 将茶叶的感官品质和仪器参数联系起来, 以建立一种客观、 一致的茶叶品质快速无损评价方法, 为规范茶叶市场、 推动茶叶品质的仪器化检测提供研究基础。

1 实验部分
1.1 样本收集及茶叶外形品质感官评审

碧螺春绿茶样本采集于苏州洞庭山, 共收集20个不同品质的茶样, 每个样本250 g, 随机编号1, 2, …, 20, 用自封袋置于5 ℃左右冰柜保存。 茶样感官审评得分由安徽农业大学茶学系4位审评专家评定, 审评标准参照茶叶感官审评标准(GB/T 23776— 2009)和碧螺春茶(NY/T 863— 2004)农业行业标准。 将感官审评得分位于90~99分、 80~89分、 70~79分、 60~69分对应得分值的茶样分为4个等级[12]

1.2 样本图像采集及预处理

图1为样本图像采集系统, 由CCD摄像机(TMC-7DSP,

美国)、 图像采集卡(Meteor Ⅱ , 加拿大)、 采集暗箱、 光源(飞利浦磨砂白炽灯, 色温2 800 K左右)及计算机组成。 采集暗箱涂刷成黑色内壁, 营造成均匀漫反射环境。 将每个样本均匀混合后, 称取(15± 0.5) g茶叶, 均匀平铺于60 mm× 10 mm规格的培养皿中, 依次采集茶样图像。

图1 茶叶图像采集系统Fig.1 The acquisition system of tea image

从茶叶的正中心位置, 截取200× 200像素感兴趣区域作为目标区域[见图2(a)]。 原始图像中存在一些噪声信息, 会影响分析结果。 采用中值滤波对原始图像进行平滑处理[见图2(b)], 消除图像噪声信息, 再利用3× 3拉普拉斯核算子对平滑后的图像进行空间卷积, 使消除噪声后的图像纹理更清晰明显[见图2(c)]。

图2 原始图像ROI区域和预处理图像Fig.2 Original image and preprocessing image of tea

1.3 图像特征提取

不同品质茶叶的外形纹理特征和颜色特征差异很大[12]。 采用RGB和HSI色彩模型提取茶叶图像的颜色特征, 以表达茶叶色泽特征。 采用基于灰度差分统计矩阵和灰度共生矩阵方法提取茶叶样本的纹理特征, 以表达茶叶外形的形状特征。 表1是所提取的特征参数。

表1 茶叶图像的颜色特征和纹理特征参数 Table 1 Color and texture feature parameters of tea image
1.4 随机森林方法

RF是由多棵分类和回归决策树组成的集成学习方法。 该方法采用自主抽样获得多个有差异的训练集, 构建多棵不同的决策树, 使用袋外(out-of-bag, OOB)样本数据集计算每棵树的无偏误差估计, 用于评价模型效果。 在决策树生长过程中, 随机选取少量特征属性作为内部节点的候选属性, 并以重要性较大的属性作为该节点的最佳分裂属性。 用于分类的RF, 最终采用投票方法决定样本的所属类别。 RF采用并行运算方法, 学习过程较快, 对数据集中的噪声鲁棒性好, 且对多元共线性不敏感。 RF分类算法步骤如下:

①利用Bootstrap自助采样方法从原始训练集所有n个样本中抽取m(m< n)个样本组成新的训练集, 用于创建单棵分类树, 剩余样本构成袋外(out-of-bag, OOB)样本数据集, 以测试分类树的OOB误差, 评价分类树性能;

②重复步骤①, 产生T个训练集, 用于构建T棵分类树, 组成一片“ 森林” , 分类树生长过程中, 在每个非叶子节点(内部节点)进行分支前, 选择全部p个属性中的k(k< p)个, 作为当前节点的分裂候选属性, 并选取基尼指数最小的属性进行分支。

③每棵决策树都完整生长, 直到叶子节点;

④利用“ 森林” 中每棵决策树对测试样本进行测试, 得到T个对应的分类结果;

⑤采用投票方法, 将T个对应的分类结果中最多的类别作为该测试样本最终的类别归属。

2 结果与讨论
2.1 茶叶感官审评结果分析

对4位茶叶审评员的评分进行Pearson双侧相关性分析, 以组内相关系数(intraclass correlation coefficient, ICC)验证审评员之间的一致性。 ICC值在0.81~1.00间表示审评员间一致性极好, 0.61~0.80表示一致性较好, 0.41~0.60表示一致性尚可[13]表2为4位审评员得分结果分析, 由表可知, 4位茶叶审评员间的ICC值均大于0.81, 且在0.01水平显著相关, 表明4位审评员的评分结果一致性好。

表2 4位审评员的评分一致性分析 Table 2 The consistency analysis between the scores of four evaluators

根据茶叶审评员对茶样品质的评分结果, 将20个茶样分成4个等级, 结果见表3。 将每个样本混合均匀后, 随机分成6等份, 采集其可见光图像, 共采集120幅图像, 选择其中的4个样本图像组成训练集, 其余2个为预测集, 即训练集有80个样本, 预测集有40个样本。

表3 茶叶感官评审分级结果 Table 3 Grading results based on sensory evaluation scores of tea samples
2.2 图像特征的重要性分析与选择

随机森林方法利用基尼指数平均降低量(mean decrease in Gini index)对特征进行重要性评估, 通过Gini指数计算每个特征对分类树节点上观测值的异质性影响, 比较特征的重要性[14]。 本研究利用随机森林方法对图像的颜色特征和纹理特征进行重要性排序, 排序结果见图3, 图中特征的柱状图越高, 表示该特征的重要性越大。 从图可看出, 色调均值、色调标准差、 绿体均值、 平均灰度级、 饱和度均值、 红体均值、 饱和度标准差、 亮度均值、 一致性等9个特征属性的重要性较大, 其余特征的重要性较小, 且总体上颜色特征的重要性大于纹理特征。 优选结果表明, 茶叶的图像特征中, 茶叶颜色特征对图像特征描述更显著, 而形状特征描述显著性差些。 碧螺春茶感官审评行业标准(NY/T 863— 2004)的颜色特征和外形特征描述如下: 不同等级的外形色泽特征描述为银绿隐翠、 银绿显翠、 绿翠、 绿润, 其色泽感官特征描述差异较明显, 而外形形状特征描述为纤细卷曲呈螺且白毫披覆、 紧细卷曲成螺且白毫披露、 紧细卷曲成螺且白毫显露、 紧结卷曲成螺且白毫尚显, 其外形形状感官特征描述差异较小。 说明随机森林方法优选的茶叶图像特征结果的重要性与感官审评特征描述结果相一致。

图3 随机森林方法对特征参数重要性分析Fig.3 The importance analysis of characteristic parameters by RF method

2.3 茶叶等级的随机森林评价模型建立及结果分析

随机森林算法的样本抽取是随机产生的, 节点分裂候选属性也是随机分配的, 导致有些决策树中包含了噪声信息和冗余信息, 这些决策树会降低随机森林模型的识别精度。 因此, 选择重要度较高的特征参数和最优的决策数棵数参与建模, 是提高随机森林模型识别率的关键。 本研究决策树棵数范围为50~1 000棵, 并依据以上对特征重要性排序, 利用交叉验证方法, 以不同特征参数个数和不同决策树棵数分别建立评判模型, 由预测集的识别率优选最优特征参数和决策树的棵数, 优选结果见图4。 从图可看出, 当优选出前9个重要度较高的特征参数(色调均值、 色调标准差、 绿体均值、 平均灰度级、 饱和度均值、 红体均值、 饱和度标准差、 亮度均值、 一致性)、 决策树的棵数为500时, 所建随机森林模型的识别结果最好, 其识别率为95%。

茶叶表面色调除取决于照明光源的光谱组成外, 还取决于茶叶表面对光谱反射率的能量分布。 色调均值、 色调标准差及绿体均值能表征感官审评中对于茶叶色泽(银绿隐翠、 银绿显翠、 绿翠、 绿润)的描述。 饱和度是指彩色的纯净度, 可充分体现茶叶外观的鲜润程度。 平均灰度级反映了茶叶图像总体灰度差的平均水平, 值越大, 纹理越粗。 由此可见, 随机森林方法能很好地优选出与茶叶外形特征贡献度较大的几个特征参数参与建模, 从而使模型得到简化, 同时提高模型精度。

图4 采用不同特征参数及决策树棵树所建模型结果Fig.4 Recognition results of RF models with amounts of tree pruning of decision tree and characteristic variables

采用所建模型对训练集样本及预测集样本进行分级测试, 表3为模型对训练集样本的分级结果, 表4为模型对预测集样本的预测结果, 其中训练集的总体识别率为96.5%, 预测集的总体识别率为95%。 由表可知, 在训练集中, 1个一级茶样被误判为二级, 2个二级茶样被误判成一级; 预测集中, 1个一级茶样被误判为二级, 1个二级茶样被误判成一级。 在茶叶感官审评术语中, 一级评判术语为纤细卷曲呈螺且白毫披覆、 银绿隐翠、 匀整、 匀净, 二级评判术语为紧细卷曲成螺且白毫披露、 银绿显翠、 匀整、 匀净, 三级评判术语为紧细卷曲成螺且白毫显露、 绿翠、 匀尚整、 匀尚净, 四级评判术语为紧结卷曲成螺且白毫尚显、 绿润、 尚匀整、 尚匀净。 一级和二级的评判术语相差甚微, 对茶叶品质的评判结果具有一定的模糊性和主观性, 导致一级和二级的样本相互误判。

表3 随机森林模型对训练集的分级结果 Table 3 Classification results with RF model for training set
表4 随机森林模型对预测集的预测结果 Table 4 Predicted results with RF model for the prediction set
2.3 模型性能比较

为比较随机森林算法的优越性, 本研究采用SVM方法建立茶叶等级评判模型。 采用遗传算法优选SVM方法的惩罚因子c及径向基核函数σ , 设置遗传算法重要参数最大种群数为20, 最大进化代数为100, 交叉概率0.7和变异概率0.1。 采用最优惩罚因子c为2.771 9, 核参数σ 为4.623 1, 建立的SVM模型识别效果最佳, 训练集识别率为94.5%, 预测集识别率为90%。

常见模型性能评价指标有识别率、 Kappa系数、 OOB误差等。 Kappa系数是一种度量分类结果一致性的统计量, 是度量分类器性能稳定性的依据, Kappa系数值越大, 分类器性能越稳定[15, 16]。 另外, 随机森林算法利用OOB误差估计作为对预测误差的无偏估计, 评估模型性能, 值越小, 说明模型精度越高。 比较RF模型和SVM模型的总体识别率、 OOB误差和Kappa系数, 结果见表5。 由表可知, 随机森林分级模型的总体识别率为95.75%, Kappa系数为0.933, OOB误差为5%; SVM分级模型的总体识别率为92.25%, Kappa系数为0.867。 相比于SVM分级模型, 随机森林模型的识别率和Kappa系数分别提高了3.5%, 0.066。 由此可知, 茶叶品质随机森林分级模型的识别精度高, 其总体识别率和稳定性能均高于SVM模型的结果。

表5 不同分类模型的性能比较 Table 5 Performance comparison of different classification models
3 结 论

茶叶品质感官审评具有一定的主观性和随机性。 探讨利用随机森林方法建立茶叶品质的计算机视觉感官评价方法, 采用随机森林算法对茶叶外形特征参数进行重要性分析, 发现色调均值、 色调标准差、 绿体均值、 平均灰度级、 饱和度均值、 红体均值、 饱和度标准差、 亮度均值、 一致性等特征属性的重要性较大, 且总体上颜色特征的重要性大于纹理特征, 与感官审评特征描述结果相一致。 当优选前9个重要度较大的特征参数, 决策树棵数为500时, 建立的模型性能最好。 与SVM模型进行比较, 随机森林模型在总体识别率和kappa系数方面分别提高了3.5%, 0.066。 结果表明, 随机森林方法能很好地优选出与茶叶外形特征贡献度较大的少数特征变量参与建模, 简化了模型, 同时模型精度得到提高, 其性能稳定性高于SVM的。 研究结果为茶叶品质实时检测仪器开发提供新思路。

The authors have declared that no competing interests exist.

参考文献
[1] Wang S, Phillips P, Liu A, et al. Fundamenta Informaticae, 2017, 151(1-4): 325. [本文引用:1]
[2] Borah S, Hines E L, Bhuyan M. Journal of Food Engineering, 2007, 79(2): 629. [本文引用:1]
[3] Laddi A, Sharma S, Kumar A, et al. Journal of Food Engineering, 2013, 115(2): 226. [本文引用:1]
[4] Dong C, Zhu H, Zhao J, et al. Journal of Zhejiang University-SCIENCE B (Biomedicine & Biotechnology), 2017, 18(6): 544. [本文引用:1]
[5] ZHANG Zhi-feng, LI Shi-hai, TANG Yi-ming, et al(张志峰, 李世海, 汤一明, ). Journal of Light Industry(轻工学报), 2016, 31(6): 103. [本文引用:1]
[6] YU Hong, WU Rui-mei, AI Shi-rong, et al(余洪, 吴瑞梅, 艾施荣, ). Laser Journal(激光杂志), 2017, 38(1): 51. [本文引用:1]
[7] XU Guo-xiang, YANG Zhen-jian(徐国祥, 杨振建) The Journal of Quantitative & Technical Economics(数量经济技术经济研究), 2011, 28(2): 135. [本文引用:1]
[8] Verma A, Dong X. Journal of Biomedical Science and Engineering, 2016, 9(5): 259. [本文引用:1]
[9] LIU Ya-dong, CUI Ri-xian(刘亚东, 崔日鲜) Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2015, 35(12): 3480. [本文引用:1]
[10] Fatemeh N, Tomasz S, Dorota K, et al. International Journal of Speech Technology, 2017, 20(2): 239. [本文引用:1]
[11] Li Z, Wang R, Ye Z, et al. Fisheries Science, 2017, 83(1): 1. [本文引用:1]
[12] WU Rui-mei, WU Yan-hong, AI Shi-rong, et al(吴瑞梅, 吴彦红, 艾施荣, ). Acta Agriculturae Universitis Jiangxiensis(江西农业大学学报), 2013, 35(2): 413. [本文引用:2]
[13] Wang L, Chen H, Yan H, et al. International Wound Journal, 2015, 12(5): 590. [本文引用:1]
[14] LI Xin-hai(李欣海) Chinese Journal of Applied Entomology(应用昆虫学报), 2013, 50(4): 1190. [本文引用:1]
[15] Zliobaite I, Bifet A, Read J, et al. Machine Learning, 2015, 98(3): 455. [本文引用:1]
[16] XU Shu-liang, WANG Jun-hong(徐树良, 王俊红) Computer Science(计算机科学), 2016, 43(12): 173. [本文引用:1]