(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210897509.5 (22)申请日 2022.07.28 (71)申请人 扬州大学江都高端 装备工程 技术研 究所 地址 225261 江苏省扬州市江都区邵伯镇 诚意路1号 (72)发明人 孙进　谢文涛　周威　雷震霆　 马昊天　梁立　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 董旭东　季雯 (51)Int.Cl. G06V 10/80(2022.01) G06V 20/68(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/54(2022.01) G06V 10/28(2022.01) G06T 7/136(2017.01) G06T 5/30(2006.01) G06T 5/00(2006.01) (54)发明名称 基于多特征串行融合的菱种外观品质分级 方法 (57)摘要 本发明公开了基于多特征串行融合的菱种 外观品质分级方法， 属于农作物视觉检测技术领 域。 本发明通过工业相机采集菱种多角度图像数 据， 对菱种实际外形特征进行全面的描述， 对所 采集的图像进行预处理， 分别提取菱种的几何特 征、 畸变特征和纹理特征， 将三特征经过串行融 合输入分类器进行分类识别， 实现菱种的多品质 分级输出。 本发 明对菱种多角度全 方位特征信息 进行分析分类， 更能反映菱种的实际外形特征， 更具有说服力； 将优质菱种三个特征串行融合综 合判定其品质和等级， 有效的提升了菱种智能分 级的准确度。 权利要求书3页 说明书7页 附图3页 CN 115240045 A 2022.10.25 CN 115240045 A 1.一种基于多特 征串行融合的菱种外观品质分级方法， 其特 征在于， 包括以下步骤： 步骤1)采集菱种图像， 通过工业相机采集菱种三个角度的图像信息； 步骤2)菱种图像预处 理； 步骤3)提取菱种三特 征， 包括几何特 征数据提取、 畸变特 征数据提取和纹 理特征提取； 步骤4： 特 征融合与分类识别。 2.根据权利要求1所述的基于多特征串行融合的菱种外观品质分级方法， 其特性在于， 所述步骤1)具体包括： 以菱种的重心 为原点， 三个相机 分别位于空间直角坐标系的x轴、 y轴 和z轴上， 镜头与菱种的距离相同， 其中A侧为菱种的侧脊面、 B侧为菱种的腹部、 C侧为菱种 的长角端部； 每 个菱角分别采集A、 B、 C三侧的图像。 3.根据权利要求1所述的基于多特征串行融合的菱种外观品质分级方法， 其特性在于， 步骤3)中所述几何特征数据提取包括： 对获取 的菱种三角度图像分别运用开运算， 先进行 腐蚀运算， 再进行膨胀运算， 消除图像的噪声， 并消除尖角对后期矩形拟合的影响； 对上述 去噪后的二 值图利用Sobel 边缘检测算法提取光滑、 连续的菱种主体边 缘； 利用OpenCV开源图像处理函数对上述轮廓进行最小矩形拟合， 每个菱种分别获得三个 主体轮廓外接矩形， 其中A侧外接矩形长LA、 宽WA， B侧外接矩形长LB、 宽WB， C侧外接矩形长 LC、 宽WC， 近似认为 LA＝LB、 WA＝LC、 WB＝WC， 因此菱种主体外 接最小长方体 体积V： V＝LA×LC×WB                           (1)。 4.根据权利要求1所述的基于多特征串行融合的菱种外观品质分级方法， 其特性在于， 步骤3)中所述畸变特征数据提取包括： 在菱种的A侧和B侧投影图像中， 提取菱种图像边界 轮廓， 确定该图像的形心， 过形心做一条与菱种长轴相垂直的直线L， 即把菱种图像轮廓分 为左右两边， 同理， 在 菱种的C侧投影图像中， 过形心做 一条与菱种短轴相垂 直的直线， 同样 将C侧投影图像分为左右两边。 过直线L在图像上界和下界之 间的每个像素点做一条与之垂 直的直线li， 这些直线分别与菱种投影图像轮廓的两边各有交点， 坐标分别是(xi,hi)和 (yi,hi)， 而对应直线L的像素点 为(oi,hi)， 则A侧畸变量rA的计算公式为： 其中， n为直线L在图像上界和下界之间的像素点的个数； 菱种B侧和C侧的畸变量rB和rC在对应投影图像上同样由式(2)所求出， 则该菱种的畸变 量r的计算公式为： 其中， rA为菱种A侧畸变量， rB为菱种B侧畸变量， rC为菱种C侧畸变量。 5.根据权利要求1所述的基于多特征串行融合的菱种外观品质分级方法， 其特性在于， 步骤3)中所述纹理特征数据提取包括： 提取菱种图像中的灰度共生矩阵， 通过计算其能量、 对比度、 熵和逆方差来实现纹 理特征的描述； 1)能量： 通过计算灰度共生矩阵元素值的平方和， 表示图像灰度分布 的均等程度和纹 理粗细程度， 计算公式为：权　利　要　求　书 1/3 页 2 CN 115240045 A 2其中， P(i,j)是指归一化后的灰度共生矩阵， i和j分别是共生矩阵的第i行第j列元素 的值； 2)对比度： 反映矩阵中数值的分布和局部变化程度， 表示图像清晰程度和纹理深浅， 计 算公式为： 其中， P(i,j)是指归一化后的灰度共生矩阵， i和j分别是共生矩阵的第i行第j列元素 的值； 3)熵： 反映图像中信息随机程度的度量， 表示图像空间中灰度的复杂程度， 计算公式 为： 其中， P(i,j)是指归一化后的灰度共生矩阵， i和j分别是共生矩阵的第i行第j列元素 的值； 4)逆方差： 反映纹 理的清晰程度和规则程度， 计算公式为： 其中， P(i,j)是指归一化后的灰度共生矩阵， i和j分别是共生矩阵的第i行第j列元素 的值； 通过计算上述 参数值， 实现了菱种纹 理特征数据的提取。 6.根据权利要求1所述的基于多特征串行融合的菱种外观品质分级方法， 其特性在于， 所述步骤4)具体包括： 对菱种几何特征、 畸变特征和 纹理特征三类特征的值进行归一化处理， 采用离差标准 化的方式进行归一 化处理， 将原始数据映射到[0,1]区间内； 归一化公式如下： 其中， maxM为特征向量中元素的最大值， minM为特征向量中元素的最小值， m为特征向 量中的元 素， m′为归一化后的元 素， 则归一 化后的特 征向量表示 为M′； 将菱种几何特征、 畸变特征和纹理特征经过式(8)进行归一化处理， 再通过串行融合的 方式进行特征融合， 则串行融合后的菱种特征向量表示为F＝[V ′,R′,W′]， 其中， V ′为归一 化后的几何特 征向量， R ′为归一化后的畸变特 征向量， W ′为归一化后的纹 理特征向量； 分类识别过程分为四个部分： 首先， 将训练样本中的菱种分为四种品质等级， 分别是一 等菱、 二等菱、 三等菱和四等菱， 将对应的菱种样 本标注标签； 其次， 对 预处理后的菱种图像 分别提取几何特征、 畸变特征和纹理特征， 经归一化后将三种 特征串行融合成所需的分类 特征； 然后， 将 融合后的分类特征和对应标签作为训练集输入进SVM分类器中， 使用多类分 类方法进行训练； 最后， 得出训练后的分类模型， 将训练集经过预处理、 特征提取和特征融权　利　要　求　书 2/3 页 3 CN 115240045 A 3