(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211000670.4 (22)申请日 2022.08.19 (71)申请人 广西大学 地址 530003 广西壮 族自治区南宁市西乡 塘区大学东路10 0号 (72)发明人 孟海涛　农思远　何喆　韦博文　 缪亚伦　李岩舟　聂秋意　向青龙　 张宗轩　刘倩　 (74)专利代理 机构 南宁智卓专利代理事务所 (普通合伙) 4512 9 专利代理师 邓世江 (51)Int.Cl. G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于视觉识别的百香果成熟度检测及 定位方法 (57)摘要 本发明公开一种基于视觉识别的百香果成 熟度检测及定位方法， 所述百香果成熟度检测及 定位方法包括： 采用双目立体相机实时采集田间 果园内的百香果图像， 将采集到的百香果图像用 于建立VOC数据集， 形成待检测百香果图像； 获取 成熟百香果图像作为原始数据集， 然后对原始数 据集进行优化， 再将优化后的原始数据集送入百 香果目标检测模型中对对自然环境下的成熟百 香果进行检测、 训练出最优模型； 将待检测百香 果图像输入训练好的最优模型中进行测试， 输出 图像的识别结果， 根据识别结果对 百香果进行成 熟度判别与定位判断。 本发明能在自然环境下对 成熟百香果检测及定位， 本发明可以克服自然环 境下光照和遮挡的影响， 快速准确的识别定位成 熟的百香 果果实。 权利要求书2页 说明书8页 附图3页 CN 115311520 A 2022.11.08 CN 115311520 A 1.一种基于视觉识别的百香果成熟度检测及定位方法， 其特征在于： 所述百香果成熟 度检测及定位方法包括： 采用双目立体相 机实时采集田间果园内的百香果图像， 将采集到 的百香果图像用于 建立VOC数据集， 形成待检测百香果图像； 获取成熟百香果图像作为原始 数据集， 然后对原始数据集进行优化， 再将优化后的原始数据集送入百香果 目标检测模型 中对对自然环境下 的成熟百香果进行检测与训练， 训练出最优模型； 将待检测百香果图像 输入训练好的最优模型中进行测试， 输出图像的识别结果， 根据识别结果分别对百香果进 行成熟度判别与定位判断。 2.根据权利要求1所述的一种基于视觉识别的百香果成熟度检测及定位方法， 其特征 在于： 对原始数据集进 行优化包括通过MSRCP算法对光照图像进优化处理、 对随机遮挡图像 进行优化处 理和利用图像数据增强技 术进行扩充原 始数据集的规模。 3.根据权利要求3所述的一种基于视觉识别的百香果成熟度检测及定位方法， 其特征 在于： 通过MSRCP算法对光照图像进优化处 理包括如下步骤： 步骤31： 将原始数据集jpg.格式存放在V OC2007文件夹下JPEGImages子文件夹内， 用编 号重新命名， 利用Lab elimg图片标注工具对原始数据集进行人工标注， 再用矩形框将原始 数据集中的每个成熟的百香果目标图像进 行框选； 将熟的百香果目标图像进 行标签并储存 为TXT格式， 然后保存在Annotations标签文件夹下， 使标签文件与百香果目标图像一一对 应； 步骤32： 对框选的原始百香果目标图像RGB进行均衡， 然后将原始RGB进行增强并映射 到每个对应的色彩通道中； 步骤33： 对增强映射后的图像辐照度 进行估算， 并获取辐照度的最大值与最小 值； 其辐照度估算满足： 式中， fn为滤波器函数； I(x,y)为图像上 具体像素点坐标值； 4.根据权利要求1所述的一种基于视觉识别的百香果成熟度检测及定位方法， 其特征 在于： 所述百香果目标检测模型为YOLOv5网络模型， 将优化后的原始数据集送入YOLOv5网 络模型中进行检测、 训练， 获取最优训练模型， 所述待检测百香果图像输入训练好的最优 YOLOv5网络模型中进行测试， 输出待检测百香果图像的识别 结果， 根据识别 结果分别对百 香果进行成熟度判别与定位判断。 5.根据权利要求5所述的一种基于视觉识别的百香果成熟度检测及定位方法， 其特征 在于： 所述YOLOv5网络模型由CSPDarknet主特征提取网络， FPN加强特征网络以及Yolo   Head分类回归网络组成， CSPDarknet主特征提取网络对原始数据集进行特征提取， 所提取 的各个特征图像送入FPN加强特征网络进行上采样和下采样以实现特征融合训练， Yolo   Head分类回归网络对特征融合图像进行分类， 获取特征图中的特征点集合， 根据特征点集 合判断是否有百香 果与其对应。 6.根据权利要求1或4所述的一种基于视觉识别的百香果成熟度检测及定位方法， 其特 征在于： 所述百香果成熟度检测及定位方法还包括利用预测框对识别出的成熟百香果进 行 标注和提取成熟的百香果果实轮廓， 并在百香果果实轮廓外的对应位置绘制出矩形预测权　利　要　求　书 1/2 页 2 CN 115311520 A 2框， 对矩形预测框内的百香果果 实轮廓进 行预处理， 获取百香果果 实的中心 点三维坐标， 再 根据中心点的三 维坐标对成熟的百香果果实进行定位， 以便对成熟的百香果果实进行定位 采摘。 7.根据权利要求6所述的一种基于视觉识别的百香果成熟度检测及定位方法， 其特征 在于： 对矩形预测框内的百香果果实轮廓进 行预处理以及再对预 处理后的百香果果 实轮廓 图像进行视 差计算包括如下步骤： 步骤71， 对矩形预测框内的百香果果实的RGB值转换为对应的HSV值， 得到基于HSV色彩 空间的预测图像， 使百香 果果实与背景区分最 为明显； 步骤72， 对HSV色彩空间的预测图像依次选用双边滤波的方式进行滤波、 选用 Laplacian 算子进行边 缘锐化， 消除预测图像中突出的边 缘特征， 提取清晰的百香 果果实， 步骤73， 利用自适应阈值Canny算子对已提取清晰的百香果果实进行边缘检测， 获取百 香果果实在自然环境状态下均一连续的边 缘； 步骤74， 利用自适应阈值Canny算子与Hough圆检测算法相 结， 对百香果果实边缘信息 进行检测 和提取， 然后沿提取 出来的边 缘信息绘制出在自然环境状态的下 百香果果实的； 步骤75， 在绘制的百香果果实图像中找到圆心像素点， 并以图像中的最左上为坐标系 原点， 得到圆心像素点在图像上的二维坐标， 步骤76， 将二维坐标通过立体匹配及视差计算， 得到百香果果实中心点的三维坐标， 再 根据中心点的三 维坐标对成熟的百香果果实进行定位， 以便对成熟的百香果果实进行定位 采摘。 8.根据权利要求7所述的一种基于视觉识别的百香果成熟度检测及定位方法， 其特征 在于： 根据中心点的三维坐标对成熟的百香 果果实进行定位包括如下步骤： 步骤81： 以成熟的百香果果实所在目标位置点P(X,Y)为圆心、 双目立体相机的左镜头 坐标点Pl( μl, νl)和右镜头坐标点Pr( μr, νr)为检测点建立三维坐标系XcYcZc， 左镜头坐标Pl 和右镜头坐标Pr之间的距离为d； 步骤82： 在三维坐标系XcYcZc内分别计算百香果果实的目标点P在 水平方向距离X、 在 竖 直方向上距离 Y以及成熟 百香果圆心P与原点 直线距离Z； 步骤83： 根据目标位置点P、 水平方向距离X、 竖直方向上的距离Y和距离Z对成熟的百香 果果实进行定位， 以便对成熟的百香 果果实进行定位采摘。权　利　要　求　书 2/2 页 3 CN 115311520 A 3