(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210621708.3 (22)申请日 2022.06.02 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号哈尔滨理工大 学 (72)发明人 姜艳姝　李少帅　 (51)Int.Cl. B25J 11/00(2006.01) B25J 9/16(2006.01) (54)发明名称 基于卷积神经网络融合的家庭服务机器人 抓取检测方法 (57)摘要 本发明公开了一种基于卷积神经网络融合 的家庭服务机器人抓取检测方法， 该方法主要包 括： 获取周围环境的原始彩色图像和原始深度图 像； 获取目标物体的包围框， 并得到目标物体的 彩色图像； 将图像调整至设定的尺寸并均匀分 割； 对调整后的 图像提取特征， 得到特征图； 对特 征图进行处理， 得到目标物体的抓取矩形框参数 和抓取概率； 获得目标物体的最佳抓取检测框， 实现对目标物体的抓取检测； 因此， 利用本发明 方案可以确保家庭服务机器人在多物体场景下 对目标物体抓取的实时性和准确性。 权利要求书2页 说明书5页 附图2页 CN 114918944 A 2022.08.19 CN 114918944 A 1.一种基于卷积神经网络融合的家庭服务机器人抓取检测方法， 其特征在于， 包括以 下步骤： S1:通过安装于家庭服务机器人上面的传感器获取周围环境的原始彩色图像和原始深 度图像； S2:基于所述原始彩色图像， 通过基于深度学习的目标检测网络获取目标物体的包围 框， 并对所述包围框在所述原始彩色图像的对应区域进行位置 分割得到目标物体的彩色图 像， 作为第一彩色图像区域； S3:将所述第一彩色图像区域调整至设定的尺寸并均匀分割成7 ×7个小单元， 作为第 二彩色图像区域； S4:通过抓取检测网络的特征提取结构对所述第二彩色图像区域提取特征， 得到目标 物体的特 征图； S5:通过抓取检测网络的调整结构对所述特征图进行调整， 得到目标物体的抓取矩形 框参数x,y,h,w,si nθ,cosθ和抓取概 率值p； S6:基于p,x,y,h,w,sinθ,cosθ得到目标物体的最佳抓取检测框， 实现对目标物体的抓 取检测； 其中p,x,y,h,w,sinθ,cosθ分别代表抓取矩形框的抓取概率值、 中心点坐标、 高度、 宽 度、 朝向角的正弦值、 朝向角的余弦值。 2.根据权利要求1所述的基于卷积神经网络融合的家庭服务机器人抓取检测方法， 其 特征在于， 所述步骤S3中 “将所述第一彩色图像区域调整至设定的尺寸并均匀分割成7 ×7 个小单元， 作为第二彩色图像区域 ”， 其方法为： 通过双线性插值法将第一彩色图像区域调 整至设定的尺寸并均匀分割成7 ×7个小单元， 得到第二图像区域。 3.根据权利要求1所述的基于卷积神经网络融合的家庭服务机器人抓取检测方法， 其 特征在于， 所述步骤S4中 “特征提取结构 ”， 其是由卷积分量以及四个残差分量构建， 每个卷 积分量是由一个二维(2D)卷积、 ReLU激活函数和一个批处理归一化函数组成， 每个残差分 量是由卷积分量和残差单 元组成。 4.根据权利要求1所述的基于卷积神经网络融合的家庭服务机器人抓取检测方法， 其 特征在于， 所述 步骤S5中“调整结构 ”， 其是由三个2D卷积构建。 5.根据权利要求1所述的基于卷积神经网络融合的家庭服务机器人抓取检测方法， 其 特征在于， 所述 步骤S6的具体步骤为： S6.1:选择最高抓取概率值所对应的x,y,h,w作为最佳抓取矩形的中心坐标和最佳抓 取矩形的高、 宽； S6.2:最佳抓取矩形的朝向角为： S6.3:获取深度图像的深度信息对所述最佳抓取矩形参数完成平面到三维的转换， 获 得目标物体真实位置和姿态的信息 。 6.根据权利要求1所述的基于卷积神经网络融合的家庭服务机器人抓取检测方法， 其 特征在于， 所述 抓取检测网络的损失函数为：权　利　要　求　书 1/2 页 2 CN 114918944 A 2其中， Lloss为抓取检测网络在训练时获取的损失值， S表示图像横、 纵轴分成的单元格个 数， B表示每张图像选取的标签值个数， P表示每个单元格预测的参数个数， pi、 表示每个 单元格的抓取概 率标签值与预测值， ci,j、 表示每个单元格的抓取参数 标签值与预测值。权　利　要　求　书 2/2 页 3 CN 114918944 A 3