(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210388751.X (22)申请日 2022.04.14 (71)申请人 深圳技术大学 地址 518000 广东省深圳市坪 山区石井街 道兰田路3 002号 (72)发明人 刘小旭　卢鑫　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 侯丽燕 (51)Int.Cl. B25J 5/00(2006.01) B25J 9/04(2006.01) B25J 9/16(2006.01) (54)发明名称 一种基于单目视觉的移动机器人及其自动 抓取方法 (57)摘要 本发明提供一种基于单目视觉的移动机器 人及其自动抓取方法， 该方法包括通过移动机器 人匀速转动采集周围环境图像信息， 当确认出现 目标物体后， 由机器人控制调整单目视觉姿态， 使采集到的目标物体图像坐标位于整个摄像头 视野的正中间， 并朝目标物体移动； 调用深度估 计网络模型， 得到目标物体距离移动机器人的距 离深度； 当目标物体出现在摄像头视野中时， 计 算得到目标物体在摄像头中的坐标位置， 计算得 到目标物体在夹爪坐标系中的坐标位置， 计算出 机械臂各舵机转动角度， 从而引导机械臂进行自 主抓取。 应用本发明可以解决现有技术中存在的 灵活性差不足、 定位精度低、 算法复杂等问题， 方 法过程简便、 通用性强、 计算量小、 计算效率高、 测量准确度高。 权利要求书2页 说明书5页 附图4页 CN 114770461 A 2022.07.22 CN 114770461 A 1.一种基于单目视 觉的移动机器人， 其特 征在于， 包括： 机器人主体以及安装在所述机器人主体上的机械臂， 所述机器人主体底部安设有麦克 纳姆轮， 所述机械臂包括第一臂、 第二臂、 第三臂、 第四臂、 第五臂、 第六臂、 第一舵机、 第二 舵机、 第三舵机、 第四舵机、 第五舵机、 第六舵机， 所述第一舵机安装在所述麦克纳姆轮上， 所述第一臂固定在所述机器人主体上， 所述第一臂与所述第二臂通过所述第二舵机连接， 所述第二臂与所述第三臂通过所述第三舵机连接， 所述第三臂与所述第四臂 通过所述第四 舵机连接， 所述第四臂与所述第 五臂通过所述第 五舵机连接， 所述第 五臂与所述第六臂通 过所述第六 舵机连接， 所述第六臂的端部具有夹爪， 所述夹爪上 方设有摄 像头； 其中， 所述机器人主体 内设置有处理器， 用于分析所述摄像头采集的图像信息， 根据处 理结果控制所述麦克纳姆轮和机 械臂的动作， 进行自主抓取目标物体。 2.一种基于单目视觉的移动机器人的自动抓取方法， 其特征在于， 该移动机器人是采 用如权利要求1所述的移动机器人， 该 方法包括以下步骤： 对移动机器人进行初始化； 通过移动机器人匀速转动采集周围环境图像信 息， 判断采集得到的图像信 息是否存在 待抓取的目标物体， 当确认出现目标物体后， 由机器人控制调整 单目视觉姿态， 使采集到的 目标物体图像坐标位于整个 摄像头视野的正中间， 并朝目标物体移动； 根据采集到的目标物体图像信息， 调用深度估计网络模型， 得到目标物体距离移动机 器人的距离深度； 当目标物体出现在摄像头视野中时， 计算得到目标物体在摄像头中的坐标位置， 计算 得到目标物体在夹爪坐标系中的坐标位置， 通过机械臂逆运动学计算出机械臂各个舵机转 动角度， 得到对应的动作指令， 从而引导机 械臂进行自主抓取。 3.根据权利要求2所述的方法， 其特 征在于， 所述对移动机器人进行初始化， 包括： 将待抓取的目标物体放置在移动机器人的摄像头前， 转动移动机器人的舵机至第 一姿 态， 将机械臂初始化至摄像头水平状态， 记录当前位置姿态信息， 标定摄像头获取标定参 数， 建立机械臂的标准摄像位姿； 提取目标物体学习 特征， 导入预训练的神经网络模型， 训 练得到目标识别模型。 4.根据权利要求3所述的方法， 其特 征在于， 所述标定摄 像头获取 标定参数， 包括： 通过手眼标定方式获取摄 像头坐标系转换到 夹爪坐标系的变换矩阵 5.根据权利要求 4所述的方法， 其特 征在于： 当得到目标物体距离移动机器人的距离深度后， 移动机器人以第 一设定速率往目标物 体方向做直线移动， 并转动机械臂始终保持目标物体位于摄像头视野中， 当与目标物体小 于设定距离时， 调整机械臂使得摄像头垂直水平面拍摄， 并以第二设定速率往目标物体方 向前进。 6.根据权利要求5所述的方法， 其特征在于， 所述通过移动机器人匀速转动采集周围环 境图像信息， 包括： 移动机器人的第一舵机以角速度w3顺时针方向转动， 根据摄像头采集的 图像数据， 对图 像数据进行处 理并识别目标物体， 判断采集得到的图像信息是否存在待抓取的目标物体。 7.根据权利要求6所述的方法， 其特 征在于：权　利　要　求　书 1/2 页 2 CN 114770461 A 2当摄像头捕捉到目标物体后， 转动第一舵机， 通过PID控制算法调 节摄像头角度使得目 标物体位于摄像头中心 位置， 当目标物体位于摄像头中心 位置后， 以摄像头的偏航角yew为 基准， 移动机器人底盘和第一舵机同时沿相反方向以角速度wi转动， 保持摄像头 的偏航角 yew不变， 使得移动机器人转回到第一姿态。 8.根据权利要求7所述的方法， 其特征在于， 所述移动机器人以第 一设定速率往目标物 体方向做直线移动， 包括： 根据深度信息D， 调用IMU信息控制移动机器人四个轮速保持vi速度沿着摄像头的偏航 角yew方向做直线移动， 并且通过移动机器人编码器信息计算出编码器转动量转换出移动 机器人的前进距离S； 在移动机器人前进过程中， 调节第二舵机和第三舵机， 使得目标物体始终位于摄像头 视野中。 9.根据权利要求8所述的方法， 其特 征在于： 当目标物体出现在摄像头视野中时， 移动机器人停止移动， 截取摄像头的图像数据， 通 过训练好的目标识别模型计算出目标物体所在图像的二维平面坐标， 通过 计算出 目标物体位于夹爪坐标系的位置， 通过机械臂逆运动学计算出机械臂各个舵机转动角度， 并且转动机 械臂。 10.根据权利要求9所述的方法， 其特 征在于： 当机械臂转动完成后， 通过摄像头判断机械臂是否到达抓取位置， 若确定到达抓取位 置后， 移动机器人夹爪闭合， 回到第二姿态完成目标抓取动作； 若未到达抓取位置， 则重新 规划路径。权　利　要　求　书 2/2 页 3 CN 114770461 A 3