(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210684812.7 (22)申请日 2022.06.17 (71)申请人 南京工程学院 地址 211100 江苏省南京市江宁科 学园弘 景大道1号 (72)发明人 温秀兰　渠慎林　赵艺兵　倪浩君　 冯月贵　佘媛　唐国寅　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 张力 (51)Int.Cl. B25J 3/00(2006.01) B25J 5/00(2006.01) B25J 9/16(2006.01) (54)发明名称 一种基于多传感器融合的移动双工业机器 人协同抓取系统及方法 (57)摘要 本发明公开了一种基于多传感器融合的移 动双工业机器人协同抓取系统及方法， 采用基于 多传感器融合的移动双工业机器人协同抓取系 统实现， 所述系统包括三维深度相机、 激光式深 度传感器、 PC控制端、 主、 从工业机器人、 搭载工 业机器人的全 方位移动底盘模块， 具体包括全 方 位移动底盘、 底盘驱动器、 底盘控制器、 外部通信 接口。 本发明将多种传感器得到的信息进行融 合， 能够有效的适应变化的环境， 具有很强的自 适应能力、 学习能力和自治功能。 移动双工业机 器人的投入使用降低企业成本、 提高效率， 如在 工业领域中的流转车间、 货运码头、 大型物流仓 库等， 往往需要组装、 拆卸、 分拣、 搬运、 包装等多 重程序， 机器作业可 以降低人工成本， 提高工业 生产的自动化和智能化 程度。 权利要求书3页 说明书12页 附图7页 CN 114888768 A 2022.08.12 CN 114888768 A 1.一种基于多传感器融合的移动双工业机器人协同抓取系统， 其特征在于， 采用基于 多传感器融合的移动双工业机器人协同抓取系统实现， 所述系统包括三维深度相 机、 激光 式深度传感器、 P C控制端、 主、 从工业机器人、 搭载工业机器人的全方位移动底盘模块， 具体 包括全方位移动底盘、 底盘驱动器、 底盘控制器、 外 部通信接口； 所述移动底盘由四个直流伺服电机单独控制的麦克纳姆轮作为执行机构， 底盘控制器 可以通过EtherCAT访问， 使移动底盘以时间最短原则移动到目标点； 所述三维深度相机安装在移动底盘上， 实现了在抓取场景不固定下的可移动式、 眼在 手外的手眼标定方式； 所述激光式深度传感器安装在所述移动底盘上， 且对主、 从工业机器人作业空间不产 生干涉； 所述主、 从工业机器人固定安装在移动底盘上， 比传统单机器人具有更高的灵活性、 操 作性和负载能力， 两 机器人安装在同一水平位置上， 在x方向相距一定距离； 所述三维深度相机用于完成标定获取相机的内部参数和外部参数， 内部参数包括相机 的实际焦距、 像素大小等， 用于解决相机本身安装造成的误差， 外部参数包括相机在工作空 间下的位置、 旋转方向等， 用于进一步的将获得的目标物体深度图像提取深度信息完成目 标物体的识别与定位； 所述激光式深度传感器通过不间断发射红外信号， 接受反射回来的 信号时间差进 行扫描获取二 维空间的点阵数据， 进一步的配合SLAM技术完成作业环境地图 构建， 实现起始点到目标点的路径规划， 同时实时更新路径上障碍物信息， 完成导航避障； 所述主、 从工业机器人用于完成目标物体的协同抓取作业； 所述全方位移动底盘用于搭载 三维深度相 机、 激光式深度传感器、 主、 从工业机器人， 完成上述设备在作业环境下灵活移 动； 所述PC控制端用于接收三 维深度相机获取的深度信息进 行坐标变换获取目标物体在工 业机器人坐标系 下的三维坐标， 接 收激光式深度传感器获取 的信息构建作业环境地图， 创 建系统中的各个节点， 实现整个系统节点间的通信； 所述三维深度相机与PC控制端采用USB串 口连接； 所述激光式深度传感器与PC控制端 之间采用一端为USB， 一端为TART的数据线连接， 其中USB串口与PC控制端连接,UART串口与 激光式深度传感器连接通讯； 所述主、 从工业机器人与全方位移动底盘各采用2 4V电源输入 和EtherCAT通讯； 所述由主、 从工业机器人和全方位移动底盘组成的移动双工业机器人与 PC控制端采用EtherCAT完成数据通讯。 2.一种基于多传感器融合的移动双工业机器人协同抓取方法， 其特征在于， 包括以下 步骤： 步骤1： 根据实际作业场景在x、 y方向确定二维平面工作范围， 分别以工作范围、 主工业 机器人、 从工业机器人、 三维深度相机的中心 点为原点构建基座标系oxyz、 主工业机器人工 作坐标系o1x1y1z1、 从工业机器人工作坐标系o2x2y2z2、 相机坐标系okxkykzk， 确定已知的作业 区域范围下工业机器人移动底盘起始位置、 主从工业机器人起始姿态、 待抓取目标物体位 置、 放置目标物体位置； 步骤2： 调试软、 硬件设备， 完成PC端与激光式深度传感器数据通讯， 完成PC端与深度相 机数据通讯， 实现PC控制端与移动双工业机器人的通讯， 使机器人系统和PC机在同一个局 域网下， 完成数据显示和实时控制， 标定主、 从工业机器人与深度相机的相对位置关系； 步骤3： 移动底盘与PC控制端完成通讯后， PC端控制移动底盘至起始位置， 设置机器人权　利　要　求　书 1/3 页 2 CN 114888768 A 2起始姿态； 步骤4： 开启激光式深度传感器和全方位移动底盘， 打开PC控制端可视化环境和驱动程 序， 在Ubuntu系统ROS环境下， 采用SLAM实现移动平台的自动建图， 完成作业环境 地图； 步骤5： 移动底盘规划移动路径到 达目标物体抓取位置； 步骤6： ； 深度相机采集深度图像并传输给PC控制端， 完成目标坐标和末端执行器之间 坐标转换； 步骤7： 控制主、 从工业机器人 上的末端夹持器协同抓取目标物体； 步骤8： 移动平台搬运目标物体平稳移动到目标放置点 位置； 步骤9： 控制主、 从工业机器人 上的末端夹持器， 放置目标物体至放置点； 步骤10： 移动底盘返回至起始位置， 同时主、 从工业机器人恢复到起始姿态， 或移动机 器人回到目标物体抓取位置， 再次搬运作业， 直至完成全部任务后移动底盘再返回至起始 位置， 主、 从工业机器人恢复到起始姿态。 3.根据权利要求书2所述的一种基于多传感器融合的移动双工业机器人协同抓取方 法， 其特征在于， 所述步骤1包括： 根据实际作业场景在x、 y方向确定二维平面工作范围， 分 别以工作范围、 主工业机器人、 从工业机器人、 三维深度相机的中心 点为原点构建基座标系 oxyz、 主工业机器人工作坐标系o1x1y1z1、 从工业机器人工作坐标系o2x2y2z2、 相机坐标系 okxkykzk， 构建过程如下： 定义工业机器人移动底盘起始位置为a点， 以工作区域地图中心点o为坐标原点， 当移 动双工业机器人水平放置在a点时， 以主、 从工业机器人的底盘中心点o1、 o2连线为x轴， 垂直 于o1、 o2连线的方向为y轴， 根据右手法则确定 z轴方向， 建立基坐标系oxyz； 以主机器人底盘中心o1点为坐标原点， 以o1、 o2连线为x1轴， 与y轴平行方向为y1轴， 与z 轴平行方向为z1轴建立主工业机器人工作坐标系o1x1y1z1； 以从机器人底盘中心o2点为坐标原点， 沿x1轴平移两机器人底盘中心距离建立从工业 机器人工作坐标系o2x2y2z2； 以三维深度相机的摄像头视角中心k为坐标原点， 与x轴平行同向为xK轴， 与y轴平行同 向为yK轴,与z轴平行同向为zK轴建立相机坐标系okxkykzk； 起始位置a点在工作区域基坐标系oxyz下的位置坐标为(xa,ya,za),目标物体抓取位置 b点在工作区域基坐标系oxyz下的位置坐标为(xb,yb,zb)， 目标物体放置位置c点在工作区 域基坐标系oxyz下的位置坐标为(xc,yc,zc)； 主、 从工业机器人关节角用 θij表示， 起始位置a点下的机器人各关节角度为0， 处于零位 状态， 其中， i＝1,2， 1表示为主工业机器人， 2表示为从工业机器人， j＝1,2, …,M， M为机器 人关节数目且M为 正整数； 主、 从工业机器人在目标物体抓取位置b点和目标物体放置位置c点时， 由机器人末端 目标点位置坐标的目标值poi在工作区域基坐标系oxyz下沿x轴、 y轴、 z轴的坐标分量poix、 poiy、 poiz和姿态坐标的目标值roi在工作区域基坐标系 oxyz下绕x轴、 y轴、 z轴的偏航角 μoi、 俯仰角 υoi、 侧滚角ωoi确定各组关节角的目标值θij， 在PC控制端设定主、 从机器人各 组关节 角的目标值θij， 控制机器人各关节运动到各组关节角的目标值θij， 完成目标物体抓取和放 置工作。 4.根据权利要求书1所述的一种基于多传感器融合的移动双工业机器人协同抓取方权　利　要　求　书 2/3 页 3 CN 114888768 A 3