(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210412148.0 (22)申请日 2022.04.19 (71)申请人 合肥综合 性国家科 学中心人工智能 研究院 （安徽省人工智能实验室） 地址 230000 安徽省合肥市望江西路5 089 号,中国科学技术大学先进技术研究 院未来中心B120 5-B1208 (72)发明人 李智军　曾敏　李国欣　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 高璀璀 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 基于异构特 征融合的机 器人抓取方法 (57)摘要 本发明提供了一种基于异构特征融合的机 器人抓取方法， 包括基于异构特征的环境 ‑机器 人感知模块， 基于机器人本体的轮式 ‑机械臂规 划模块以及机器人运动控制模块； 基于异构特征 的环境‑机器人感知模块能够获取障碍物坐标、 机器人当前坐标、 目标点坐标等感知信息； 基于 机器人本体的轮式 ‑机械臂规划模块根据所述感 知信息进行规划路径使机器人的机械手能够获 得目标的无碰撞路径； 机器人运动控制模块根据 无碰撞路径并通过电机驱动实现机器人执行无 碰撞路径的动作。 本方法可 以融合多模态信息， 获取三维环境下的精细感知模型， 集感知、 规划 及控制于一体， 实现在非结构化环 境中接近目标 并在不碰撞障碍物的情况下成功实现移动双臂 机器人的抓取操作。 权利要求书2页 说明书9页 附图2页 CN 114905508 A 2022.08.16 CN 114905508 A 1.一种基于异构特征融合的机器人抓取方法， 其特征在于， 包括基于异构特征的环境 ‑ 机器人感知模块， 基于 机器人本体的轮式 ‑机械臂规划模块以及机器人运动控制模块； 所述基于异构特征的环境 ‑机器人感知模块用于对环境进行精细感知， 获取感知信 息， 所述感知信息包括障碍物坐标、 机器人当前坐标、 目标点 坐标； 所述基于机器人本体的轮式 ‑机械臂规划模块根据所述基于异构特征的环境 ‑机器人 感知模块的感知信息， 进行规划路径， 使机器人的机 械手能够获得目标的无碰撞路径； 所述机器人运动控制模块根据所述无碰撞路径通过电机驱动实现机器人执行所述无 碰撞路径的动作。 2.根据权利要求1所述的基于异构特征融合的机器人抓取方法， 其特征在于， 所述基于 异构特征的环境 ‑机器人感知 模块包括 实现环境信息特征融合的基于多模态信息的异构特 征融合模块、 实现环境与目标信息重建的基于多尺度信息的三维检测模块、 实现目标的准 确位姿估计的基于 分层优化的多源位姿估计模块、 实现噪声处理与信息增强的基于 分析归 类模型的自适应鲁棒 性增强方法模块； 所述基于多模态信 息感知的异构特征模块， 根据不同类型的传感器中收集观测目标的 数据建立多模态信息感知模型， 获得各传感器的异构特征， 构建多模态深度学习模型进行 异构特征融合， 输出多视 觉传感器环境信息； 所述基于多尺度信 息的三维检测模块， 通过多视觉信号对物体信 息进行表征获得目标 物体的整体特征描述， 融合所述多视觉传感器环境信息， 通过多视觉传感器环境信息的局 部表征和目标物体的整体特征 的多尺度位置估计方法， 输出环境与目标物体位置信息， 实 现物体三维坐标的矫 正； 所述基于分层优化的多源位姿估计模块包括初步位姿估计、 实时矫正目标物体的位姿 状态； 所述初步位姿估计根据 所述环境与目标物体位置信 息获得位置物体的表面形状， 通过 抓取状态下的实时触觉反馈， 获得初步触觉信息； 回归计算 获得合适的夹持力， 获得对应关 节力矩阵信息； 所述实时矫正目标物体的位姿状态根据所述初步触觉信 息、 关节力矩阵信 息通过粒子 群算法实时确定机器人 的本体工作状态， 建立多模态数据的同源感知模型， 输出异构多源 传感信号； 所述基于分析归类模型的自适应鲁棒性增强方法模块针对不同的操作任务类型情况， 通过噪声自适应调节方法和建立视觉感知、 力觉感知、 深度感知的关联机制， 采用深度特征 学习模型的级联推理框架， 融合时空配准法， 实时预测机器人周围三维环境的综合态势， 对 所述异构多源传感信号， 进行精细估计与信号 矫正， 获得所述感知信息 。 3.根据权利要求2所述的基于异构特征融合的机器人抓取方法， 其特征在于， 所述多模 态信息感知模型为以分布式感知的方式， 通过多源动态信号表征机器人所处的环境， 获取 初步检测特 征的异构特 征； 所述多模态深度 学习模型使用人工神经网络法引入非线性激活函数， 实现多模态特征 的异构特 征融合。 4.根据权利要求2所述的基于异构特征融合的机器人抓取方法， 其特征在于， 多模态信 息感知的异构特征模块设有自适应特性的注意力机制方法， 对多源信号进行权值计算， 实权　利　要　求　书 1/2 页 2 CN 114905508 A 2现冗余信息的动态调节。 5.根据权利要求2所述的基于异构特征融合的机器人抓取方法， 其特征在于， 所述多尺 度位置估计方法引入轻量级深度学习网络， 通过多源信息的稀疏表示和降维来实现算法的 实时性。 6.根据权利要求2所述的基于异构特征融合的机器人抓取方法， 其特征在于， 所述噪声 自适应调节方法， 引入时变参数， 克服干扰信号的影响。 7.根据权利要求1所述的基于异构特征融合的机器人抓取方法， 其特征在于， 所述规划 路径包括建立 抓取规则、 导 航避障； 所述抓取规则使用基于对象整体形状及其局部特征的启发式算法计算建立抓取规则， 实现抓取； 所述导航避 障利用人工势场法建立导航避 障， 将编队理论应用于多关节机器手， 根据 传感器结果 规划路径， 获得目标的无碰撞路径。 8.根据权利要求7所述的基于异构特征融合的机器人抓取方法， 其特征在于， 所述启发 式算法为： 从物体的上方或者侧面开始， 如果搜索到适合机械手抓取 的目标物体的抓取轨 迹， 则将该抓取轨迹记为无碰撞路径； 如果没有搜索成功， 则从目标物体的高点上方抓取， 对不同的抓取操作进 行排序， 生成簇的规划抓取操作， 进一步形成有效的抓取轨迹， 此时的 抓取轨迹记为无碰撞路径。 9.根据权利要求8所述的基于异构特征融合的机器人抓取方法， 其特征在于， 所述启发 式算法还设有组合抓取评估结果机制， 所述组合抓取评估结果机制首先根据估计生成池中 每个抓取操作成功的概率， 选择最有 可能成功的抓取操作； 一旦认 为抓取是可行的， 通过运 动规划器生成用于 到达抓取位置的抓取轨 迹。 10.根据权利要求8所述的基于异构特征融合的机器人抓取方法， 其特征在于， 当机器 臂从物体目标的高点上 方或主轴方向抓取物体时， 需要把物体的坐标转换为世界坐标系。权　利　要　求　书 2/2 页 3 CN 114905508 A 3