(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210624299.2 (22)申请日 2022.06.02 (71)申请人 中国科学院上海微系统与信息技 术 研究所 地址 200050 上海市长 宁区长宁路865号 (72)发明人 陶虎　刘孟玮　王佳创　秦楠　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 苗芬芬 (51)Int.Cl. B25J 9/16(2006.01) G06V 20/40(2022.01) (54)发明名称 一种机械手臂的控制方法、 装置和系统 (57)摘要 本申请涉及人工智能技术领域， 特别涉及一 种机械手臂的控制方法、 装置和系统； 控制方法 包括： 获取目标区域内的第一数据对； 第一数据 对包括第一触觉数据以及第一嗅觉数据； 基于第 一触觉数据以及第一嗅觉数据进行对象识别， 得 到第一对象识别结果； 在第一对象识别结果指示 目标区域内存在目标对象 的情况下， 确定目标对 象的对象掩埋状态； 基于目标对象的对象掩埋状 态， 确定机械手臂的工作模式； 本申请中通过采 用第一数据对进行对象识别， 提高机械手臂识别 智能系统的精确性， 从而以使机械手臂能够基于 精准的识别结果进行工作模式选择， 从而提高机 械手臂的救援智能性和救援准确性。 权利要求书3页 说明书13页 附图6页 CN 114986504 A 2022.09.02 CN 114986504 A 1.一种机 械手臂的控制方法， 其特 征在于， 包括： 获取目标区域内的第一数据对； 所述第一数据对包括第一触觉数据以及第一嗅觉数 据； 基于所述第一触觉数据以及所述第一嗅觉数据进行对象识别， 得到第一对象识别结 果； 在所述第一对象识别结果指示所述目标区域内存在目标对象的情况下， 确定所述目标 对象的对象掩埋状态； 基于所述目标对象的对象掩埋状态， 确定 机械手臂的工作模式。 2.根据权利要求1所述的一种机械手臂的控制方法， 其特征在于， 所述基于所述第 一触 觉数据以及所述第一嗅觉数据进行对象识别， 得到第一对象识别结果， 包括： 基于对象识别模型的特征提取层分别对所述第一触觉数据以及所述第一嗅觉数据进 行特征提取， 得到第一触觉特 征信息， 以及第一嗅觉特 征信息； 基于所述目标区域内的环境信息， 确定与所述第一触觉特征信息对应的第一权重， 以 及与所述第一嗅觉特 征信息对应的第二权 重； 基于所述第一权重对所述第一触觉特征信息进行加权， 得到第一加权特征信息， 基于 所述第二权 重对所述第一嗅觉特 征信息进行加权， 得到第二加权特 征信息； 基于所述对象识别模型的特征融合层， 对所述第 一加权特征信 息以及所述第 二加权特 征信息进行 特征融合， 得到所述第一对象识别结果。 3.根据权利要求1所述的一种机械手臂的控制方法， 其特征在于， 所述第 一触觉数据包 括多个通道的触觉数据； 所述在所述第一对象识别结果指示所述目标区域内存在目标对象 的情况下， 确定所述目标对象的对象掩埋状态， 包括： 基于各个通道的触觉数据进行触感识别， 得到与所述各个通道对应的触感识别结果； 基于所述各个通道对应的触感识别结果， 确定与目标对象触感识别结果对应的第 一通 道数量， 以及与非目标对象触感识别结果对应的第二 通道数量； 基于所述第一 通道数量以及所述第二 通道数量， 确定所述目标对象的对象掩埋状态。 4.根据权利要求1所述的一种机械手臂的控制方法， 其特征在于， 所述基于所述目标对 象的对象掩埋状态， 确定 机械手臂的工作模式， 包括： 在所述目标对象的对象掩埋状态为被掩埋状态的情况下， 确定所述机械手臂的工作模 式为第一工作模式； 所述第一工作模式用于将所述目标对象从所述被掩埋状态转换为未被 掩埋状态。 5.根据权利要求4所述的一种机械手臂的控制方法， 其特征在于， 所述基于所述目标对 象的对象掩埋状态， 确定 机械手臂的工作模式之后， 所述方法还 包括： 在所述机械手臂 的工作模式为所述第一工作模式的情况下， 获取第二数据对； 所述第 二数据对包括第二触觉数据以及第二嗅觉数据； 所述第二数据对为所述机械手臂在触碰待 识别对象的情况 下获取的； 基于所述第二触觉数据以及所述第二嗅觉数据进行对象识别， 得到第二对象识别结 果； 在所述第二对象识别结果指示所述机械手臂触碰到非目标对象的情况下， 从所述目标 对象上移除所述非目标对象。权　利　要　求　书 1/3 页 2 CN 114986504 A 26.根据权利要求1所述的一种机械手臂的控制方法， 其特征在于， 所述方基于所述目标 对象的对象掩埋状态， 确定 机械手臂的工作模式， 包括： 在所述目标对象的对象掩埋状态为未被掩埋状态的情况下， 确定所述机械手臂的工作 模式为第二工作模式； 所述第二工作模式用于将所述目标对象转移至预设的安全区域。 7.根据权利要求6所述的一种机械手臂的控制方法， 其特征在于， 所述基于所述目标对 象的对象掩埋状态， 确定 机械手臂的工作模式之后， 所述方法还 包括： 在所述机械手臂的工作模式为所述第 二工作模式的情况下， 基于所述机械手臂获取目 标对象所在区域内的第三数据对； 所述第三数据对 包括第三触觉数据以及第三嗅觉数据； 基于所述第 三触觉数据以及所述第 三嗅觉数据进行部位识别， 得到所述目标对象的识 别部位； 在所述识别部位为目标部位的情况下， 对所述目标部位的位置进行标定， 得到第一标 定信息； 所述第一标定信息用于指示将所述目标对象转移至所述预设的安全区域； 在所述识别部位为非 目标部位的情况下， 控制所述机械手臂将所述目标对象转移至所 述预设的安全区域。 8.根据权利要求 4或6所述的一种机 械手臂的控制方法， 其特 征在于， 所述方法还 包括： 获取所述机械手臂的受力反馈信息； 在所述受力反馈信息超过预设阈值的情况下， 控制所述机械手臂停止工作， 并对所述 机械手臂的位置进行 标定， 得到第二标定信息 。 9.一种机 械手臂的控制装置， 其特 征在于， 包括： 获取模块， 用于获取目标区域内的第一数据对； 所述第一数据对包括第一触觉数据以 及第一嗅觉数据； 对象识别模块， 用于基于所述第一触觉数据以及所述第一嗅觉数据进行对象识别， 得 到第一对象识别结果； 掩埋状态确定模块， 用于在所述第 一对象识别结果指示所述目标区域内存在目标对象 的情况下， 确定所述目标对象的对象掩埋状态； 工作模式确定模块， 用于基于所述目标对象的对象掩埋状态， 确定机械手臂 的工作模 式。 10.一种机械手臂控制系统， 其特征在于， 包括机械手臂和控制装置， 所述机械手臂与 所述控制装置通信连接； 所述控制装置用于获取目标区域内的第 一数据对； 所述第 一数据对包括第 一触觉数据 以及第一 嗅觉数据； 基于所述第一触觉数据以及所述第一 嗅觉数据进行对 象识别， 得到第 一对象识别结果； 在所述第一对 象识别结果指示所述 目标区域内存在目标对 象的情况下， 确定所述 目标对象的对象掩埋状态； 基于所述 目标对象的对象掩埋状态， 确定机械手臂的 工作模式； 所述机械手臂包括传感器阵列， 所述传感器与所述控制装置通信连接， 所述传感器阵 列用于采集目标区域内的第一数据对， 以及将所述第一数据对传递至所述控制装置 。 11.根据权利要求10所述的一种机械手臂控制系统， 其特征在于， 所述传感器阵列包括 设有六边形薄膜的压力传感器， 在叉指电极上设有气敏感材料的气体传感器， 以及触觉传 感器。权　利　要　求　书 2/3 页 3 CN 114986504 A 3