(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221043981 1.6 (22)申请日 2022.04.25 (71)申请人 贵州电网有限责任公司 地址 550002 贵州省贵阳市南明区滨河路 17号 (72)发明人 张秋雁　李华鹏　肖书舟　陈宇　 黄如云　曾鹏　黄亮程　樊绍胜　 张令睿　 (74)专利代理 机构 贵阳中新专利商标事务所 52100 专利代理师 张行超 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种配网带电作业机器人的动态目标识别 定位与抓取方法 (57)摘要 本发明公开了一种配网带电作业机器人的 动态目标识别定位与抓取方法， 包括： 获取配网 金具的图像； 根据配网金具识别模型， 获得配网 金具目标图像； 根据双目定位方法确定配网金具 的位置坐标； 基于双目定位控制策略对控制机器 人运动至配网金具的附近， 并结合基于视觉伺服 的PID控制方法实现对配网金具的精准定位； 控 制机器人的机械臂末端抓手抓取金具。 本发明通 过神经网络模 型、 双目定位方法与基于视觉伺服 的PID控制方法的结合应用， 获取目标配网金具， 并框定出其在图像中的位置信息， 同时获得它与 机械臂末端抓手 之间的位置关系， 能够实现动态 配网金具的自动识别和精准定位， 有利于减少视 觉识别的工作量， 降低人工成本， 提高自动识别 准确率与效率。 权利要求书3页 说明书9页 附图4页 CN 114750154 A 2022.07.15 CN 114750154 A 1.一种配网带电作业机器人的动态目标识别定位与抓取 方法， 其特 征在于， 包括： 获取配网金 具的图像； 根据配网金 具识别模型， 获得配网金 具目标图像； 根据双目定位方法确定配网金 具的位置坐标； 基于双目定位控制策略对控制机器人运动至配网金具的附近， 并结合基于视觉伺服的 PID控制方法实现对配网金 具的精准定位； 控制机器人的机 械臂末端抓手抓取 金具。 2.根据权利要求1所述的动态目标识别定位与抓取方法， 其特征在于， 所述配网金具识 别模型的构建方法为： 在原YOLOX ‑s网络基础上， 对颈部使用简化的双向特征金字塔网络进行改进， 采用 GIOU‑Loss作为边界框损失函数， 经过训练得到适用于识别配网金具的目标检测模型， 其 中， 所述双向特征金字塔网络简化为3个输入特征层， 输出三个加强特征提取后的特征层， 经过解耦头预测 后， 每个特征层获得三个预测结果， 分别是目标框的坐标、 目标框前景背 景 判断和目标框的类别。 3.根据权利要求2所述的动态目标识别定位与抓取方法， 其特征在于， 预测目标框坐标 的边界框损失函数为交并比损失函数， 预测目标框前景背 景和目标框的类别用到的损失函 数为二分类交叉损失函数。 4.根据权利要求2所述的动态目标识别定位与抓取方法， 其特征在于， 对训练模型使用 的图像进 行预处理， 所述预 处理包括： 对所述图像进 行水平镜像翻转处理； 对所述图像添加 随机椒盐噪声或高斯噪声； 随机改变所述图像的亮度。 5.根据权利要求1所述的动态目标识别定位与抓取方法， 其特征在于， 所述双目定位的 方法包括： 利用双目相机获取配网金 具的左右视图； 根据相机标定和立体校正获得相机参数； 对所述左右视图进行立体匹配， 获取视 差； 根据所述相机参数和视 差， 计算目标物体在相机坐标系中的三维坐标。 6.根据权利要求1所述的动态目标识别定位与抓取方法， 其特征在于， 所述基于视觉伺 服的PID控制方法为： 根据图像特征误差计算出控制量， 采用视觉映射模型变换为机器人的 运动空间， 从而驱动机 械臂向配网金 具运动。 7.根据权利要求6所述的动态目标识别定位与抓取方法， 其特征在于， 所述PID控制的 公式为： 式中， u(k)表示机器人的控制输入， KP、 KI和KD分别表示比例、 微分和积分系数矩阵， e (k)则表示图像特 征的误差信号。 8.根据权利要求6所述的动态目标识别定位与抓取方法， 其特征在于， 根据图像雅比矩 阵估计的方法来实现由平面图像信息 到配网带电作业机器人基坐标信息的转换。 9.根据权利要求8所述的动态目标识别定位与抓取方法， 其特征在于， 所述图像雅比矩权　利　要　求　书 1/3 页 2 CN 114750154 A 2阵Jimage的推算方法如下： 假 设 目 标 金 具 在 配 网 带电 作 业 机 器 人 基 坐 标 系 { b } 下 的 空 间 坐 标 为 同 时 目 标 金 具 在 相 机 坐 标 系 { c } 下 的 空 间 坐 标 为 其中 中心为目标金具的深度信息， Zc轴与相机的光轴重合； 此外， 假设图像平 面{i}的x和y方向上的单位距离像素数分别为Nx和Ny， 图像平面中心Oi的图像平 面坐标记为(u0， v0)， 通过图像处理可以得到目标在图像平面{i}下的像素坐标为f＝[ u， v]T， 可以通过 下式得到目标在图像平面下的投影坐标记为 iP＝[x， y]T； x＝(u‑u0)/Nx y＝(v‑v0)/Ny 由投影原理可以得到目标金具在机坐标系{c}下的坐标 与其在图 像平面{i}下的投影坐标iP＝[x， y]T之间的转换关系为： 式中λ是相机的焦距， 对上式等 号两边微分可得： 将上式写成矩阵形式为： 上式表明目标金具在图像平面{i}中的变化与其在相机坐标系{c}下的位姿变化是一 种非线性关系； 目标金具在相机坐标系{c}下的坐标与在配网带电作业机器人基坐标系{b}下的坐标 通过如下公式进行变换： 式中， 为相机坐标系原点在配网带电作业机器人基坐标系{b}下的位置向量， 旋转 矩阵 表示机器人坐标系{b}相对相机坐标系{c}的位姿， 并且是正交矩阵； 对上式等 号两边微分可得：权　利　要　求　书 2/3 页 3 CN 114750154 A 3