(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210946142.1 (22)申请日 2022.08.08 (71)申请人 广西大学 地址 530004 广西壮 族自治区南宁市大 学 东路100号 (72)发明人 郑含博　李金恒　胡思佳　胡钧浩　 (74)专利代理 机构 武汉维盾知识产权代理事务 所(普通合伙) 42244 专利代理师 彭永念 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/26(2022.01) G01C 3/00(2006.01) G08B 21/18(2006.01) (54)发明名称 基于人工智能与单目视觉的电力设备检测、 测距及预警方法 (57)摘要 一种基于人工智能与单目视觉的电力设备 检测、 测距及预警方法， 依次通过采集、 构建、 映 射、 预测、 判断和预警的多个步骤， 结合2D 掩膜与 映射关系， 得到目标的3D点云， 并根据虚拟距离 与实际距离的转换比， 完成电力设备与人的最小 距离预测， 根据标准中对高压设备安全距离的规 定， 自动判断人员是否存在危险并预警， 基于带 电设备的结构特性， 利用预测的最小距离以及三 角几何关系， 计算设备带电部位与人的距离， 再 根据南方电网企业标准中对人与带电体的安全 距离的规定， 判断人员是否存在危险并预警。 该 方法充分利用单目相机低成本、 易部署、 易维护 的特点， 实现带电设备的实时测距及安全预警。 权利要求书3页 说明书8页 附图9页 CN 115439741 A 2022.12.06 CN 115439741 A 1.一种基于人工智能与 单目视觉的电力设备检测、 测距及预警方法， 其特征是， 它包括 如下步骤： S1， 采集， 采集电力设备与 运维人员图像， 并对获取的图像进行预处理， 与 提取的COCO ‑ person数据形成有效的图像数据集； S2， 构建， 构建改进的SOLOv2实例分割模型， 用于检测和分割 精细化的电力设备与人员 掩膜； S3， 映射， 基于相机的反投影变换， 利用Diversedepth网络与点云编码器 网络预测深度 值与虚拟焦距， 获得2D与3D的映射关系； S4， 预测， 结合2D掩膜与映射关系， 得到目标的3D点云， 并根据虚拟距离与实际距离的 转换比， 完成电力设备与人的最小距离预测； S5， 判断， 根据标准中对高压设备安全距离的规定， 自动判断人员是否存在危险并预 警； S6， 预警， 基于带电设备的结构特性， 利用预测的最小距离以及三角几何关系， 计算设 备带电部位与人 的距离， 再根据南方电网企业标准中对人与带电体的安全距离的规定， 判 断人员是否存在危险并预警， 从而实现带电设备的实时测距及安全预警。 2.根据权利要求1所述的基于人工智能与 单目视觉的电力设备检测、 测距及预警方法， 其特征是： 在S1中， 对图像进行预处理包括筛选原始 的电力设备图像、 对图像进行镜像对称等数 据扩充操作， 并利用EISeg工具对电力设备和 “person”目标进行掩膜标注； COCO ‑person数 据是从COCO_val2014数据集中单独剥离出部分包含 “person”目标的数据所构成的， 包括图 像及标签。 3.根据权利要求1所述的基于人工智能与 单目视觉的电力设备检测、 测距及预警方法， 其特征是： 在S2中， 对SOLOv2模型的骨干网络、 颈 部以及检测头三部分进行改进优化： S2‑1， 在特征提取网络ResNet50中引入 Res2Net、 ResNet ‑c和ResNet ‑d三种结构对模型 进行优化， 以提升模型的特征提取能力并减少计算量； 其中， ResNet ‑c和ResNet ‑d结构减少 网络的权值 参数和特 征图的信息缺失， Res2Net结构进一 步扩大网络层的感受野； S2‑2， 将原本的特征融合模块FPN替换为性能更优的加权双向特征金字塔 网络BiFPN结 构， 以进一 步提升模型对多尺度特 征的融合能力； S2‑3， 在SOLO检测头中引入可变卷积DCNv2， DCNv2提高模型对目标几何形变的建模能 力， 让模型 更准确的预测目标的区域。 4.根据权利要求3所述的基于人工智能与 单目视觉的电力设备检测、 测距及预警方法， 其特征是： 利用迁移学习在构建的数据集上对改进的SOLOv2模型进行训练， 其中训练的损失函数 包括如下的分类损失和掩膜损失两种： 其中：权　利　要　求　书 1/3 页 2 CN 115439741 A 2式中， Lcls是用于语义类别分类的Focal  loss函数， Lmask是基于Dice  loss函数的掩膜预 测损失， αc为第c类样本的权重因子， 用于平衡正负样本不均， 取值范围为[0,1]， γ是调节 难易样本计算权重的系数， 其值大于等于0， tc表示利用Softmax激活函数输出的第c类样本 的预测概率， np是正样本个数， 是原图(i,j)位置的实例类别得分， f是指示函数， 当 时f取1， 否则取0， Pk和Gk分别表示掩膜k的预测像素矩阵和真实像素矩阵， LDice表示 Dice损失函数， D(p,q)表示矩阵p,q对应的Dice系数， (x,y)表示原图(i,j)位置对应的特征 图坐标， px,y和qx,y为特征图中(x,y)位置预测的掩膜像素值和真实的掩膜像素值； 在模 型训 练完后， 利用测试集对 模型进行测试。 5.根据权利要求1所述的基于人工智能与 单目视觉的电力设备检测、 测距及预警方法， 其特征是： 在S3中， 相机的反投影 变换由如下相机坐标系转换关系推论出： 其中， (Xw,Yw,Zw)为世界坐标系坐标， (Xc,Yc,Zc)为相机坐标系坐标、 (x,y)为图像坐标 系坐标、 (u,v)为像素坐标系坐标， 旋转矩阵R和平移向量T为相机的外参， fx,fy,u0,v0为相 机的内参， 其中， f为相机焦距以mm为单位， (dx  dy分别为一个像素在图像坐标轴x,y方向的 物理尺寸)， fx＝f/dx， 它是相机在x轴上的焦距， fy＝f/dy， 它是相机在y轴上的焦距， (u0, v0)为相机光心对应的像素点 坐标。 单目视觉下， 设定世界坐标系与相机坐标系重合， 即不考虑旋转(R)、 平移(T)操作， 忽 略矩阵运算中外参矩阵M2。 然后计算得到单目下世界坐标(Xw,Yw,Zw)与像素坐标(u,v)的换 算公式， 即反投影 变换公式为： 式中， Zc即为深度值(景深)。 6.根据权利要求1所述的基于人工智能与 单目视觉的电力设备检测、 测距及预警方法， 其特征是： 基于反投影变换公式， 要完成2D ‑3D的投影转换， 需要先获取2D图像的深度信息dp和焦 距f， 利用大数据驱动的Diversedepth深度估计模型预测2D图像深度值， 并结合 Diversedepth的结果以及点云编码器网络， 进一 步预测相机的虚拟焦距f。 7.根据权利要求1所述的基于人工智能与 单目视觉的电力设备检测、 测距及预警方法，权　利　要　求　书 2/3 页 3 CN 115439741 A 3