(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211029761.0 (22)申请日 2022.08.26 (65)同一申请的已公布的文献号 申请公布号 CN 115131619 A (43)申请公布日 2022.09.30 (73)专利权人 北京江河惠远科技有限公司 地址 100085 北京市海淀区上地六街17号1 号楼3F6314号房间 (72)发明人 刘新　黄纯豪　戚国辉　刘青　 张灿　闫立财　余蔚青　李璇　 (74)专利代理 机构 北京智汇东方知识产权代理 事务所(普通 合伙) 11391 专利代理师 王晓雪 (51)Int.Cl. G06V 10/764(2022.01)G06T 7/66(2017.01) G06T 7/73(2017.01) G06V 10/80(2022.01) B07C 5/00(2006.01) (56)对比文件 CN 113343863 A,2021.09.0 3 CN 111612059 A,2020.09.01 审查员 王洋 (54)发明名称 基于点云和图像融合的特高压零件分拣方 法和系统 (57)摘要 本发明提供了一种基于点云和图像融合的 特高压零件分拣方法和系统， 包括： 步骤A， 训练 基于点云和图像融合的检测器； 步骤B， 获取零件 的点云数据和图像数据； 步骤C， 利用训练的检测 器对点云数据和图像数据进行处理， 从而识别零 件； 以及步骤D， 根据识别结果自动分拣零件。 本 发明的方法和系统可应用于复杂零件的分拣作 业， 有利于提高识别精度， 提高特高压零件仓库 管理中形态各异的、 不规则的复杂零件的分拣速 度和分拣准确率， 从而提高管理水平。 权利要求书2页 说明书8页 附图4页 CN 115131619 B 2022.11.22 CN 115131619 B 1.一种基于点云和图像融合的特高压零件分拣方法， 包括： 步骤A， 训练基于点云和图像融合的检测器； 步骤B， 获取零件的点云数据和图像数据； 步骤C， 利用训练的检测器对所述点云数据和所述图像数据进行处理， 从而识别所述零 件； 以及 步骤D， 根据识别结果自动分拣所述 零件； 其中， 在步骤A中， 得到基于Po intNet改进的三维目标检测框架模型， 且步骤A包括： 对样本数据进行采集和扩充； 对样本数据进行标注： 使用标注软件对所述样本数据进行标注， 框选出各图中的零件 并标记各零件的名称， 形成训练样本库； 基于PointNet改进三维目标检测框架模型， 作为训练的检测器； 其中， 基于PointNet改进三维目标检测框架模型的步骤 包括： 获取各个样本的点云数据和RGB图像， 利用所述 点云数据生成鸟瞰图； 将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架， 获得候选 框； 利用PointNet提取点云池化特 征； 提取所述候选框方位特征， 融合所述鸟瞰图的图像特征、 所述RGB图像的图像特征及所 述点云池化特 征， 获得多模态融合特 征； 将所述多模态融合特征输入检测器中计算所述候选框和真实框之间的差距， 得到最终 的检测结果。 2.根据权利要求1所述的基于点云和图像融合的特高压零件分拣方法， 其中， 将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架， 获得候选 框的步骤 包括： 利用特征金字塔网络提取 所述鸟瞰图的图像特 征和所述RGB图像的图像特 征； 利用锚框映射得到相应的区域特 征； 使用1  ×  1卷积， 得到区域融合特 征； 将所述区域融合特 征输入分类 器和回归器， 得到所述 候选框。 3.根据权利要求1所述的基于点云和图像融合的特高压零件分拣方法， 其中， 融合所述鸟瞰图的图像特征、 所述RGB图像的图像特征及所述点云池化特征， 获得多模 态融合特 征的步骤 包括： 将所述鸟瞰图的图像特征、 所述RGB图像的图像特征及所述点云池化特征输入到自适 应融合网络中计算它们参加 候选框修正任务的权重， 再通过加权求和操作进行融合， 得到 新的特征； 基于上述 新的特征， 进一步融入所述 候选框的方位特 征， 得到所述多模态融合特 征。 4.根据权利要求1所述的基于点云和图像融合的特高压零件分拣方法， 其中， 利用训练 的检测器对所述点云数据和所述图像数据进行处理， 从而识别所述零件的步 骤中， 识别结果包括： 零件种类、 零件坐标和零件个数。 5.根据权利要求 4所述的基于点云和图像融合的特高压零件分拣方法， 其中， 根据识别结果自动分拣所述 零件的步骤 包括： 根据所述 零件坐标求取 所述点云数据中各个点云的重心坐标； 将所述重心坐标转换为世界坐标系下的世界坐标； 以及权　利　要　求　书 1/2 页 2 CN 115131619 B 2根据所述世界坐标和所述零件个数抓取所述零件， 并根据 所述零件种类自动对抓取的 零件归类。 6.根据权利要求5所述的基于点云和图像融合的特高压零件分拣方法， 其中， 在根据所述零件坐标求取所述点云数据中各个点云的重心坐标的步骤中， 使用求取 XYZ点云均值的方式获取 所述重心坐标： 式中， 表示点云的重心坐标， 表示各个点云的坐标， n表示 点云的个数。 7.根据权利要求5所述的基于点云和图像融合的特高压零件分拣方法， 其中， 在将所述重心坐标转换为世界坐标系下的世界坐标的步骤中， 采用如下方式进行转 换： 其中， 表示点云的重心坐标， 表示点云的世界坐标， R为 旋转正交变换矩阵， T为平 移变化矩阵。 8.一种基于点云和图像融合的特高压零件分拣系统， 包括： 处理器以及存储器， 所述存储器内存储有机器可执行程序， 所述机器可执行程序被所 述处理器执行时， 用于实现根据权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115131619 B 3