(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210894615.8 (22)申请日 2022.07.28 (65)同一申请的已公布的文献号 申请公布号 CN 114972763 A (43)申请公布日 2022.08.30 (73)专利权人 香港中文大 学 （深圳） 未来智联网 络研究院 地址 518000 广东省深圳市福田区福保街 道福田保税区金花路29 号华宝一号大 厦D206-D208单元 (72)发明人 李镇　颜旭　高建焘　郑超达　 崔曙光　 (74)专利代理 机构 深圳尚业知识产权代理事务 所(普通合伙) 44503 专利代理师 杨勇 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 20/64(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113989797 A,202 2.01.28 CN 112270249 A,2021.01.26 CN 114742888 A,2022.07.12 CN 114494708 A,202 2.05.13 CN 111862101 A,2020.10.3 0 CN 109345 510 A,2019.02.15 CN 114004972 A,202 2.02.01 CN 114743014 A,202 2.07.12 CN 111462137 A,2020.07.28 CN 114359902 A,202 2.04.15 CN 113359810 A,2021.09.07 CN 113378756 A,2021.09.10 CN 114494276 A,202 2.05.13 (续) 审查员 代冯楠 (54)发明名称 激光雷达点云分割方法、 装置、 设备及存储 介质 (57)摘要 本发明公开了一种激光雷达点云分割方法、 装置、 设备及存储介质， 用于解决现有的点云数 据分割方案对计算资源消耗较大， 且分割准确度 较低的技术问题。 该方法通过 获取目标场景的三 维点云和二维图像， 并对二维图像进行图块化处 理， 得到多个图像块， 从多个图像块中随机选择 一个输出至预设的二维特征提取网络中特征提 取， 生成多尺度二维特征， 利用预设的三维特征 提取网络， 基于三维点云进行特征提取， 生成多 尺度三维特征， 根据多尺度二维特征和多尺度三 维特征进行融合处理， 得到融合特征， 对融合特 征进行单向模态保持的蒸馏， 得到单模态语义分 割模型； 基于单模态语义分割模 型以三维点云作为输入进行判别， 得到语义分割标签对目标场景 进行分割。 [转续页] 权利要求书2页 说明书14页 附图4页 CN 114972763 B 2022.11.04 CN 114972763 B (56)对比文件 US 2021146952 A1,2021.0 5.20 李艾瑾.基 于注意力机制和深度多尺度融合 网络的语义分割研究. 《中国优秀硕士学位 论文 全文数据库 工程科技 II辑》 .2022,(第 （202 2） 04 期),C028-219. 石甜.基于2D/3D复合机 器视觉的三维钢轨 表面缺陷检测技 术研究. 《中国博士学位 论文全 文数据库 工程科技 II辑》 .2018,(第 （2018） 04 期),C033-1. 李松松.基于RGB-D数据的室内场景分割技 术研究. 《中国优秀硕士学位 论文全文数据库 信 息科技辑》 .2018,(第 （2018） 07期),I138-16 64. Xu Yan等.2DPASS: 2D Pri ors Assisted Semantic Segmentati on on LiDAR Point Clouds. 《arXiv:2 207.04397v1》 .202 2,第1-19 页. 杨佳辉.旋翼无 人机狭窄 通道穿越与受困人 员姿态估计. 《中国优秀硕士学位 论文全文数据 库 工程科技 II辑》 .2022,(第 （202 2） 01期), C031-426. Zhengzhe Liu等.3D-to-2D Disti llation for Indoor Scene Parsi ng. 《arXiv: 2104.02243v2》 .2021,第1-15页. Jianghong Zhao等.The Fusi on Strategy of 2D and 3D I nformati on Based o n Deep Learning: A Review. 《remote sensi ng》 .2021, 第13卷第1- 52卷.2/2 页 2[接上页] CN 114972763 B1.一种激光雷达点云 分割方法， 其特 征在于， 所述激光雷达点云 分割方法包括： 获取目标场景的三维点云和二维图像， 并对所述二维图像进行图块化处理， 得到多个 图像块； 从多个所述图像块中随机选择一个输出至预设的二维特征提取网络 中特征提取， 生成 多尺度二维特 征； 利用预设的三维特征提取网络， 基于所述三维点云进行特征提取， 生成  多尺度三维特 征， 其中， 所述利用预设的三维特征提取网络， 基于所述三维点云进行特征提取， 生成多尺 度三维特征包括： 利用采用稀疏卷积构造的三维卷积编码器， 提取所述三维点云中的非空 体素， 并对所述 非空体素进 行卷积计算， 得到三 维卷积特征； 利用向上采样策略对所述三 维 卷积特征进行上采样操作， 得到解码特征； 若采样到的特征 的尺寸与原始特征 的尺寸相同 时， 将所述 三维卷积特 征与所述 解码特征进行拼接， 得到多尺度三维特 征； 根据多尺度二维特 征和多尺度三维特 征进行融合处 理， 得到融合特 征； 对所述融合特征进行单向模态保持的蒸馏， 得到单模态语义分割 模型， 其中， 所述对所 述融合特征进行单向模态保持的蒸馏， 得到单模态语义分割模型包括： 将所述融合特征和 转换后的二 维特征依次输入至所述二 维特征提取网络中的全连接层获得对应的语义分数； 基于所述语义分数确定蒸馏损失； 根据所述蒸馏损失， 对所述融合特征进行单向模态保持 的蒸馏， 得到单模态语义分割模型； 获取待分割的场景三维点云， 将其输入至所述单模态语义分割模型中进行语义判别， 得到语义分割标签， 并基于所述语义分割标签对所述目标场景进行分割。 2.根据权利要求1所述的激光雷达点云分割方法， 其特征在于， 所述预设的二维特征提 取网络至少包括二维卷积编 码器； 所述从多个所述图像块中随机选择一个输出至预设的二 维特征提取网络中进行 特征提取， 生成多尺度二维特 征， 包括： 利用随机算法从多个所述图像块中确定目标图像块， 并基于所述目标图像块构建二维 特征图； 通过所述二维卷积编码器， 基于不同尺度对所述二维特征图进行二维卷积计算， 得到 多尺度二维特 征。 3.根据权利要求2所述的激光雷达点云分割方法， 其特征在于， 所述预设的二维特征提 取网络还包括全卷积解码器； 在所述通过所述二维卷积编码器， 基于不同尺度对所述二维 特征图进行二维卷积计算， 得到多尺度二维特 征之后， 还 包括： 提取多尺度二维特 征中属于所述 二维卷积编码器中最后一层卷积层的二维特 征； 通过所述全卷积解码器， 采用向上采样策略对最后 一层卷积层的二维特征进行逐步采 样， 得到解码特 征图； 利用所述二维卷积编码器中的最后一层卷积层， 对所述解码特征图进行卷积计算， 得 到新的多尺度二维特 征。 4.根据权利要求1 ‑3中任一项所述的激光雷达点云分割方法， 其特征在于， 在所述利用 预设的三维特征提取网络， 基于所述三维点云进 行特征提取， 生成多尺度三 维特征之后， 在 所述根据多尺度二维特 征和多尺度三维特 征进行融合处 理， 得到融合特 征之前， 还 包括： 利用反卷积 操作， 将多尺度二维特 征的分辨 率调整至所述 二维图像的分辨 率； 基于调整后的多尺度二维特征， 利用透视投影法计算其与对应的点云之间的映射关权　利　要　求　书 1/2 页 2 CN 114972763 B 3