(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933350.8 (22)申请日 2022.08.04 (71)申请人 上海工程 技术大学 地址 201620 上海市松江区龙腾路3 33号 (72)发明人 黄孝慈　杜嘉豪　邢孟阳　张涛　 胡智豪　谢兆康　张越　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 宣慧兰 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于连续卷积网络的逐点融合点云语 义分割方法 (57)摘要 本发明涉及一种基于连续卷积网络的逐点 融合点云语义分割方法， 包括以下步骤： 分别获 取目标的RGB图像和点云数据； 通过透视投影模 型， 将RGB图像的各像素点和点云数据一一对应； 将RGB图像和与RGB图像对应的点云数据均输入 双流特征提取网络中， 提取图像语义特征和点云 空间特征； 将点云空间特征和图像语义特征输入 融合模块中， 获取融合特征， 将融合特征添加到 点云空间特征上作为输出特征； 将 输出特征输入 点云语义分割标签预测网络中， 获取点云数据中 每个点的语义分割预测标签。 与现有技术相比， 本发明能够减少外观信息的丢失， 增强激光雷达 点云的表征能力， 进而更好地理解语义场景， 保 障自动驾驶任务中的安全性与实用性。 权利要求书2页 说明书5页 附图3页 CN 115359067 A 2022.11.18 CN 115359067 A 1.一种基于连续卷积网络的逐点融合 点云语义分割方法， 其特 征在于， 包括以下步骤： S1： 通过车载RGB相机和车 载激光雷达分别获取目标的RGB图像和点云数据； S2： 将点云数据由世界坐标系转换到像素坐标系下， 使得RGB图像的各像素点和点云数 据一一对应； S3： 构建并训练双流特征提取网络， 将S1获取的RGB图像和S2获取的与RGB图像对应的 点云数据均输入训练好的双流特 征提取网络中， 提取图像 语义特征和点云空间特 征； S4： 构建并训练融合模块， 将S3获取的点云空间特征和图像语义特征输入训练好的融 合模块中， 获取融合特 征， 将融合特 征添加到点云空间特 征上作为输出 特征； S5： 构建并训练点云语义分割标签预测网络， 将S4获取的输出特征输入训练好的点云 语义分割标签预测网络中， 进行点云语义分割标签的预测， 最终获取点云数据中每个点的 语义分割预测标签。 2.根据权利要求1所述的一种基于连续卷积网络的逐点融合点云语义分割方法， 其特 征在于， 所述S2中， 通过透视投影模型， 将所述点云数据由世界坐标系转换到相机坐标系， 再由相机坐标系投影到图像坐标系， 最后由图像坐标系离 散到像素坐标系。 3.根据权利要求2所述的一种基于连续卷积网络的逐点融合点云语义分割方法， 其特 征在于， 所述S2包括以下步骤： S2.1： 根据相机的外参数矩阵， 将点云数据由世界坐标系转换到相机坐标系下； S2.2： 根据相似三角形原理和相机的内参数， 将S2.1中转换到相机坐标系下的点云数 据投影到图像坐标系； S2.3： 将S2.2中投影到图像坐标系下的点云数据离散化到像素坐标系下， 并将点云数 据与S1中的RGB图像一 一对应。 4.根据权利要求1所述的一种基于连续卷积网络的逐点融合点云语义分割方法， 其特 征在于， 所述双流特征提取网络包括点云特征提取网络 分支和RGB图像特征提取网络 分支； 所述点云特征提取网络分支用以对与RGB图像对应的点云数据进行特征提取， 进而获取点 云空间特征， 所述RGB图像特征提取网络分支用以对RGB图像进行特征提取， 进而获取图像 语义特征。 5.根据权利要求4所述的一种基于连续卷积网络的逐点融合点云语义分割方法， 其特 征在于， 所述 点云特征提取网络分支基于Po intNet网络模型 搭建。 6.根据权利要求5所述的一种基于连续卷积网络的逐点融合点云语义分割方法， 其特 征在于， 所述点云特征提取网络 分支包括两个多层感知器、 最大池化层和两个全连接层， 与 所述RGB图像对应的所述点云数据通过两个多层感知器， 依次输出局部特征， 再通过最大池 化层和两个全连接层获取点云数据的全局特征， 连接全局特征与局部特征， 获取点云空间 特征。 7.根据权利要求4所述的一种基于连续卷积网络的逐点融合点云语义分割方法， 其特 征在于， 所述RGB图像特 征提取网络分支基于带有VG G‑19的FCN网络模型 搭建。 8.根据权利要求7所述的一种基于连续卷积网络的逐点融合点云语义分割方法， 其特 征在于， 所述RGB图像特征提取网络分支包括依次连接的8个卷积层和3个反卷积层， 所述 RGB图像依次经 过8个卷积层和3个反卷积层， 输出图像 语义特征。 9.根据权利要求1所述的一种基于连续卷积网络的逐点融合点云语义分割方法， 其特权　利　要　求　书 1/2 页 2 CN 115359067 A 2征在于， 所述S4包括以下步骤： S4.1： 将S3提取的点云空间特征和图像语义特征连接， 获取连接特征， 再进行连续卷积 操作， 进而获取前视图点云逐点融合语义特 征； S4.2： 将S4.1获取的前视图点云逐点融合语义特征进行注意力机制聚合操作， 并通过 MLP选择性整合特 征， 获取第一融合特 征； S4.3： 通过最大池化操作从S4.1的连接特征中获得最具表现力的特征， 作为第二融合 特征， 连接第一融合特 征和第二融合特 征得到融合特 征； S4.4： 将融合特 征加到S3提取的点云空间特 征中， 获取输出 特征。 10.根据权利要求1所述的一种基于连续卷积网络的逐点融合点云语义分割方法， 其特 征在于， 所述点云语义分割标签预测网络采用两个多层感知器网络， 将所述输出特征输入 两个多层感知器网络后， 依次输出点云中每 个点的语义分割预测标签。权　利　要　求　书 2/2 页 3 CN 115359067 A 3