(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211115103.3 (22)申请日 2022.09.14 (71)申请人 北京京东乾石科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼19层 A1905室 (72)发明人 刘浩　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 王莉莉 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) (54)发明名称 点云特征提取网络模 型训练、 点云特征提取 方法、 装置和无 人车 (57)摘要 本公开提出了一种点云特征提取网络模型 训练、 点云特征提取方法、 装置和无人车， 涉及无 人车技术领域。 其中， 点云特征提取网络模型训 练方法包括： 利用第一特征提取网络模型， 对样 本点云帧序列进行第一编码， 以得到样本点云帧 序列中每一帧样本点云的编码特征图； 根据相邻 多帧样本点云的编码特征图， 确定位于相邻多帧 样本点云之后的下一帧样本点云的预测特征图； 根据位于相邻多帧样本点云之后的下一帧样本 点云的预测特征图和其编码特征图， 确定损失函 数值； 根据损失函数值， 对第一特征提取网络模 型进行训练。 通过 以上步骤， 实现了点云特征提 取网络模型的自监督学习， 不仅减少了数据标注 的成本， 而且提升了训练得到的特征提取模型的 性能。 权利要求书3页 说明书14页 附图7页 CN 115482391 A 2022.12.16 CN 115482391 A 1.一种点云特 征提取网络模型的训练方法， 包括： 利用第一特征提取网络模型， 对样本点云帧序列进行第一编码， 以得到所述样本点云 帧序列中每一帧样本点云的编码特 征图； 根据相邻多帧样本点云的编码特征图， 确定位于所述相邻多帧样本点云之后的下一帧 样本点云的预测特 征图； 根据位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图和其编码特征 图， 确定损失函数值； 根据所述损失函数值， 对所述第一特 征提取网络模型进行训练。 2.根据权利要求1所述的点云特征提取网络模型训练方法， 其中， 根据相邻多帧样本点 云的编码特征图， 确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图包 括： 利用第二特征提取网络模型， 对所述相邻多帧样本点云的编码特征图分别进行第 二编 码， 以得到所述相邻多帧样本点云的中间特 征图； 对所述相邻多帧样本点云的中间特 征图进行融合， 以得到融合特 征图； 对所述融合特征图进行解码， 以得到位于所述相邻多帧样本点云之后的下一帧样本点 云的预测特 征图。 3.根据权利要求2所述的点云特征提取网络模型训练方法， 其中， 所述对所述相邻多帧 样本点云的中间特 征图进行融合， 以得到融合特 征图包括： 根据所述相邻多帧样本点云的中间特征图， 确定所述相邻多帧样本点云之间的特征点 匹配关系； 根据所述特征点匹配关系， 对所述相邻多帧样本点云的中间特征图进行融合， 以得到 融合特征图。 4.根据权利要求1所述的点云特征提取网络模型训练方法， 其中， 根据相邻多帧样本点 云的编码特征图， 确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测特征图包 括： 根据相邻多帧样本点云的编码特征图， 确定所述相邻多帧样本点云之间的特征点匹配 关系； 根据所述特征点匹配关系， 对所述相邻多帧样本点云的编码特征图进行融合， 以得到 融合特征图； 根据所述融合特征图， 确定位于所述相邻多帧样本点云之后的下一帧样本点云的预测 特征图。 5.根据权利要求3所述的点云特征提取网络模型训练方法， 其中， 所述根据所述相邻多 帧样本点云的中间特 征图， 确定所述相邻多帧样本点云之间的特 征点匹配关系包括： 根据所述相邻多帧样本点云的中间特征图， 计算所述相邻多帧样本点云之间的特征点 的相关度； 根据所述相邻多帧样本点云之间的特征点的相关度， 确定所述相邻 两帧样本点云之间 的特征点匹配关系。 6.根据权利要求5所述的点云特征提取网络模型训练方法， 其中， 所述相邻多帧样本点 云为相邻两 帧样本点云， 所述相邻多帧样本点云的中间特征图包括： 与所述相邻两帧样本权　利　要　求　书 1/3 页 2 CN 115482391 A 2点云中的第一帧对应的第一中间特征图、 以及与所述相邻两帧样本点云中的第二帧对应的 第二中间特 征图； 以及， 所述根据 所述相邻多帧样本点云的中间特征图， 计算所述相邻多帧样本点云之间的特 征点的相关度包括： 计算所述第 一中间特征图上的每个特征点， 与 所述第二中间特征图上指定范围内的特 征点的相关度， 所述指定范围为第一中间特 征图的特 征点的邻域范围； 根据所述相关度， 确定所述相邻两帧样本点云之间的特 征点匹配关系。 7.根据权利要求3所述的点云特征提取网络模型训练方法， 其中， 所述相邻多帧样本点 云为相邻两帧样本点云； 所述根据所述特征点匹配关系， 对所述相邻两帧样本点云的中间特征图进行融合， 以 得到融合特 征图包括： 根据所述特征点匹配关系， 将所述相邻 两帧样本点云的中间特征图之间的匹配特征点 进行特征拼接， 并将拼接得到的特 征图作为融合特 征图。 8.根据权利要求1至7任一所述的点云特征提取网络模型训练方法， 其中， 所述根据位 于所述相 邻多帧样本点云之后的下一帧样本点云的预测特征图和其编 码特征图， 确定损失 函数值包括： 在所述下一帧样本点云的预测特征图和编码特征图之间， 计算具有同一位置索引的特 征点之间的欧式距离； 根据所有位置索引的特 征点之间的欧式距离， 计算损失函数值。 9.根据权利要求1至7任一所述的点云特征提取网络模型训练方法， 其中， 所述第一特 征提取网络模型为共享权值编码器， 所述共享权值编码器包括多个编码模块， 每个编码模 块用于对所述样本点云帧序列中的一帧进行编码。 10.根据权利要求9所述的点云特征提取网络模型训练方法， 其中， 所述编码模块包括： 卷积神经网络以及自注意力网络 。 11.根据权利要求1至7任一所述的点云特 征提取网络模型训练方法， 还 包括： 将多帧样本点云的原始特征数据转换成二维图像特征数据， 以得到由多帧样本点云的 二维图像特 征数据构成的样本点云帧序列。 12.根据权利要求11所述的点云特征提取网络模型训练方法， 其中， 将多帧样本点云的 原始特征数据转换成二维图像特 征数据包括： 将多帧样本点云的原 始特征数据转换成鸟瞰图BEV特 征数据。 13.根据权利要求1至7任一所述的点云特 征提取网络模型训练方法， 其中： 所述样本点云帧序列由在时序上 连续的多帧样本点云组成； 和/或， 所述样本点云帧序列包 含的样本点云的帧数量大于等于 3、 且小于等于 5。 14.根据权利要求2至7任一所述的点云特征提取网络模型训练方法， 其中， 第 二特征提 取网络模型包括： 注意力编码模块， 用于对所述相邻多帧样本点云的编码特 征图分别进行第二编码； 注意力解码模块， 用于对所述融合特征图进行解码， 以得到位于所述相邻多帧样本点 云之后的下一帧样本点云的预测特 征图。 15.一种点云特 征提取方法， 包括：权　利　要　求　书 2/3 页 3 CN 115482391 A 3