(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210951778.5 (22)申请日 2022.08.09 (71)申请人 西安交通大 学 地址 710049 陕西省西安市碑林区咸宁西 路28号 申请人 宁波市舜安人工智能研究院 (72)发明人 周三平　黄宇豪　闫欣蕊　陈仕韬　 郑南宁　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 王艾华 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/766(2022.01) G06V 10/82(2022.01) G06V 20/58(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于关键点的3D目标检测及其参数化半径 学习方法及系统 (57)摘要 本发明公开了基于关键点的3D目标检测及 其参数化半径学习方法及系统， 方法具体为： 原 始对于点云下采样得到关键点， 并对原始点云进 行体素化处理， 后输入3D稀疏卷积网络中， 得到 体素特征； 采用 构造点特征提取方法， 将体素特 征聚合到关键点上， 得到关键点特征； 通过目标 感知特征池化， 学习关键点到目标中心的偏移 量， 在目标感知邻域内进行特征聚合， 得到候选 点及对应特征； 以候选点为中心进行候选框回 归， 提取特征并对候选框进行二次回归和得分预 测， 得到3D目标检测结果； 将点云特征聚合采样 半径作为可学习参数， 通过反向传播更新采样半 径， 得到最优采样半径参数； 解决目标中心回归 难度高、 不准确， 以及需要手工调节特征聚合采 样半径问题。 权利要求书2页 说明书10页 附图2页 CN 115294565 A 2022.11.04 CN 115294565 A 1.一种基于关键点的3D目标检测及其 参数化半径学习方法， 其特 征在于， 包括： 以原始点云作为输入， 通过下采样得到关键点， 并对原始点云进行体素化处理， 得到体 素初始特 征； 将体素初始特征输入3D稀疏卷积网络中， 得到体素特征； 具体的， 提取体素特征的3D稀 疏卷积网络由4个稀疏卷积模块构成， 每个稀疏卷积模块以非空体素及其对应体素特征和 索引为输入， 构建三 维稀疏张量， 并使用3D稀疏卷积层 进行特征提取， 同时对稀疏体素特征 图进行二倍下采样； 经过最后一个稀疏卷积模块， 稀疏体素特征在高度维度进 行级联， 并转 化为稠密的俯视图特 征， 即体素 特征； 采用构造点特征提取方法， 从原始点云采样得到关键点上得到关键点特征； 具体的， 以 关键点为中心， 在其三 维坐标正负方向偏移固定距离的位置上生成构 造点； 结合体素特征， 以体素中心作为坐标， 使用点集特征提取方法聚合构造点和关键点邻域的体素特征， 得到 朝向信息增强的融合特征； 结合多个稀疏卷积模块以及原始点云、 稠密的俯视图的关键点 的特征， 得到多层级关键点特 征； 将点云特征聚合采样半径作为可学习参数， 通过反向传播更新采样半径， 得到最优采 样半径参数； 通过目标感知特征池化， 学习关键点到目标中心 的偏移量， 并在目标感知邻域内进行 特征聚合， 得到候选点及 对应特征； 使用候选点对应的关键点进 行分类， 并以候选点为中心 进行候选框回归； 基于候选框和多层 级关键点特征， 通过感兴趣区域栅格池化， 提取栅格中 心点特征并对候选 框进行二次 回归和得分预测， 得到最终3D目标检测结果。 2.根据权利要求1所述的基于关键点的3D 目标检测及其参数化半径学习方法， 其特征 在于， 对原始点云数据进 行下采样得到 关键点的处理步骤为： 随机选取一个初始 点， 通过最 远点采样方法， 以欧式距离作为度量， 在原 始点云中均匀采样， 得到关键点组成的序列。 3.根据权利要求1所述的基于关键点的3D 目标检测及其参数化半径学习方法， 其特征 在于， 将点云体素化并提取初始体素特征 的过程为： 将测 量空间划分为大小相等的三维体 素， 并将点云投影到对应的体素中， 构建体素索引， 使投影到同一体素中的点云具有相同的 体素索引； 构建非重复体素索引， 将非空体素中的点云进行动态编码， 得到非空体素的初始 特征， 所述初始特 征包含体素内点云三维坐标以及反射强度平均值。 4.根据权利要求1所述的基于关键点的3D 目标检测及其参数化半径学习方法， 其特征 在于， 通过目标感知特征池化得到候选点及对应特征过程包括： 学习关键点到对应目标中 心的三维偏移量， 将关键点坐标加上偏移量， 得到候选点； 由关键点和候选点构成双向映 射， 通过候选点的球形邻域， 构建候选点空间下的目标感知邻域， 并基于该邻域进 行目标感 知特征聚合， 从而得到候选点的对应特 征。 5.根据权利要求1所述的基于关键点的3D 目标检测及其参数化半径学习方法， 其特征 在于， 以关键点、 候选点及其对应特征进 行目标候选框预测的过程包括： 以候选点坐标为中 心， 构建锚框； 通过判断关键点是否在目标框 真值内， 进 行候选框 分类； 基于锚框， 使用候选 点特征进行候选 框中心位置、 尺寸和朝向回归。 6.根据权利要求1所述的基于关键点的3D 目标检测及其参数化半径学习方法， 其特征 在于， 通过目标感兴趣区域栅格池化， 并得到最 终3D目标检测结果的过程包括： 将3D候选框 划分成等间隔的栅格， 基于栅格中心点使用点集特征提取， 获取中心点邻域的关键点特征权　利　要　求　书 1/2 页 2 CN 115294565 A 2并进行聚合； 基于栅格中心点特 征， 进行目标框二次 回归和分类得分预测。 7.根据权利要求1所述的基于关键点的3D 目标检测及其参数化半径学习方法， 其特征 在于， 参数化特征聚合半径学习的过程包括： 通过截断函数模拟点云采样过程， 将点云特征 聚合采样半径作为可学习参数引入检测模型； 通过反向传播， 利用目标函数 的梯度更新采 样半径， 并在检测模型训练过程中同时学习采样半径； 构建截断Smooth  L1损失函数， 约束 学习得到的采样半径的范围； 截断Smo oth L1损失函数表达式为： 其中ε和ρ代表对称中心以及截断范围， 截断Smooth  L1损失函数是对称于ε， 并在 区间 [ ε‑ρ, ε+ρ ]内损失为0 。 8.一种基于关键点的3D 目标检测及其参数化特征聚合半径学习系统， 其特征在于， 包 括： 初始特征提取模块、 体素特征提取模块、 关键点特征提取模块、 候选框生成模块、 二阶段 目标框回归 模块以及采样半径参数优化模块； 初始特征提取模块用于以原始点云作为输入， 通过下采样得到关键点， 并对原始点云 进行体素化处 理， 得到体素初始特 征； 体素特征提取模块用于将体素初始特征输入3D稀疏卷积网络中， 得到体素特征； 提取 体素特征 的3D稀疏卷积网络由4个稀疏卷积模块构成， 每个稀疏卷积模块以非空体素及其 对应体素特征和索引为输入， 构建三 维稀疏张量， 并使用3D稀疏卷积层进 行特征提取， 同时 对稀疏体素特征图进行二倍下采样； 稀疏体素特征在高度维度进行级联， 并转化为稠密的 俯视图特 征， 即体素 特征； 关键点特征提取模块采用构造点特征提取方法， 从原始点云采样得到关键点上， 得到 关键点特征； 具体的， 以关键点为中心， 在其三 维坐标正负方向偏移固定距离的位置上生成 构造点； 以体素中心作为坐标， 使用点集特征提取方法聚合构造点和关键点邻域的体素特 征， 得到朝向信息增强的融合特征； 结合多个稀疏卷积模块以及原始 点云、 稠密的俯视图的 关键点的特 征， 得到多层级关键点特 征； 采样半径参数优化模块将点云特征聚合采样半径作为可学习参数， 通过反 向传播更新 采样半径， 得到最优 采样半径参数； 候选框生成模块通过目标感知特征池化， 学习关键点到目标中心 的偏移量， 并在目标 感知邻域内进 行特征聚合， 得到候选点及 对应特征； 使用候选点对应的关键点进 行分类， 并 以候选点 为中心进行候选 框回归； 二阶段目标框回归模块通过感兴趣区域栅格池化， 提取栅格中心点特征并对候选框进 行二次回归和得分预测， 得到最终3D目标检测结果。 9.一种计算机设备， 其特征在于， 包括处理器和存储器， 存储器中存储可执行程序， 处 理器执行所述可执行程序时， 能执行权利要求 1至7中任一项 所述的基于 关键点的3D目标检 测及其参数化半径学习方法。 10.一种计算机可读存储介质， 其特征在于， 计算机可读存储介质中存储有计算机程 序， 所述计算机程序被处理器执行时， 能实现权利要求1至7中任一项所述的基于关键点的 3D目标检测及其 参数化半径学习方法。权　利　要　求　书 2/2 页 3 CN 115294565 A 3