(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211067075.2 (22)申请日 2022.09.01 (71)申请人 中国科学院香港创新研究院人工智 能与机器人创新中心有限公司 地址 中国香港新界白石角香港科 学园科技 大道西17号楼301-303， 305-309， 317- 320室 (72)发明人 张兆翔　王宇琪　陈韫韬　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 董娜 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/80(2022.01) G06N 3/08(2006.01) (54)发明名称 目标检测模型优化方法、 装置、 电子设备及 存储介质 (57)摘要 本发明提供一种目标检测模 型优化方法、 装 置、 电子设备及存储介质， 该方法涉及人工智能 技术领域， 包括： 基于图像数据集， 确定初始目标 分割结果； 基于初始目标分割结果和交替式的训 练策略， 联合优化聚类网络模型和定位网络模 型， 得到第一聚类网络模型和第一定位网络模 型； 分别对二维候选目标集合和三维候选目标集 合进行时序优化， 得到第一候选目标集合和第二 候选目标集合； 二维候选目标集合和三维候选目 标集合分别是聚类网络模型和定位网络模型在 联合优化的过程中得到的； 基于第一候选目标集 合和第二候选目标集合， 分别优化第一聚类网络 模型和第一定位网络模型， 得到目标检测模型， 实现不同应用场景中目标检测， 提升目标检测的 准确性。 权利要求书3页 说明书16页 附图4页 CN 115527051 A 2022.12.27 CN 115527051 A 1.一种目标检测模型优化方法， 其特 征在于， 包括： 基于图像数据集， 确定初始目标分割结果； 所述图像数据集包括二维图像序列和三维 点云序列； 所述 二维图像序列和所述 三维点云序列之间存在对应关系； 基于所述初始目标分割结果和交替式的训练策略， 联合优化聚类网络模型和定位网络 模型， 得到第一聚类网络模型和第一定位网络模型； 所述聚类网络模型用于检测所述三维 点云序列中图像的目标； 所述定位网络模型用于检测所述 二维图像序列中图像的目标； 分别对二维候选目标集合和三维候选目标集合进行时序优化， 得到第 一候选目标集合 和第二候选目标集合； 所述二维候选目标集合和所述三 维候选目标集合分别是所述聚类网 络模型和所述定位网络模型在联合优化的过程中得到的； 基于所述第 一候选目标集合和所述第 二候选目标集合， 分别优化所述第 一聚类网络模 型和所述第一定位网络模型， 得到目标检测模型。 2.根据权利要求1所述的目标检测模型优化方法， 其特征在于， 所述基于所述初始目标 分割结果和交替式的训练策略， 联合优化聚类网络模型和定位网络模型， 得到第一聚类网 络模型和第一定位网络模型， 包括： 将所述三维点云序列中的点云数据输入至所述聚类网络模型， 得到所述 聚类网络模型 输出的所述点云数据的第一分割结果； 所述聚类网络模型是基于样本点云数据和所述初始 目标分割结果进行训练得到的； 将所述二维图像序列中的图像输入至所述定位网络模型， 得到所述定位网络输出的第 二分割结果； 所述定位网络模型 是基于样本图像和所述第一分割结果进行训练得到的； 基于所述第一分割结果、 所述第二分割结果和所述交替式的训练策略， 联合优化所述 聚类网络模型和所述定位网络模型， 得到所述第一聚类网络模型和所述第一定位网络模 型。 3.根据权利要求2所述的目标检测模型优化方法， 其特征在于， 所述将所述三维点云序 列中的点云数据输入至所述聚类网络模型， 得到所述聚类网络模型输出的所述点云数据的 第一分割结果， 包括： 将所述三维点云序列中的点云数据输入至所述聚类网络模型中的特征提取模块， 得到 所述特征提取模块输出的体素 特征数据； 将所述体素特征数据输入至所述聚类网络模型中的所述投票模块， 得到所述投票模块 输出的所述 点云数据对应的类别和偏差值； 将所述类别和所述偏差值输入至所述 聚类网络模型中的所述聚类模块， 得到所述聚类 模块输出的所述第一分割结果。 4.根据权利要求1 ‑3任一项所述的目标检测模型优化方法， 其特征在于， 所述聚类网络 模型采用的损失函数如公式(1)表示， 其中： 其中， M表示前景点的总数， i表示第i个点， 表示第i个点对应的监督信号， 表示第i个点的真实偏差； Δxi表示第i个点的预测偏差 。 5.根据权利要求2所述的目标检测模型优化方法， 其特征在于， 所述基于所述第 一分割权　利　要　求　书 1/3 页 2 CN 115527051 A 2结果、 所述第二分割 结果和所述交替式的训练策略， 联合优化所述聚类网络模型和所述定 位网络模型， 得到所述第一聚类网络模型和所述第一定位网络模型， 包括： 基于所述第一分割结果， 确定所述定位网络模型的第一 监督信息； 基于所述第一 监督信息， 训练所述定位网络模型， 得到所述第一定位网络模型。 6.根据权利要求2所述的目标检测模型优化方法， 其特征在于， 所述基于所述第 一分割 结果、 所述第二分割 结果和所述交替式的训练策略， 联合优化所述聚类网络模型和所述定 位网络模型， 得到所述第一聚类网络模型和所述第一定位网络模型， 包括： 基于所述第二分割结果， 确定所述聚类网络模型的第二 监督信息； 基于所述第二 监督信息， 训练所述聚类网络模型， 得到所述第一聚类网络模型。 7.根据权利要求1所述的目标检测模型优化方法， 其特征在于， 分别对二维候选目标集 合和三维候选目标集 合进行时序优化， 得到第一 候选目标集 合和第二 候选目标集 合， 包括： 采用卡尔曼滤波分别对所述二维候选目标集合和所述三维候选目标集合进行时序追 踪； 基于追踪的结果， 确定所述第一 候选目标集 合和所述第二 候选目标集 合。 8.根据权利要求7所述的目标检测模型优化方法， 其特征在于， 所述基于追踪的结果， 确定所述第一 候选目标集 合和所述第二 候选目标集 合， 包括： 将连续匹配的图像帧数小于第一预设阈值的候选目标判定为 错误的分割结果； 将所述错误的分割结果从所述二维候选目标集合中滤除， 得到所述第一候选目标集 合。 9.根据权利要求7所述的目标检测模型优化方法， 其特征在于， 所述基于追踪的结果， 确定所述第一 候选目标集 合和所述第二 候选目标集 合， 包括， 包括： 将连续匹配的三维点云序列中的点云数据小于第二预设阈值的候选目标判定为错误 的分割结果； 将所述错误的分割结果从所述 三维候选目标集 合中滤除； 在存在遗漏分割结果的情况下， 将所述分割结果补充至所述三维候选目标集合， 得到 所述第二 候选目标集 合。 10.一种目标检测模型优化装置， 其特 征在于， 包括： 确定模块， 用于基于图像数据集， 确定初始目标分割结果； 所述图像数据集包括二维图 像序列和三维点云序列； 所述 二维图像序列和所述 三维点云序列之间存在对应关系； 联合优化模块， 用于基于所述初始目标分割结果和 交替式的训练策略， 联合优化聚类 网络模型和定位网络模型， 得到第一聚类网络模型和第一定位网络模型； 所述聚类网络模 型用于检测所述三维点云序列中图像的目标； 所述定位网络模型用于检测所述二 维图像序 列中图像的目标； 时序优化模块， 用于分别对二维候选目标集合和三维候选目标集合进行时序优化， 得 到第一候选目标集合和第二候选目标集合； 所述二维候选目标集合和所述三 维候选目标集 合分别是 所述聚类网络模型和所述定位网络模型在联合优化的过程中得到的； 目标优化模块， 用于基于所述第一候选目标集合和所述第二候选目标集合， 分别优化 所述第一聚类网络模型和所述第一定位网络模型， 得到目标检测模型。 11.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运权　利　要　求　书 2/3 页 3 CN 115527051 A 3