(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210940013.1 (22)申请日 2022.08.05 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518044 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 朱明旭　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 朱佳 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 检测分割模型的训练方法、 装置、 电子设备 和存储介质 (57)摘要 本申请涉及计算机技术领域， 尤其涉及一种 检测分割模型的训练方法、 装置、 电子设备和存 储介质， 可应用于智慧交通、 辅助驾驶、 自动驾驶 等场景， 用以高效准确的实现不同目标的检测分 割。 其中， 方法包括： 获取训练样本集； 选取训练 样本集中的训练样本， 输入待训练的检测分割模 型中的特征提取网络， 基于特征提取网络， 对训 练样本中的样本图像进行多尺度特征融合和注 意力特征提取， 获得多尺度注意力特征图； 分别 将多尺度注 意力特征图， 输入该模 型的目标检测 头部网络和目标分割头部网络， 获得样本检测目 标的预测位置信息及样本分割目标的预测类别 信息； 基于预测位置信息与预测类别信息， 对该 模型进行参数调整， 可高效准确地对不同的目标 进行检测及分割。 权利要求书3页 说明书22页 附图10页 CN 115249304 A 2022.10.28 CN 115249304 A 1.一种检测分割模型的训练方法， 其特 征在于， 该 方法包括： 获取训练样本集； 选取所述训练样本集中的训练样本， 输入待训练的检测分割模型中的特征提取网络， 基于所述特征提取网络对所述训练样本中的样本图像进行多尺度特征融合和注意力特征 提取， 获得 所述样本图像的多尺度注意力特 征图； 分别将所述多尺度注意力特征图， 输入所述检测分割模型中的目标检测头部网络和目 标分割头部网络， 获得所述样本图像中样本检测目标的预测位置信息， 及样本分割目标 的 预测类别 信息； 采用基于所述预测位置信 息与所述预测类别信 息构建的损失函数， 对所述检测分割 模 型进行参数调整。 2.如权利要求1所述的方法， 其特征在于， 所述特征提取网络包括卷积神经子网络、 特 征金字塔子网络和注意力机制子网络； 所述基于所述特征提取网络对所述训练样本中的样本图像进行多尺度特征融合和注 意力特征提取， 获得 所述样本图像的多尺度注意力特 征图， 包括： 基于所述卷积子网络对所述样本图像进行 特征提取， 获得 所述样本图像的图像特 征； 基于所述特征金字塔子网络对所述图像特征进行多尺度 特征提取， 并将提取到的多个 不同尺度的图像特 征进行特征融合， 获得多尺度融合特 征； 基于所述注意力 机制子网络对所述多尺度融合特征进行注意力 权重学习， 获得所述多 尺度注意力特 征图。 3.如权利要求1所述的方法， 其特征在于， 所述检测分割模型还包括： 第一解码网络和 第二解码网络； 所述第一 解码网络和所述第二 解码网络的网络结构相同， 网络参数不同； 在所述分别将所述多尺度注意力特征图， 输入所述检测分割模型中的目标检测头部网 络和目标分割头 部网络之前， 还 包括： 通过所述第一 解码网络对所述多尺度注意力特 征图进行解码， 获得第一 解码特征图； 通过所述第二 解码网络对所述多尺度注意力特 征图进行解码， 获得第二 解码特征图。 4.如权利要求3所述的方法， 其特征在于， 所述将所述多尺度注意力特征图， 输入所述 检测分割模型中的目标检测头部网络和目标分割头部网络， 获得所述样本图像中样本检测 目标的预测位置信息， 及样本分割目标的预测类别 信息， 包括： 将所述第一解码特征图输入所述目标检测头部网络， 通过所述目标检测头部网络对所 述样本图像进行目标检测， 获得 所述样本检测目标的预测位置信息； 将所述第二解码特征图输入所述目标分割头部网络， 通过所述目标分割头部网络对所 述样本图像进行目标分割， 获得 所述样本分割目标的预测类别 信息。 5.如权利要求1～4任一项所述的方法， 其特征在于， 所述训练样本集中的每个训练样 本还包括相应样本图像中样本检测目标的真实位置信息， 和样本分割目标的真实类别信 息； 所述采用基于所述预测 位置信息与所述预测类别信息构建的损失函数， 对所述检测分 割模型进行参数调整， 包括： 基于所述预测位置信息与所述真实位置信息之间的差异， 构建检测损 失函数； 基于所 述预测类别 信息与所述真实类别 信息之间的差异， 构建 分割损失函数； 通过以下至少一种方式对所述检测分割模型进行参数调整：权　利　要　求　书 1/3 页 2 CN 115249304 A 2交替采用所述检测损失函数与所述分割损失函数， 对所述检测分割模型进行参数调 整； 采用基于所述检测损失函数与所述分割损失函数构建的总损失函数， 对所述检测分割 模型进行参数调整。 6.如权利要求5所述的方法， 其特征在于， 所述检测分割模型还包括： 用于对所述多尺 度注意力特征图进行解码的第一解码网络和 第二解码网络； 所述第一解码网络和所述第二 解码网络的网络结构相同， 网络参数不同； 所述交替采用所述检测损失函数与 所述分割损失函数， 对所述检测分割 模型进行参数 调整， 包括： 基于所述检测损 失函数， 对所述检测分割模型中的所述特征提取网络、 所述第一解码 网络和所述目标检测头 部网络进行参数 更新； 基于所述分割损失函数对所述检测分割模型中的所述特征提取网络、 所述第 二解码网 络和所述目标分割头 部网络进行参数 更新。 7.如权利要求5所述的方法， 其特征在于， 在所述基于所述预测位置信 息与所述真实位 置信息之间的差异， 构建检测损失函数之前， 还 包括： 基于所述目标检测头部网络获得所述样本图像对应的第 一概率分布图， 所述第 一概率 分布图中每个像素点的像素值表征： 所述像素点为所述样本检测目标所属类别的第一预测 概率； 所述基于所述预测位置信息与所述真实位置信息之间的差异， 构建检测损 失函数， 包 括： 基于各个第一预测概 率构建分类损失函数； 基于所述预测位置信息和所述真实位置信息之间的差异， 构建位置损失函数； 基于所述分类损失函数和所述 位置损失函数， 构建所述检测损失函数。 8.如权利要求7所述的方法， 其特征在于， 在所述基于所述分类损失函数和所述位置损 失函数， 确定所述检测损失函数之前， 还 包括： 基于所述目标检测头部网络获得所述样本图像对应的第 二概率分布图， 所述第 二概率 分布图中每 个像素点的像素值表征： 所述像素点 为检测目标的第二预测概 率； 所述基于所述分类损失函数和所述 位置损失函数， 确定所述检测损失函数， 包括： 基于各个第二预测概 率构建目标损失函数； 将所述目标损 失函数， 所述分类损 失函数和所述位置损 失函数进行加权求和， 获得所 述检测损失函数。 9.如权利要求1～4任一项所述的方法， 其特征在于， 所述样本检测目标和所述样本分 割目标所属的类别不同。 10.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将待处理图像输入已训练的检测分割模型； 基于所述检测分割模型的特征提取网络， 对所述待处理图像进行多尺度 特征融合和注 意力特征提取， 获得 所述待处 理图像对应的目标多尺度注意力特 征图； 分别将所述目标多尺度注意力特征图， 输入所述检测分割 模型中的目标检测头部网络 和目标分割头部网络， 获得所述待处理图像中的待分割目标的目标位置信息， 及所述待处权　利　要　求　书 2/3 页 3 CN 115249304 A 3