(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210761115.7 (22)申请日 2022.06.29 (71)申请人 深圳万兴软件 有限公司 地址 518000 广东省深圳市南 山区粤海街 道软件产业基地5 栋D座1001 (72)发明人 焦小珍　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 李珂 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于融合编码网络的视频分割方法、 装置、 设备及介质 (57)摘要 本发明涉及视频分割技术领域， 其公开了一 种基于融合编码网络的视频分割方法、 装置、 设 备及介质。 其中方法包括： 基于融合编码网络对 获取的参照帧图像及参照分割图像进行一系列 处理得到参照卷积特征图及参照融合特征图； 获 取待分割视频中的当前帧图像， 并将当前帧图像 输入融合编码网络得到当前分辨率特征图； 对当 前分辨率特征图、 参照卷积特征图以及参照融合 特征图进行一系列处理得到输出分割图； 若满足 特征图更新条件， 则对参照卷积特征图及参照融 合特征图进行更新， 直至待分割视频分割完成为 止。 本发明实施例可提高视频分割的效率及分割 准确度。 权利要求书3页 说明书11页 附图4页 CN 115131708 A 2022.09.30 CN 115131708 A 1.一种基于融合编码网络的视频分割方法， 其特 征在于， 包括： 获取用户指定的参照帧图像及与所述参照帧图像相对应的参照分割图像， 其中， 所述 参照帧图像为待分割视频中的任意 一帧图像； 将所述参照帧图像输入融合编码网络得到参照分辨率特征图， 并对所述参照分辨率特 征图进行 卷积处理得到参照卷积特 征图； 将所述参照分辨率特征图及所述参照分割图像输入所述融合编码网络得到参照编码 特征图， 并对所述参照编 码特征图及重叠扩展后的所述参照分辨率特征图进 行级联及融合 处理得到参照融合特 征图； 获取所述待分割视频中的当前帧图像， 并将所述当前帧图像输入所述融合编码网络得 到第一当前分辨率特征图、 第二当前分辨率特征图以及第三当前分辨率特征图， 对所述第 三当前分辨 率特征图进行 卷积处理得到当前 卷积特征图； 对所述当前卷积特征图、 所述参照卷积特征图以及所述参照融合特征图进行注意力 权 重计算得到 权重特征图； 对所述权重特征图、 所述第 一当前分辨率特征图以及第 二当前分辨率特征图进行解码 处理得到输出分割图； 若满足特征图更新条件， 则对所述参照卷积特征图及所述参照融合特征图进行更新， 直至所述待分割视频分割完成为止 。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述当前帧图像输入所述融合编码 网络得到第一当前分辨率特征图、 第二当前分辨率特征图 以及第三当前分辨率特征图的步 骤， 包括： 将所述当前帧图像输入所述融合编码网络中的第一编码网络进行逐层特征提取得到 第一当前分辨 率特征图、 第二当前分辨 率特征图以及第三当前分辨 率特征图。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述参照分辨率特征图及所述参照 分割图像输入所述融合编 码网络得到参照编码特征图， 并对所述参照编码特征图及重叠扩 展后的所述 参照分辨 率特征图进行级联及融合处 理得到参照融合特 征图的步骤， 包括： 将所述参照分辨率特征图及所述参照分割图像输入所述融合编码网络中的第二编码 网络进行目标跟踪得到参照 编码特征图； 对所述参照分辨率进行重叠扩展， 并将重叠扩展后的所述参照分辨率特征图与所述参 照编码特征图进行级联 得到参照级联 特征图； 对所述参照级联 特征图进行残差融合处 理得到参照融合特 征图。 4.根据权利要求1所述的方法， 其特征在于， 所述当前卷积特征图包括第 一当前卷积特 征图及第二当前卷积特征图， 所述对所述当前卷积特征图、 所述参照卷积特征图以及所述 参照融合特 征图进行注意力权 重计算得到 权重特征图的步骤， 包括： 对所述第一当前卷积特征图及所述参照卷积特征图依次进行降维、 相乘、 减法 以及归 一化操作得到注意力特 征图； 对所述注意力特征图、 所述第 二当前卷积特征图以及所述参照融合特征图进行注意力 权重计算得到 权重特征图。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述注意力特征图、 所述第二当前 卷积特征图以及所述 参照融合特 征图进行注意力权 重计算得到 权重特征图的步骤， 包括：权　利　要　求　书 1/3 页 2 CN 115131708 A 2对所述第二当前 卷积特征图进行遍历得到多个遍历特 征图； 针对所述多个遍历特 征图中的每一个遍历特 征图进行降维处 理得到降维特 征图； 将所述降维特征图与 所述注意力特征图进行相乘、 升维以及级联操作得到目标注意力 特征图； 将重叠扩展后的所述参照融合特征图与所述目标注意力特征图进行级联得到权重特 征图。 6.根据权利要求1所述的方法， 其特征在于， 所述对所述权重特征图、 所述第一当前分 辨率特征图以及第二当前分辨 率特征图进行解码处 理得到输出分割图的步骤， 包括： 对所述权 重特征图进行残差处 理得到残差特 征图； 对所述残差特征图、 所述第 一当前分辨率特征图以及第 二当前分辨率特征图进行上采 样操作得到采样特 征图； 对所述采样特 征图进行 卷积及上采样 操作得到 输出分割图。 7.根据权利要求3所述的方法， 其特征在于， 所述若满足特征图更新条件， 则对所述参 照卷积特征图及所述参照融合特征图进行更新， 直至所述待分割视频分割完成为止的步 骤， 包括： 检测帧计数 是否为预设帧数的整数倍； 若所述帧计数为所述预设帧数的整数倍， 则将所述输出分割图、 所述当前帧图像以及 所述第三当前分辨 率特征图输入所述第二编码网络进行目标跟踪得到更新特 征图； 对所述更新特征图进行卷积处理得到第 一更新卷积特征图及第 二更新卷积特征图， 并 将所述第一更新卷积特征图及所述第二更新卷积特征图作为所述参照卷积特征图及所述 参照融合特 征图。 8.一种基于融合编码网络的视频分割装置， 其特 征在于， 包括： 获取单元， 用于获取用户指定的参照帧图像及与 所述参照帧图像相对应的参照分割图 像， 其中， 所述 参照帧图像为待分割视频中的任意 一帧图像； 第一编码卷积单元， 用于将所述参照帧图像输入融合编码网络得到参照分辨率特征 图， 并对所述 参照分辨 率特征图进行 卷积处理得到参照卷积特 征图； 级联融合单元， 用于将所述参照分辨率特征图及所述参照分割图像输入所述融合编码 网络得到参照编码特征图， 并对所述参照编码特征图及重叠扩展后的所述参照分辨率特征 图进行级联及融合处 理得到参照融合特 征图； 第二编码卷积单元， 用于获取所述待分割视频中的当前帧图像， 并将所述当前帧图像 输入所述融合编码网络得到第一当前分辨率特征图、 第二当前分辨率特征图以及第三当前 分辨率特征图， 对所述第三当前分辨 率特征图进行 卷积处理得到当前 卷积特征图； 注意力单元， 用于对所述当前卷积特征图、 所述参照卷积特征图以及所述参照融合特 征图进行注意力权 重计算得到 权重特征图； 解码单元， 用于对所述权重特征图、 所述第一当前分辨率特征图以及第二当前分辨率 特征图进行解码处 理得到输出分割图； 更新单元， 用于若满足特征图更新条件， 则对所述参照卷积特征图及所述参照融合特 征图进行 更新， 直至所述待分割视频分割完成为止 。 9.一种计算机设备， 其特征在于， 所述计算机设备包括存储器及处理器， 所述存储器上权　利　要　求　书 2/3 页 3 CN 115131708 A 3