(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210983668.7 (22)申请日 2022.08.16 (71)申请人 闽江学院 地址 350121 福建省福州市闽侯县溪 源宫 路200号闽江学院行政楼B201 (72)发明人 李佐勇　吴嘉炜　许惠亮　郑祥盘　 姚少扬　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫　蔡学俊 (51)Int.Cl. G06T 7/194(2017.01) G06T 7/136(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/84(2022.01) (54)发明名称 基于前背景解耦的抠图方法 (57)摘要 本发明涉及一种基于前背景解耦的抠图方 法。 包括前景分割、 背景分割和消歧， 并设计了一 种由新子任务驱动的新颖的前景 ‑背景解耦抠图 （FBDM） 深度神经网络模型。 本发明分为四部分， 第一部分设计了一个更加合理的抠图子任务集 合。 第二部分设计了一个嵌套注 意机制来解耦主 干特征。 第三部分为语义解码部分， 通过主干特 征利用两个独立的渐进式语义解码器来完成前 景和背景分割子任务。 第四部分为分频局部消歧 模块， 通过分别预测低频和高频信息以矫正不同 频域的错误， 最终提升扣图的精度。 一系列实验 结果表明， 本发明算法显著提升 了抠图精度。 权利要求书3页 说明书8页 附图3页 CN 115375722 A 2022.11.22 CN 115375722 A 1.一种基于前背景解耦的抠图方法， 其特征在于， 首先， 提出分解子任务集， 包括前景 分割任务、 背 景分割任务和消除歧义任务； 其次， 在分解子任务集启发下， 提出前景 ‑背景解 耦抠图网络FBDM， 即通过嵌套注意力机制来解耦主干特征， 而后通过主干特征利用两个独 立的渐进式语义解码器来完成前景分割任务和背景分割任务， 最后采用分频局部消歧模 块， 分别预测低频和高频信息以矫 正不同频域的错 误。 2.根据权利要求1所述的基于前背景解耦的抠图方法， 其特征在于， 所述前景分割任务 和背景分割任务是并行的， 而前 景分割任务、 背景分割任务和 消除歧义任务是串行的。 3.根据权利要求1所述的基于前背景解耦的抠图方法， 其特征在于， 所述前景 ‑背景解 耦抠图网络FBD M由一个主干网络、 两个平行的语义分支和一个按照设定的子任务的消歧分 支组成， 两个带有1 ×1的卷积的预测头从主干网络中输出 的最高层次语义特征输入， 用来 预测粗略的前 景和背景图像， 即粗略的语义信息； 粗略的语义信息的损失为： 其中， 和 是前景预测器和背景预测器的预测值， 和 是前景分割和背景分割的标 签， 是粗略前景的有监督损失， 是粗略背景的有监督损失； LS(·,·)是二元交叉 熵值损失， 如下： 其中， H和W是 预测图像的长和宽， pi∈[0,1],yi∈[0,1]。 4.根据权利要求1所述的基于前背景解耦的抠图方法， 其特征在于， 前景 ‑背景解耦抠 图网络FB DM的主干网络中每 一层的特征图Ei输入嵌套注意力机制得到 新特征图E'i； 所述嵌 套注意力机制由一个内部 自注意和 一个外部 自注意组成， 它们分别以图像块和层为单位； 对于内部自注 意， 在主干特征中加入一个 GAU层来学习内部层的图像块之间的长距离依赖， 为减少计算量， 利用一个自适应平均池层， 在GAU层之前将特征的大小缩减到1/16元， 然后 用双线性插值来恢复到原始大小； 对于外部自注意， 通过粗略语义pe的指导， 引入掩码自注 意机制， 以学习不同层次层的关系； 通过掩码自理计算的新特 征图E'i描述如下： 其中， K为主干网络层的数量， Ei为第i层主干网络输出的特征图， Vj为第j层的内部自注 意的结果， Qi和Ki是对特征图Ei插值之后通过线性层得来的， Linear()代表线性层操作， 为第i层特 征图的高， 为第i层特 征图的宽 。 5.根据权利要求3所述的基于前背景解耦的抠图方法， 其特征在于， 所述语义解码器首 先将解码层的特征缩放为两倍大小， 然后使用卷积核大小为1 ×1的卷积， 按照跳过连接的 方法融合编码特征和调整后的特征； 为挖掘上下文信息， 在前景和背景分支的最高级别特 征之后插 入一个AS PP层； 所述语义 解码器的损失函数为： 权　利　要　求　书 1/3 页 2 CN 115375722 A 2其中M为语义解码器的层数， LS为二元交叉熵函数， 和 分别为解码器第i层的预测 值， 和 分别为前 景分割和背景分割的标签。 6.根据权利要求5所述的基于前背景解耦的抠图方法， 其特征在于， 所述分频局部消歧 模块由局部消歧FDLD层 层叠加， FDLD由低频消歧模块、 高频消歧模块和融合模块组成； 对于低频消歧模块， 将输入图像和语义特征连接起来， 通过一个线性层； 然后， 根据采 样策略， 使用1填充物来裁剪特征得到特征块X； 由于X包含输入图像语义的信息， 使用它在 遵循自注意力管道所生 成的[Q,K]来生 成距离图D， Q和K是对特征图插值之后通过线性层得 来的； 随后， 将上一级的主干特征与语义特征串联起来， 后者通过卷积核大小为3、 跨度为2 的卷积和通过线性层， 并使用与X的生 成过程相同的策略来 获得图像块Z； 然后， V是由Z通过 一个线性层生成的； 一个新的特征像素点 是由D和V的点乘来获得的； 最后， 使用一个1 ×1 的卷积来预测新的结果， 以取代这个位置上的原预测； 在非过渡区域， 使用二元 交叉熵来监 督低频预测， 损失函数公式如下： 其中～T代表非过渡区域， 是低频消歧模块的精炼结果， 是当前层与p的大小相匹 配的标签； 对于高频消歧模块， 先将前一个输出和前一个特征的大小加倍； 然后， 将前一个输出、 前一个特征和前一级主干特征连接起来， 通过1 ×1的卷积； 与低频的裁剪策略不同， 在一个 不确定的像素中裁剪两个特征块， 一个特征块有一半的裁剪尺寸填充， 另一个没有填充； 将 无填充补丁的尺寸增加一倍， 并将填充补丁合并到通道尺寸中； 随后， 组合的图像块通过卷 积核大小为3 ×3， 步长为2的卷积块来缩减两次， 获得更加细化的特征ZijH； 最后， 用卷积核 大小为1×1的卷积来预测高频结果， 以取代原始 位置； 在过渡区域， 使用l 1损失函数来监督 高频预测， 损失函数公式如下： 其中， T是过渡区域， 是高频消歧模块的精炼结果， 是当前层与 的大小相匹配 的 标签； 此外， 从特征角度融合低频消歧和高频消歧； 将 的大小加倍然后和 相拼接在一起 通过一个1 ×1的卷积来预测在像素点 位置为ij的结果， 融合的损失函数如下： 其中， 是通过融合之后的精炼结果， 是当前层与 的到校相匹配的标签 。 7.根据权利要求6所述的基于前背景解耦的抠图方法， 其特征在于， 所述前景 ‑背景解 耦抠图网络FBDM通过协作损失项进行优化； 整个训练目标分为粗略的语义损失 前景背 景分割损失 消歧损失LD和一个预测抠图 图像pm的损失LM， 通过加权的方式组合： 其中， λ1, λ2, λ3, λ4都是平衡参数； 消歧损失LD如下：权　利　要　求　书 2/3 页 3 CN 115375722 A 3