(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210980922.8 (22)申请日 2022.08.16 (71)申请人 河南大学 地址 475001 河南省开封市顺河区明伦街 85号 (72)发明人 柴秀丽　宋世平　谭勇　蒋文斌　 甘志华　黄紫晴　路杨　周林　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 刘莹莹 (51)Int.Cl. G06F 21/64(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/72(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于浅层特征增强和注意力机制的图像篡 改检测方法 (57)摘要 本发明提供一种基于浅层特征增强和注意 力机制的图像篡改检测方法。 该方法包括： 步骤 1： 构建篡改图像数据集， 并将其分为训练集和测 试集； 步骤2： 设置损失函数， 基于损 失函数利用 训练集对构建的图像篡改检测网络进行训练， 得 到最优图像篡改检测网络模型； 步骤3： 利用最优 图像篡改检测网络模型对测试集中篡改图像进 行检测； 其中， 图像篡改检测网络包括： 特征提取 器、 特征增强模块和注意力模块； 利用特征提取 器提取输入图像的浅层特征和深层特征， 利用特 征增强模块对提取的浅层特征进行重构， 并将重 构的特征与深层特征进行特征融合， 利用注意力 模块对融合后的特征进行筛选。 本发 明具有能有 效捕获篡改痕迹的网络结构， 实现像素级的篡改 区域定位。 权利要求书2页 说明书8页 附图3页 CN 115357944 A 2022.11.18 CN 115357944 A 1.基于浅层特征增强和注意力机制的图像篡改检测方法， 其特 征在于， 包括： 步骤1： 构建篡改图像数据集， 并将其分为训练集和 测试集； 步骤2： 设置损失函数， 基于所述损失函数利用所述训练集对构建的图像篡改检测网络 进行训练， 得到最优图像篡改检测网络模型； 步骤3： 利用所述 最优图像篡改检测网络模型对测试集中篡改图像进行检测； 其中， 所述图像篡改检测网络包括： 特征提取器、 特征增强模块和注意力模块； 利用特 征提取器提取输入图像的浅层特征和深层特征， 利用特征增强模块对提取的所述浅层特征 进行重构， 并将重构的特征与所述深层特征进行特征融合， 利用注意力模块对融合后的特 征进行筛 选。 2.根据权利要求1所述的基于浅层特征增强和注意力机制的图像篡改检测方法， 其特 征在于， 所述特征提取器采用改进的ResNet ‑50主干网络； 所述 改进的ResNet ‑50主干网络 是指将原ResNet ‑50主干网络中第四个模块中的卷积替换为扩张率为1、 2、 4的空洞卷积； 并 将第一个模块中的卷积组个数由原来的三个减少至 两个。 3.根据权利要求2所述的基于浅层特征增强和注意力机制的图像篡改检测方法， 其特 征在于， 所述的利用特征增强模块对提取 的所述浅层特征进行重构， 并将重构的特征与所 述深层特 征进行特征融合， 具体包括： 先对经过改进的ResNet ‑50主干网络中第一个模块输出的特征进行下采样， 再将下采 样后的特征与第二个模块输出 的特征进行融合， 特征增强模块对融合后的特征进行增强， 最后将增强后的特征图与改进的ResNet ‑50主干网络中第四个模块上采样后的特征进 行融 合。 4.根据权利要求1所述的基于浅层特征增强和注意力机制的图像篡改检测方法， 其特 征在于， 所述注意力模块采用改进的DANet， 所述改进的DANet是指将原DANet中的softmax 激活函数替换为sigmo id激活函数， 将部分1 ×1卷积替换为3 ×3、 5×5的卷积。 5.根据权利要求1所述的基于浅层特征增强和注意力机制的图像篡改检测方法， 其特 征在于， 采用公式(1)作为总损失函数： L＝LBCE+LDice  (1) 其中， 其中， LBCE表示分辨率为H ×W的图像的交叉熵损失； LDice表示分辨率为H ×W的图像的 Dice损失； Ig(i,j)∈{0,1}， 表示像素(i,j)处的标签； Io(i,j)表示像素(i,j)处为篡改像素 的概率。 6.根据权利要求3所述的基于浅层特征增强和注意力机制的图像篡改检测方法， 其特 征在于， 所述的特 征增强模块对融合后的特 征进行增强， 具体增强过程包括： 步骤A1： 浅层特征F∈RC×H×W首先通过全局平均池化得到全局平均特征G∈RC×1×1， 对每权　利　要　求　书 1/2 页 2 CN 115357944 A 2个空间位置Fi,j,i∈[1,W],j∈[1,H]， 计算F与G的余弦相似度得到S ∈R1×H×W； C表示通道数， H表示特征图的高， W表示特 征图的宽； 步骤A2： 将S的尺度变换为R1×HW， 然后将S进行等分量化统计为N个L＝[L1,L2,...,LN] 块， N∈[1,255]， 进而对每个Si,i∈[1,HW]， 将其量化为量化编码向量Ei∈RN,i∈[1,HW]， S 最终被量化为量化编码矩阵E∈RN×HW； 其中， Si被N个函数{f1,f2,...,fN}量化， 将被 函数fn量 化的Si用Ei,n表示： 步骤A3： 给定量化编码矩阵E∈RN×HW， 生成量化计数映射C∈RN×2， 其中第1维表示每个量 化级别， 第2维表示对应的归一 化计数， 量 化计数映射C记为： 其中Cat表示串联； 步骤A4： 将全局平均特征G编码到量化计数映射C中产生统计特征D， 具体为： 将 G上采样 到RN×C， D由公式(4)得到： D＝Cat(MLP(C),G)   (4) 其中， MLP表示多层感知机， 用于增 加量化计数映射C的维数； 步骤A5： 按照公式(5)对统计特 征D计算相似度： X＝softmax(φ1(D)T·φ2(D))  (5) 其中， φ1和φ2表示两个不同的1 ×1卷积， 对第一个维度执行 的softmax作为非线性归 一化函数； 步骤A6： 通过融合其他节点的特征来更新每个节点， 得到重构的量化矩阵L'∈RC×N， 将 重构的L'赋 给每个像素， 使用量 化编码矩阵E∈RN×HW得到最终的输出M： L'＝φ3(D)·X  (6) 其中， φ3表示1×1卷积； M＝L'·E  (7)。 7.根据权利要求4所述的基于浅层特征增强和注意力机制的图像篡改检测方法， 其特 征在于， 所述的利用注意力模块对融合后的特 征进行筛 选， 具体筛 选过程包括： 步骤B1： 使用通道 注意力得到通道特 征图CAF： CAF＝α(sigmo id(FT×FR)×FR)+F  (8) 其中， F∈RC×H×W， 代表输入特征， C表示通道数， H表示特征图的高， W表示特征图的宽； FT ∈RC×HW和FR∈RHW×C为对输入特 征进行转置和形状重构得到， α 为可 学习比例因子； 步骤B2： 使用空间注意力得到位置特 征图SAF： SAF＝β(sigmo id(F1T×F2)×F3)+F  (9) 其中， 输入特征F在经过1 ×1、 3×3、 5×5卷积后分别得到F1、 F2、 F3； F1经过转置与重构得 到F1T∈RC×HW； F2、 F3经过重构属于RHW×C； β 为可学习比例因子； 步骤B3： 将通道特 征图CAF和位置特 征图SAF相加得到最终输出。权　利　要　求　书 2/2 页 3 CN 115357944 A 3