(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211064647.1 (22)申请日 2022.09.01 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 骆源　陈仁杰　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于单步迭代的通用鲁棒分类器训练方法 及系统 (57)摘要 本发明提供了一种基于单步迭代的通用鲁 棒分类器训练方法及系统， 包括： 图像融合掩码 生成器， 用于衡量损失曲面的线性指示器， 平坦 最小损失优化模块。 所述掩码生成器在频域中对 低频部分进行采样生成空域中连续的无固定形 状的掩码， 用于进行图像增广。 所述的线性指示 器衡量损失曲面沿着对抗扰动方向的线性增长 程度用于 快速训练中的抑制灾难性过拟合。 所述 的平坦最小损失优化模块旨在提升损失最小化 时的损失曲面平坦度。 本发明提供的方法有效提 升对抗训练效率， 避免陷入单步对抗训练灾难性 过拟合， 在各种骨干网络和数据集上有很强的通 用性。 权利要求书3页 说明书9页 附图2页 CN 115375947 A 2022.11.22 CN 115375947 A 1.一种基于单步迭代的通用鲁棒分类器训练方法， 其特征在于， 所述方法包括如下步 骤： 步骤S1： 初始化卷积骨干网络和优化器； 步骤S2： 从训练数据集中采样若干个样本送入图像融合增强FreqMask模块， 生成增强 样本； 步骤S3： 固定骨干网络参数， 把增强样本送入骨干网络进行反向传播， 生成对抗样本； 步骤S4： 把对抗样本再次送入骨干网络， 根据线性 程度指示器调整总体对抗损失； 步骤S5： 总损失对网络参数求导， 得到梯度后进行反向传播， 平坦损失优化器更新参 数； 步骤S6： 重复步骤S2 ‑步骤S5， 直到损失函数收敛， 获得鲁棒模型。 2.根据权利要求1所述的基于单步迭代的通用鲁棒分类器训练方法， 其特征在于， 所述 步骤S2包括如下步骤： 步骤S2.1： 随机从训练集中采样两个样本， 记为(xa， ya)， (xb， yb)， 其中x表示图像数据， y 表示对应的标签， x的形状为H ×W； 步骤S2.2： 初始化一个H行W列的从 ‑1到1之间的均匀采样的随机频谱矩阵f， 对于矩阵f 中(i， j)位置， 乘以一个调整系数1/dα， d为位置(i， j)到矩阵中心的欧式距离， 即d＝(i ‑H/ 2)2+(j‑W/2)2； α 为预先选择的距离 衰减系数； 步骤S2.3： 频域矩阵f进行傅里叶平移使得低频 区域从频谱中心移到频谱四个角， 再对 中心化频谱进行 快速傅里叶逆变换， 得到空域矩阵s； 步骤S2.4： 对空域矩阵s进行二值化处理得到图像掩码m， 并计算图像掩码m中值为1的 位置占所有像素总和的比例 λ； 步骤S2.5： 利用图像掩码m对(xa， ya)， (xb， yb)两个样本进行融合， 得到新的训练样本； 其 中，⊙是逐位相乘操作， 标签经 过编码成为 one‑hot独热向量： x*＝m⊙xa+(1‑m)⊙xb y*＝ λya+(1‑λ )yb。 3.根据权利要求1所述的基于单步迭代的通用鲁棒分类器训练方法， 其特征在于， 所述 步骤S3包括如下步骤： 步骤S3.1： 随机生成一个与输入x*形状相同， 且从 ‑∈到∈之间均匀随机采样的初始化 扰动 δ； 步骤S3.2： 把x*加上初始化扰动δ后送入骨干网络， 根据标签得到对应的损失函数 步骤S3.3： 计算损失函数对于扰动的导数 以及对于参数的导数 步骤S3.4： 对输入进行梯度上升， 得到对抗扰动 4.根据权利要求1所述的基于单步迭代的通用鲁棒分类器训练方法， 其特征在于， 所述 步骤S4包括如下步骤： 步骤S4.1： 把对抗样本x ″送入骨干网络得到新的对抗损失 权　利　要　求　书 1/3 页 2 CN 115375947 A 2步骤S4 .2： 计算线性指示器的值 步骤S4.3： 当I nd大于0的时候执 行步骤S4.4； 当I nd小于0的时候， 执 行步骤S4.5； 步骤S4.4： 对未归一化概率logits进行放缩， 使得logits的最大分数和次大分数的差 值为变为c， 得到新的损失函数； 步骤S4.5： 保持l ogits不变， 原有损失函数加上β *I nd正则项构成新的损失函数。 5.根据权利要求1所述的基于单步迭代的通用鲁棒分类器训练方法， 其特征在于， 所述 步骤S5包括如下步骤： 步骤S5.1： 使用步骤S3中得到的损失对于模型参数的梯度 并对梯 度进行处 理得到归一 化的梯度v＝γ| |w||22g/||g||22； 步骤S5.2： 把归一化梯度v加到模型参数w上， 得到最坏情况下的模型参数w+v， 即对模 型参数进行一次梯度上升； 步骤S5.3： 在步骤S4得到损失函数之后， 通过反向传播进行随机梯度下降； 步骤S5.4： 在更新模型参数之后， 再减去步骤S5.1增 加的参数v， 得到最小平坦损失。 6.根据权利要求1所述的基于单步迭代的通用鲁棒分类器训练方法， 其特征在于， 所述 图像融合增强FreqMask模块基于频域采样； 所述图像融合增强FreqMask模块用于增强训练 样本之间的融合； 所述的线性程度指示器用于控制训练过程中损失优化的方向； 所述的平 坦损失优化器防止模型陷入局部最小值。 7.一种基于单步迭代的通用鲁棒分类器训练系统， 其特征在于， 所述系统包括如下模 块： 模块M1： 初始化卷积骨干网络和优化器； 模块M2： 从训练数据集中采样若干个样本送入图像融合增强FreqMask模块， 生成增强 样本； 模块M3： 固定骨干网络参数， 把增强样本送入骨干网络进行反向传播， 生成对抗样本； 模块M4： 把对抗样本再次送入骨干网络， 根据线性 程度指示器调整总体对抗损失； 模块M5： 总损失对网络参数求导， 得到梯度后进行反向传播， 平坦损失优化器更新参 数； 模块M6： 重复调用模块M2 ‑模块M5， 直到损失函数收敛， 获得鲁棒模型。 8.根据权利要求7所述的基于单步迭代的通用鲁棒分类器训练系统， 其特征在于， 所述 模块M2包括如下模块： 模块M2.1： 随机从训练集中采样两个样本， 记为(xa， ya)， (xb， yb)， 其中x表示图像数据， y 表示对应的标签， x的形状为H ×W； 模块M2.2： 初始化一个H行W列的从 ‑1到1之间的均匀采样的随机频谱矩阵f， 对于矩阵f 中(i， j)位置， 乘以一个调整系数1/dα， d为位置(i， j)到矩阵中心的欧式距离， 即d＝(i ‑H/ 2)2+(j‑W/2)2； α 为预先选择的距离 衰减系数； 模块M2.3： 频域矩阵f进行傅里叶平移使得低频 区域从频谱中心移到频谱四个角， 再对 中心化频谱进行 快速傅里叶逆变换， 得到空域矩阵s； 模块M2.4： 对空域矩阵s进行二值化处理得到图像掩码m， 并计算图像掩码m中值为1的权　利　要　求　书 2/3 页 3 CN 115375947 A 3