(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221090262 2.8 (22)申请日 2022.07.29 (71)申请人 宁波大学 地址 315211 浙江省宁波市江北区风 华路 818号 (72)发明人 宋鹏程　郭立君　张荣　郭爱斌　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 袁波 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 多尺度特征融合及多种注意力结合的弱监 督异常检测方法 (57)摘要 本发明涉及一种多尺度特征融合及多种注 意力结合的弱监督异常检测方法， 通过将正常视 频和异常视频均分成T个视频片段， 通过I3D卷积 网络提取每个视频片段中的时空特征， 接着通过 有利于时空特征表达的多尺度特征融合网络从 时空特征中获取融合后的多尺度特征， 然后 在多 尺度特征的时序维度和通道维度分别加上多头 自注意力机制和通道注意力机制来实现视频片 段间的全局时间依赖性和不同通道特征上的信 息， 接着通过全 连接层输出每个视频片段的异常 分数， 最后， 根据输出的异常分数构建目标损失 函数， 从而使整个弱监督异常检测过程更容易收 敛到最优。 权利要求书2页 说明书9页 附图2页 CN 115439774 A 2022.12.06 CN 115439774 A 1.多尺度特 征融合及多种注意力结合的弱监 督异常检测方法， 其特 征在于， 包括： 步骤1、 采集训练视频集， 所述训练视频集包括 正常视频和异常视频； 步骤2、 将正常视频切分成含有T个互不重叠的视频片段的负包 将异常 视频切分成含有T个互不重叠的视频片段的正包 每个片段包含c帧连续画 面； 步骤3、 采用I3D卷积网络分别提取正包Vn和负包Va中每个视频片段的时空特征Xn和Xa； 并采用多尺度特征融合网络对正包Vn和负包Va中的时空特征Xn、 时空特征Xa分别进行特征 融合， 得到正包的多尺度特 征Yn和负包的多尺度特 征Ya； 步骤4、 采用多头自注意力机制分别在正包的多尺度特征Yn和负包的多尺度特征Ya中加 入注意力获得加入注意力机制的多尺度特 征Fn和Fa； 步骤5、 采用通道注意力机制分别对加入注意力机制的多尺度特征Fn和Fa进行降维、 升 维、 sigmoid函 数计算通道注意力权重以及给加入注意力机制的多尺度特征Fn和Fa每个通道 赋予权重后得到加入多种注意力机制的多尺度特 征Zn和Za； 步骤6、 采用一个全连接层网络对加入多种注意力机制的多尺度特征Zn和Za进行线性回 归， 并得到Vn和Va中每个片段的异常 分数包Sn和Sa； 步骤7、 根据异常 分数包Sn和Sa构建目标损失函数对步骤4至步骤6的参数进行优化。 2.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法， 其特征在于， 所述步骤3中采用多尺度特征融合网络对正包Vn和负包Va中的时空特征Xn、 时 空特征Xa分别进行 特征融合， 得到正包的多尺度特 征Yn和负包的多尺度特 征Ya具体包括： S301、 采用m个一维卷积核 分别对时空特征Xn、 时空特征Xa进行卷积操作， 一维卷积核的 大小为l， 其表达式分别为： Y1n＝conv1(Xn， l， m)； Y1a＝conv1(Xa， l， m)； 步骤302、 采用m个一维卷积核分别对时空特征Xn、 时空特征Xa再次进行卷积操作， 一维 卷积核的大小为 l′， 其表达式分别为： Y2n＝conv1(Xn， l′， m)； Y2a＝conv1(Xa， l′， m)； 步骤303、 步骤301卷积输出的特征和步骤302卷积输出的特征与 时空特征融合得到多 尺度特征， 其表达式分别为： Yn＝[Xn， Y1n， Y2n]； Ya＝[Xa， Y1a， Y2a]。 3.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法， 其特征在于， 所述步骤4中采用多头自注意力机制分别在正包的多尺度特征Yn和负包的多 尺度特征Ya中加入注意力获得加入注意力机制的多尺度特 征Fn和Fa具体包括： 步骤401、 采用一个全连接层将多尺度特 征Yn和Ya分别转化为共享矩阵Yn(c)和Ya(c)； 步骤402、 通过共享矩阵Yn(c)和Ya(c)分别生成qn、 kn、 vn和qa、 ka、 va， 计算公式为： qn＝WQYn(c)； kn＝WKYn(c)；权　利　要　求　书 1/2 页 2 CN 115439774 A 2vn＝WVYn(c)； qa＝WQYa(c)； ka＝WKYa(c)； va＝WVYa(c)； 式中， WQ、 WK、 WV为权重矩阵； 步骤403、 根据多头自注意力的头的数量， 将qn、 kn、 vn和qa、 ka、 va分割成 和 步骤404、 将 与 转置相乘， 接着采用softmax函数得到自注意力图Mn； 再将自注意力 图Mn与vn转置相乘得到自注意力矩阵qn(c)； 然后进行归一化操作得到多个特征on， 最后将多个特 征on连接起来得到多尺度特 征Fn； 同理， 将 和 转置相乘， 接着采用softmax函数得到 自注意力图Ma； 再将自注意力图 Ma与 转置相乘得到自注意力矩阵qa(c)； 然后进行归一化操作得到多个特征oa， 最后将多个特 征on连接起来得到多尺度特 征Fa。 4.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法， 其特征在于， 所述 步骤7中构建目标损失函数为： L＝Lrank+Lsparse+Lsmooth 式中， Lrank为排序损失函数， Lsmooth为平滑损失函数， Lsparse为改进的稀疏损失函数， 其 中： Lrank计算公式为： Lrank＝L(Sa)+L(Sn) 式中， 表示为正包中第i个异常 分数， 表示负包中第i个异常 分数； Lsmooth的计算公式为： Lsparse的计算公式为： Lsparse＝(mean(Sa)‑η )2， 式中， η为平均分参考值， mean(Sa)为正包 中异常分数的平均分。权　利　要　求　书 2/2 页 3 CN 115439774 A 3