(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210946678.3 (22)申请日 2022.08.09 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路2号 (72)发明人 方乐缘　欧阳立韩 　 (74)专利代理 机构 长沙永星专利商标事务所 (普通合伙) 43001 专利代理师 周咏　米中业 (51)Int.Cl. G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于神经网络的厨余垃圾检测方法 (57)摘要 本发明公开了一种基于神经网络的厨余垃 圾检测方法， 包括获取已经进行标注后的厨余垃 圾图像数据集并增强； 基于Transformer神经网 络和原型对比学习算法构建厨余垃圾检测初始 模型并训练得到厨余垃圾检测模 型； 采用厨余垃 圾检测模型进行实际的厨余垃圾检测。 本发明具 有较强的实际应用价值； 通过引入原型对比学 习， 在模型学习分类任务和回归任务的同时学习 类别原型特征， 增大异类原型和样本特征间距， 减小同类原型和样本特征间距， 使网络能够提取 更具有区分意义的类别特征； 在类别原型学习的 基础上， 通过损失函数监督增大类别原型间距， 使模型能够学习到更优的类别原型， 提升生活厨 余垃圾检测精度； 而 且可靠性高、 精确性 好。 权利要求书3页 说明书7页 附图2页 CN 115205521 A 2022.10.18 CN 115205521 A 1.一种基于神经网络的厨余垃圾检测方法， 其特 征在于包括如下步骤： S1. 获取已经进行 标注后的厨余垃圾图像数据集； S2. 对步骤S1 获取的数据集进行 数据增强； S3. 基于Transformer神经网络和原型对比学习算法， 构建厨余垃圾检测初始模型； S4. 采用步骤S2得到的增强后的数据集， 对步骤S3构 建的厨余垃圾检测初始模型进行 训练， 得到厨余垃圾检测模型； S5. 采用步骤S4得到的厨余垃圾检测模型， 进行实际的厨余垃圾检测。 2.根据权利要求1所述的基于神经网络的厨余垃圾检测方法， 其特征在于步骤S1所述 的已经进行标注后的厨余垃圾图像数据集， 具体为将厨余垃圾标记为硬塑料、 玻璃、 利乐 宝、 塑料瓶、 金属、 规则软塑料或无规则软塑料； 步骤S2所述的对步骤S1 获取的数据集进行 数据增强， 具体包括如下步骤： 首先， 读取数据集中的图像； 然后， 采用双线性插值 算法将图像的大小调整到设定的大小值； 接下来， 将统一大小的图像随机按照横轴、 纵轴或对角线进行翻转， 翻转概率依次为 0.25、 0.25和0.25； 最后， 将得到的图像按照设定的均值和方差进行图像归一化操作， 从而得到最终的厨 余垃圾图像训练数据集。 3.根据权利要求2所述的基于神经网络的厨余垃圾检测方法， 其特征在于步骤S3所述 的厨余垃圾检测初始模型， 具体为首先采用Tr ansformer神经网络提取厨余垃圾图像中的 特征， 然后对得到的特征进行融合并进行正负样本采样， 接下来对得到的样本进行级联和 分类， 最后采用增强了原型间距的原型对比学习算法对分类结果进行分类结果进行修正， 从而完成厨余垃圾检测。 4.根据权利要求3所述的基于神经网络的厨余垃圾检测方法， 其特征在于所述的步骤 S3， 具体包括如下步骤： A. 采用Transformer神经网络提取厨余垃圾图像的特 征； B. 对步骤A提取的特征进行融合得到多层特征， 采用卷积网络进行处理生成对应的目 标候选框和分类结果， 并进行正负 样本采样； C. 对步骤B采样的样本进行级联操作， 修 正候选框位置并对样本进行分类； D. 采用增强了原型间距 的原型对比学习算法对分类结果进行修正， 从而完成厨余垃 圾检测。 5.根据权利要求4所述的基于神经网络的厨余垃圾检测方法， 其特征在于所述的步骤 A， 具体包括如下步骤： 采用构建的Transformer神经网络提取厨余垃圾图像的特征； 构建的Transformer神经 网络包括依次串接的图像切分模层、 第一特征提取层、 第二特征提取层、 第三特征提取层和 第四特征提取层； 图像切分模层用于对输入的图像进 行分块； 第一特征提取层包括 1层镶嵌 模层和2个SwinTransformer 块， 用于浅层特征提取； 第二特征提取层包括1层图像切分模层 和2个SwinTransformer块， 用于浅层特征提取； 第三特征提取层包括1层图像切分模层和6 个SwinTransformer块， 用于深层特征提取； 第 四特征提取层包括1层图像切分模层和2个 SwinTran sformer块， 用于深层特征提取； 每一个SwinTran sformer块均包括4层归一化层、 2权　利　要　求　书 1/3 页 2 CN 115205521 A 2个多层感知机模块、 1个窗口多头自注意力模块和1个移位窗口多头自注意力模块。 6.根据权利要求5所述的基于神经网络的厨余垃圾检测方法， 其特征在于所述的步骤 B， 具体包括如下步骤： B1. 构建金字塔特征融合模块， 将步骤A中每个层输出的特征均与上阶段输出的特征 进行融合， 从而得到第 i层输出的多层特 征Fi； B2. 构建候选框生成网络， 将步骤B1得到的多层特征 Fi输入到候选框生成网络， 从而得 到可能包含垃圾目标的候选框 Bp和分类结果 Cp； 所述的候选框 生成网络包括依次串联的1个 3×3卷积层和2个1 ×1卷积层； B3. 根据真实边界框、 类别标签和步骤B2 得到的候选框 Bp、 分类结果 Cp， 构建损失函数， 并在训练时采用梯度下降法更新网络参数； B4. 采用感兴趣区域对齐模块和候选 框Bp， 进行多层特 征Fi的对齐； B5. 采用样本提取模块， 按照设定的正负样本比例提取对齐后的样本特征； 其中正样 本定义为候选框与真实边界框的交并比大于第一设定值， 负样本定义为候选框与真实边界 框的交并比小于第二设定值， 且第二设定值小于第一设定值。 7.根据权利要求6所述的基于神经网络的厨余垃圾检测方法， 其特征在于步骤B3所述 的构建损失函数， 具体包括如下步骤： 采用如下算式作为损失函数 Lrpn： 式中Lrpnreg为回归损失函数， 且 ，x为回归损失函数 Lrpnreg 的自变量 ， 表示候选框 Bp与真实边界框 B的 差 ；Lr p n c l s为分类损失函数 ， 且 ，N为样本总量， 为样本i为正 样本的概 率，yi为二值函数， 若样本 i为正样本则 ， 若样本i为负样本则 。 8.根据权利要求7所述的基于神经网络的厨余垃圾检测方法， 其特征在于所述的步骤 C， 具体包括如下步骤： 将样本输入到三个依次串接的全连接层， 得到第 一阶段回归结果 B1和第一阶段分类结 果C1； 然后， 根据第一阶段回归 结果B1与真实边界框B， 计算回归损失函数； 根据第一阶段分 类结果C1和真实类别标签C， 计算分类损失函数； 并在训练时采用梯度下 降法更新网络参 数； 采用第一阶段回归结果 B1和多层特 征Fi， 重新提取正负 样本； 对步骤 （2） 提取的正负样本， 再次输入到三个依次串接的全连接层， 得到第二阶段回归 结果B2和第二阶段分类结果 C2； 然后， 根据第二阶段回归结果 B2与真实边界框B， 计算回归 损失函数； 根据第二阶段分类结果 C2和真实类别标签C， 计算分类损失函数； 并在训练时采 用梯度下降法更新网络参数。 9.根据权利要求8所述的基于神经网络的厨余垃圾检测方法， 其特征在于所述的步骤 D， 具体包括如下步骤：权　利　要　求　书 2/3 页 3 CN 115205521 A 3