(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210881345.7 (22)申请日 2022.07.26 (71)申请人 湖北马斯特谱科技有限公司 地址 436044 湖北省鄂州市梧桐湖新区凤 凰大道特1号华中科技大学鄂州工业 技术研究院S407室 (72)发明人 莫益军　涂芯诰　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 刘杰 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向资源受限设备的轻量级目标检测系统 及其构建方法 (57)摘要 本发明涉及目标检测技术领域， 具体提出了 一种面向资源受限设备的轻量级目标检测系统 及其构建方法。 系统包括算子选择模块、 模型设 计模块、 性能增强模块和适配搜索模块。 构建方 法包括步骤： 基于资源受限设备， 选取性能良好 的算子； 基于选取的算子， 设计轻量级目标检测 模型； 设计训练策略和损失函数； 实现训练端的 算子向部署端的算子的适配。 本发 明的轻量级目 标检测系统， 充分考虑了资源受限设备的计算性 能、 内存限制和算子支持情况， 尽最大限度地利 用了有限的硬件资源， 降低了目标检测模型在这 些设备上的推理时延， 满足了实际应用场景下的 实时性需求。 权利要求书1页 说明书4页 附图2页 CN 115375962 A 2022.11.22 CN 115375962 A 1.一种面向资源受限设备的轻量级目标检测系统， 其特 征在于， 包括： 算子选择模块， 用于对选取的算子在目标部署平台上的推理时延进行测量和评估， 以 选取资源受限设备支持良好的算子； 模型设计模块， 用于设计轻量级目标检测模型， 所述模型包括特征提取网络、 特征融合 网络、 分类回归网络； 性能增强模块， 主要用于增强所述轻量级目标检测模型的检测性能， 包括设计的训练 策略和损失函数； 所述训练策略用于对轻量级模型进 行训练， 所述损失函数， 用于评估预测 值与真实值的差距并进行梯度回传； 适配搜索模块， 主 要用于实现训练端的算子向部署端的算子的适配。 2.根据权利要求1所述的面向资源受限设备的轻量级目标检测系统， 其特征在于， 所述 模型设计模块还 包括用于实现对所述轻量级目标检测模型的检测数据的增强。 3.一种根据权利要求1所述的面向资源受限设备的轻量级目标检测系统的构建方法， 其特征在于， 包括以下步骤： Ⅰ.基于资源受限设备， 选取性能良好的算子； Ⅱ.基于选取的算子， 设计轻量级目标检测模型； Ⅲ.设计训练策略和损失函数； Ⅳ.实现训练端的算子向部署端的算子的适配。 4.根据权利要求3所述的面向资源受限设备的轻量级目标检测系统的构建方法， 其特 征在于， 所述 步骤Ⅱ包括以下子步骤： Ⅱ‑1.设计结构 简单直通且参数量少的特 征提取网络； Ⅱ‑2.设计参数量少多尺度特 征融合的特 征融合网络； Ⅱ‑3.设计分类与回归 任务解耦进行的分类回归网络 。 5.根据权利要求4所述的面向资源受限设备的轻量级目标检测系统的构建方法， 其特 征在于， 所述 步骤Ⅱ还包括以下子步骤： Ⅱ‑4.使用数据增强方法扩充数据集， 弥补模型的目标检测性能。 6.根据权利要求5面向资源受限设备的轻量级目标检测系统 的构建方法， 其特征在于， 所述步骤Ⅲ所述的设计训练策略包括以下子步骤： Ⅲ‑1.设计训练轮数与数据增强方法开关策略； Ⅲ‑2.设计学习率的变化策略。权　利　要　求　书 1/1 页 2 CN 115375962 A 2面向资源受限设 备的轻量级目标 检测系统及其构建 方法 技术领域 [0001]本发明涉及目标检测技术领域， 具体涉及 一种面向资源受限设备的轻量级目标检 测系统及其构建方法。 背景技术 [0002]目标检测是计算机视觉和数字图像处理的一个重要方向， 广泛应用于机器人导 航、 智能视频监控、 工业检测等诸多领域， 通过计算机视觉减少对人力资本的消耗， 具有重 要的现实意义。 它 是图像处理和计算机视觉学科 的重要分支， 也是智能监控系统的核心部 分， 同时目标检测也是泛身份识别领域的一个基础性的算法， 对后续的人脸识别、 步态识 别、 人群计数、 实例分割等任务 起着至关重要的作用。 [0003]随着卷积神经网络 的发展， 目标检测技术有了巨大的进步。 基于卷积神经网络的 现代目标检测框架通常采用复杂的体系 结构来实现较好的检测性能。 然而， 这些计算量和 参数量巨大的高性能神经网络不适用于 资源受限设备， 如机器人、 智能手机、 人工智能芯片 等， 因为这些设备有着内存和计算能力的 限制。 为了满足资源受限场景的需要， 研究人员已 经提出了一些轻量级目标检测模型。 一些工作倾向于对原始的大模型进 行裁剪使其适配有 限的资源， 但是原模型在资源受限设备上部署的结构性问题仍然存在， 如过多的分支连接 结构、 部分算子支持较差和复杂的激活函数等。 另一些工作专注于将 高性能检测网络的标 准卷积分解为组卷积或深度可分离卷积以减少模型的参数量和计算量， 但是如人工智能芯 片这种着眼于工业应用的资源受限设备对标准卷积的支持最好， 组卷积或深度可分离卷积 需要使用标准卷积对其进行模拟， 会损害资源受限设备宝贵的计算 性能。 发明内容 [0004]本发明所要解决的技术问题是提供了一种面向资源受限设备的轻量级目标检测 系统及其构建方法， 在保证一定的模型大小和模型检测性能的情况下， 实现轻量级目标检 测模型在资源受限设备 上推理时延低的目标， 满足生产生活中实时性检测的需求。 [0005]为解决上述技术问题， 本发明首先提出了一种面向资源受限设备的轻量级目标检 测系统， 包括： [0006]算子选择模块， 用于对选取的算子在目标部署平台上的推理时延进行测量和评 估， 以选取资源受限设备支持良好的算子； [0007]模型设计模块， 用于设计轻量级目标检测模型， 所述模型包括特征提取网络、 特征 融合网络、 分类回归网络； [0008]性能增强模块， 主要用于增强所述轻量级 目标检测模型的检测性能， 包括设计的 训练策略和损失函数； 所述训练策略用于对轻量级模型进行训练， 所述损失函数， 用于评估 预测值与真实值的差距并进行梯度回传； [0009]适配搜索模块， 主 要用于实现训练端的算子向部署端的算子的适配。 [0010]进一步的， 所述模型设计模块还包括用于实现对所述轻量级目标检测模型的检测说　明　书 1/4 页 3 CN 115375962 A 3