(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221098945 6.X (22)申请日 2022.08.17 (71)申请人 中国农业大 学 地址 100193 北京市海淀区 圆明园西路2号 (72)发明人 马韫韬　束美艳　朱晋宇　郭焱　 李保国　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 周磊 (51)Int.Cl. G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 用于植株识别的网络模型和装置、 电子设备 (57)摘要 本发明涉及农业生产技术领域， 尤其涉及一 种用于植株识别的网络模型和装置、 电子设备。 网络模型用于提取多个不同尺度的第一植株特 征图， 对多个不同尺度的第一植株特征图所包括 的植株特征进行特征融合， 得到多个不同尺度的 第二植株特征图， 采用滑动窗口扫描第二植株特 征图， 得到包括植株特征信息的多个不同尺度的 预选框区域， 对多个不同尺度的预选框区域采用 双线性插值法进行处理， 得到多个尺度相同的第 三植株特征图； 对多个尺度相同的第三植株特征 图进行特征识别和分类， 得到包括植株特征的目 标特征图， 经过对比测试， 采用本申请的网络模 型提取的植株的目标特征图更加精确， 且特征信 息更加丰富， 有助于对作物 表型的研究。 权利要求书4页 说明书12页 附图10页 CN 115471745 A 2022.12.13 CN 115471745 A 1.一种用于植株识别的网络模型， 其特征在于， 包括： 第 一主干网络、 特征金字塔网络、 区域生成网络、 ROI对齐网络和头 部网络； 其中， 所述第一主干网络用于对输入的植株图像进行特征提取， 得到多个不同尺度的 第一植株特征图； 所述特征金字塔网络用于对所述多个不同尺度的第一植株特征图所包括的植株特征 进行特征融合， 得到多个不同尺度的第二 植株特征图； 所述区域生成网络用于采用滑动窗口扫描所述第 二植株特征图， 得到包括植株特征信 息的多个不同尺度的预选 框区域； 所述ROI对齐网络用于对所述多个不同尺度的预选框区域采用双线性插值法进行处 理， 得到多个尺度相同的第三 植株特征图； 所述头部网络用于对所述多个尺度相同的第 三植株特征图进行特征识别和分类， 得到 包括植株特征的目标 特征图。 2.根据权利要求1所述的用于农作物幼苗识别的网络模型， 其特征在于， 还包括： 第二 主干网络、 颈 部网络和预测网络； 所述第二主干网络用于对所述目标特征图进行中的叶片特征进行提取， 得到多个不同 尺度的第一叶片特 征图； 所述颈部网络用于对所述不同尺度的叶片特征图所包括的叶片特征进行特征融合， 得 到多个不同尺度的第二叶片特 征图； 所述预测网络用于对所述多个不同尺度的第 二叶片特征图进行统计分类， 获取植株的 叶片的个数， 并根据所述叶片的个数确定出植株的叶龄 。 3.根据权利要求1所述的用于农作物幼苗识别的网络模型， 其特征在于， 所述第 一主干 网络包括多个不同的维度的特 征提取单元， 多个特 征提取单元依次连接； 所述特征提取单元包括标记嵌入模块和Shuffle  Transformer  Block模块； 所述标记 嵌入模块用于调整输入的植株图像的维度， 所述Shuffle  Transformer模块用于对维度调 整后的植株图像进行 特征提取得到不同尺度的第一 植株特征图。 4.根据权利要求3所述的用于农作物幼苗识别的网络模型， 其特征在于， 所述Shuffle   Transformer  Block模块包括： 第一标准化模块、 WMSA模块、 第一近邻窗口连接模块、 第二标 准化模块、 第一多层感知机模块、 第三标准化模块、 Shuffle  WMSA模块、 第二近邻窗口连接 模块、 第三标准化模块和第二多层感知机模块， 所述第一标准化模块、 WMSA模块、 第一近邻 窗口连接模块、 第二标准化模块、 第一多层感知机模块、 第三标准化模块、 Shuffle  WMSA模 块、 第二近邻窗口连接模块、 第三标准 化模块和第二多层感知机模块依次连接； 所述第一标准化模块的输入端与 所述第一近邻窗口连接模块通过残差方式连接； 所述 WMSA模块的输出端与所述第二标准化模块的输入端通过残差方式连接； 所述第一近邻窗口 连接模块的输出端与所述第三标准化模块的输入端通过残差方式连接； 所述第一多层感知 机模块的输出端与所述第二近邻窗口连接模块的输入端 连接； 所述Shuffle  WMSA模块的输 出端与所述第三标准化模块的输入端连接； 所述第二近邻窗口连接模块的输出端与所述第 二多层感知机模块的输出端连接； 所述第一标准化模块、 第 二标准化模块和第 三标准化模块用于对输入的植株图像进行 归一化处理； 所述WMSA模块用于将归一化的植株图像划分成固定大小且不重叠的多个窗权　利　要　求　书 1/4 页 2 CN 115471745 A 2口， 并计算每个窗口的自注 意力； 所述Shuffle  WMSA模块用于强化目标空间信息； 所述第一 近邻窗口连接模块和 第二近邻窗口连接模块用于提升临近窗口的信息流动； 所述第一多层 感知机模块和第二多层感知机模块用于将提取的多个特征分别映射为植株特征和背景特 征。 5.根据权利要求2所述的用于农作物幼苗识别的网络模型， 其特征在于， 所述第 二主干 网络包括第一卷积模块、 第二卷积模块、 第三卷积模块、 第四卷积模块、 第五卷积模块、 注 意 力模块、 SPPF模块、 第一特征提取模块、 第二特征提取模块、 第三特征提取模块、 第四特征提 取模块； 所述第一卷积模块的输入端用于接收所述目标特征图， 第 一卷积模块的输出端与 所述 第二卷积模块的输入端连接， 第二卷积模块的输出端与所述第一特征提取模块的输入端连 接， 第一特征提取模块的输出端与所述第三卷积模块的输入端连接， 第三卷积模块的输出 端与所述第二特征提取模块的输入端连接， 所述第二特征提取模块的输出端与所述第四卷 积模块的输入端连接， 第四卷积模块的输出端与所述第三特征提取模块的输入端连接， 第 三特征提取模块的输出端与所述第五卷积模块的输入端连接， 第五卷积模块的输出端与所 述第四特征提取模块的输入端， 所述第四特征提取模块的输出端与所述注意力模块的输入 端连接， 所述注意力模块的输出端与所述S PPF模块的输入端连接； 所述第一特征提取模块、 第二特征提取模块、 第三特征提取模块以及SPPF模块的输出 端用于输出四组不同尺度的第一叶片特 征图。 6.根据权利要求5所述的用于农作物幼苗识别的网络模型， 其特征在于， 所述颈部网络 包括： 第一融合模块、 第二融合模块、 第三融合模块、 第四融合模块、 第五融合模块、 第六融 合模块、 第五特征提取模块、 第六特征提取模块、 第七特征提取模块、 第八特征提取模块、 第 九特征提取模块、 第十特征提取模块、 第六卷积模块、 第七 卷积模块、 第八卷积模块、 第九卷 积模块、 第十卷积模块、 第十一卷积模块、 第一上采样模块、 第二上采样模块、 第三上采样模 块； 所述第一融合模块的输入端与所述第 一特征提取模块的输出端连接， 第 一融合模块的 输出端与所述第五特征提取模块的输入端连接， 第五特征提取模块的输出端与所述预测网 络的输入端连接； 所述第二融合模块的输入端与所述第 二特征提取模块的输出端连接， 第 二融合模块的 输出端与所述第六特征提取模块的输入端连接， 第六特征提取模块的输出端与所述第七卷 积模块的输入端连接， 第七卷积模块的输出端与所述第三融合模块的输入端连接， 第三融 合模块的输出端与所述第七特征提取模块的输入端连接， 第七特征提取模块的输出端与所 述预测网络的输入端连接； 所述第一上采样模块的输入端与 所述第七卷积模块的输出端连接， 该第 一上采样模块 的输出端与所述第一融合模块的输入端连接； 所述第六卷积模块的输入端与所述第五特征 提取模块的输出端连接， 第六 卷积模块的输出端与所述第三融合模块的输入端连接； 所述第四融合模块的输入端与所述第 三特征提取模块的输出端连接， 第四融合模块的 输出端与所述第八特征提取模块的输入端连接， 第八特征提取模块的输出端与所述第九卷 积模块的输入端连接， 第九卷积模块的输出端与所述第 五融合模块的输入端连接， 第 五融 合模块的输出端与所述第九特征提取模块的输入端连接， 第九特征提取模块的输出端与所权　利　要　求　书 2/4 页 3 CN 115471745 A 3