(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210918858.0 (22)申请日 2022.07.31 (71)申请人 哈尔滨工业大 学 （威海） 地址 264200 山东省威海市文化西路2号 (72)发明人 刘雪云　钟诗胜　付旭云　孙聪　 (74)专利代理 机构 威海科星专利事务所 37202 专利代理师 初姣姣 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 适用于小样本条件的叶片损伤 识别方法 (57)摘要 本发明涉及一种适用于小样本条件的叶片 损伤识别方法， 提出了基于Mask  R‑CNN的分层混 合检测网络结构组成、 损失函数分析、 训练以及 预测流程。 针对尺寸较小、 出现频率较低、 容易被 忽略的对象(即损伤)， 采取低IoU阈值分类与高 IoU阈值目标分割训练， 低置信度分类与高置信 度目标分割混合识别策略， 以获得更全面的检测 结果。 采取通过图像处理办法扩充样本数据集、 输入端数据增强、 引用COCO预训练权重、 迁移学 习等方法提高了损伤 图像小样本训练的收敛速 度和准确度。 权利要求书4页 说明书14页 附图11页 CN 115457551 A 2022.12.09 CN 115457551 A 1.一种适用于小样本条件的叶片损伤 识别方法， 其特 征在于， 包括以下步骤： 步骤1： 建立基于Mask  R‑CNN的分层混合检测网络模型， 包括用于提取输入图像多尺度 特征的特征提取网络， 由深度残差网络提取并输出各阶特征图， 然后通过特征金字塔对其 进行融合， 输出5层不同大小的融合特征图， 并对每层特征图的每个像素点生成不同尺寸比 例锚选区域； 然后将各层特征图和对应的锚选框输入区域候选网络， 通过前景、 背 景的二分 类、 回归， 得到锚选区域的前景置信度和坐标， 对其进 行筛选， 得到并输出ROI； 接下来， 通过 ROIAlign对RPN层输出的ROI进行池化， 得到固定大小的子特征图， 用作分类任务、 回归任务 和分割任务； 最后是分层混合检测分支， ROIAlign输出的子特征图与特征图一起通过低IOU 阈值目标检测器进行分类和回归， 识别可能为损伤的区域， 同时ROIAlign输出的子特征图 与特征图一起作为输入通过高IOU阈值 目标检测器进行分类和回归， 得到置信度较高的对 象的类别和识别框， 最后通过Mask分支对每一类目标进行语义分割， 得到目标的具体 轮廓； 步骤2： 对 模型进行训练之前， 需要对数据集进行样本扩充和数据增强； 步骤3： 对 模型进行训练， 并采用迁移学习策略， 提高小样本学习的收敛速度和准确度。 2.根据权利要求1所述的一种适用于小样本条件的叶片损伤识别方法， 其特征在于， 步 骤1中， 特征提取网络首先通过残差网络ResNet ‑101提取输入图像的五层卷积特征C1, C2,...,C5， 每层特征图都具有不同的尺度， 包含不同程度的语义信息， 通 过拟合残差f(x)＝ H(x)‑x替代拟合H(x)， 最终输出H(x)由残差与输入的和f(x)+x计算， 当网络层数加深， 残差 f(x)逐渐趋向于零， 输入与输出相同， 网络性能不会降低， 解决了退化问题， 提高深层网络 的性能， 收敛快， 易优化， 通 过FPN金字塔网络对 C2,...,C5四层特征进行融合， 充分利用各层 特征， 使得最终输出的各层特 征图同时具有较强轮廓特 征和丰富语义信息， 具有鲁棒 性能； 由于各层特征图对输入图像的感受野不同， 具有不同的尺寸， 因此无法直接相加融合， 首先通过最邻近法二倍上采样将高层特征图尺寸与低层特征图相统一， 然后通过1 ×1卷积 核使得低层特征通道数与高层特征相同， 具有相同通道数和相同尺寸的特征图相加融合得 到特征图M2,...,M5， 并通过3×3的卷积核去除混叠效应， 得到P2,...,P5。 通过对P5最大池化 得到P6。 自上而下的采样和横向连接的叠加融合方式如下： 首先对第五层特征C5通过1×1和3× 3卷积核得到P5： P5＝Conv3(Conv1(C5))    (1) 式中Conv1为1 ×1卷积， Conv3为3 ×3卷积。 通过步长为2的最大池化， 可以在的P5基础上 得到P6。 P6包含的语义信息更加丰富， 与 此同时， 分辨率更低， 轮廓和位置信 息丢失更加严， 在大目标的检测中具有更好的表现， 对于较小的目标， 往 往检测效果较差 。 P2， P3， P4由C2， C3， C4通过1×1卷积与高层通道数匹配后与高层特征上采样进行结合， 再 通过3×3卷积获得： 其中i∈[2,4]， UpSampl ing2为最邻近法二 倍上采样， 像素相加。 其中P2‑P6用于进行RPN网络的训练， 而P2‑P5用于进行分类、 回归和分割的预测。 在RPN网络之前， 由锚选框生成器在特征图P2， P3， P4， P5(训练的时候包含P6， 预测的时候 不包含P6)上分别生成锚选框， 根据各层特征图感受野的大小不同， 在每个特征图的每个特 征点上生成面积相同(方形边长分别为32、 64、 128、 256、 512)， 长宽比例分别为0.5、 1、 2的三权　利　要　求　书 1/4 页 2 CN 115457551 A 2个锚选框， 对应到原图上共有15种不同的大小比例不同的框。 以P2层为例， scale值为32， 特 征图尺寸为256 ×256， 步长为4， 因此在每个像素点上生成45.254834 ×22.627417、 32 ×32、 22.627417 ×45.254834三种尺寸的框， 该特征图上共生成2 56×256×3＝196608个框， 五层 共生成196 608+49152+12 288+3072+768＝2618 88个锚选框； RPN网络对上一步生成的众多锚选框进行筛选， 移除无效的边框， 并对其进行分类和回 归， 得到每个锚选框的前景置信度和背景置信度以及四个坐标值， 生成候选ROI区域。 然后 通过ProposalLayer层根据RPN层回归的box坐标对ROI的位置和尺 寸进行精确调整， 根据其 前景置信度进 行排序， 找到评 分最高的2000个ROI并通过非最大值抑制去掉重复的框， 得到 最后的候选区域。 RPN在特征图Pi产生ROI的过程， 可由式(3)表示： 其中RPN表示区域候选网络对各尺度特征Fi和锚选框的处理过程。 根据分类得到的候选 框前景置信度排名选取前M个， 然后通过NMS(非极大值抑制)去除重复区域得到RoI输出。 如 式(4)所示： 具体过程如式(5)、 (6)和(7)所示： 式中， B1和B2为Box0.5和Box0.6检测分支对RPN层输出的匹配和偏移计算修正过程， Mp 表示Mask分支对正样本的过滤操作。 RolBox1、 RolBox2和RolMask分别为Box0.5、 Box0.6和Mask 分支中Propo salLayer层对RPN层输 出进行筛选优化生成的ROI。 Align表示RoI ‑Align池化。 在区域候选网络进行前景与背景粗略划分 的基础上， Box0.5分支对ROI特征进行了低置信 度的分类回归， Box0.6 分支对ROI特征进行了高置信度的分类回归， 最后环节 为边框回归和 剔除相似框的非极大值抑制， 如式(8)和(9)所示： PB1＝Box1(FBox1)       (8) PB2＝Box2(FBox2)                       (9) 其中， Box1和Box2分别为Box0.5分支和Box0.6分支在上一步得到的结果。 Mask在 Box0.6分支的结果上， 根据预测的类别， 进行语义分割， 生成待检测目标的二值Mask掩码， 如式(10)所示：权　利　要　求　书 2/4 页 3 CN 115457551 A 3