(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211082323.0 (22)申请日 2022.09.02 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市学源街258号中 国计量大 学 (72)发明人 翁佳成　张新娜　项雄标　 (51)Int.Cl. G06V 30/22(2022.01) G06V 30/244(2022.01) G06V 30/412(2022.01) G06V 30/146(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 30/148(2022.01) G06V 30/19(2022.01) (54)发明名称 基于改进Faster-RCN N的手写数字 检测方法 (57)摘要 本发明提出了一种基于改进Faster ‑RCNN的 手写数字检测方法， 所述方法包括： S1， 获取手写 数字字符串图像数据集； S2， 制作Faster ‑RCNN模 型的数据集， 具体以PASCAL  VOC2012的标准格式 为模板； S3， 搭建Faster ‑RCNN网络模型， 通过综 合研判手写数字字符串特性， 对网络模型进行优 化处理； S4， 将训练集和测试集的手写数字字符 串数据加载到改进后的Faster ‑RCNN网络进行训 练， 并保存训练好的网络； S5， 输入测试图像， 利 用训练好的改进Faster ‑RCNN模型进行手写数字 识别检测。 本发明引用Faster ‑RCNN模型并对手 写数字检测过程中的困难样本， 采用多种方法进 行改进， 解决手写数字因手写数字字符串字体风 格多变、 字符粘 连等问题导致识别准确率低与可 靠性差的问题。 权利要求书2页 说明书4页 附图1页 CN 115424280 A 2022.12.02 CN 115424280 A 1.基于改进Faster ‑RCNN的手写数字检测方法， 其特 征在于， 包括以下步骤： S1： 获取手写数字 字符串图像数据集； S2： 制作Faster ‑RCNN模型的数据集， 具体以PASCALVOC2012的标准格式为模板； S3： 搭建Faster ‑RCNN网络模型， 通过综合研判手写数字字符串特性， 对网络模型进行 优化处理； S4： 将训练集和测试集的手写数字字符串数据加载到改进后的Faster ‑RCNN网络进行 训练， 并保存训练好的网络； S5： 输入测试图像， 利用训练好的改进Faster ‑RCNN模型进行手写数字识别检测。 2.根据权利1中所述基于改进Faster ‑RCNN的手写数字检测方法， 其特征在于， 步骤S1 具体包括： 步骤S11： 通过制定15行12列的纸质表格， 并将该表格随机分派至100人手中， 每人要求 填写1位数、 2位数、 3位数与4 位数， 每种类型的数字需要填写45个； 步骤S12： 获取拍摄的纸质表格图像； 步骤S13： 将包 含手写数字的表格框从表格图像中裁 剪出来并标号， 并制作成数据集。 3.根据权利1中所述基于改进Faster ‑RCNN的手写数字检测方法， 其特征在于， 步骤S2 具体包括： 步骤S21： 制作数据集样本， 并按比例划分为训练数据集与测试 数据集； 步骤S22： 利用标注工具labelImg获取 图像数据集样本 的图片名称、 数字类别、 数字的 左上角坐标、 右下角坐标， 并按照PASCAL  VOC2012数据集Annotations文件中的xml格式制 作成xml文件； 步骤S23： 通过数据集样本， 并按比例划分为训练数据集与测试数据集， 并生成对应的 训练集train.txt文件和 测试集val.txt文件。 4.根据权利1中所述基于改进Faster ‑RCNN的手写数字检测方法， 其特征在于， 步骤S3 具体包括： 步骤S31： 以pytorch为网络框架， 对Faster ‑RCNN网络模型进行搭建， 采用残差网络 ResNet50与特征金字塔FPN相结合作为网络主干； 步骤S32： 图像输入网络主干生成多尺度融合特征图， 使用目标区域推荐网络RPN生成 候选框， 将生成的候选 框投影到特 征图上， 获得 特征矩阵； 步骤S33： 利用双线性插值方法， 将每 个特征矩阵连接Ro IAlign， 生成7*7的特 征图； 步骤S34： 通过将候选框特征图展平和全连接层操作， 计算出候选框的类别， 并利用边 界框回归获得目标精确位置 。 5.根据权利1中所述基于改进Faster ‑RCNN的手写数字检测方法， 其特征在于， 步骤S4 具体包括： 步骤S41： 根据数据集样本类别， 设置Faster ‑RCNN训练模型的类别标签； 步骤S42： 设置模型训练参数配置， 包括迭代次数、 步长和学习率 等相关参数； 步骤S43： 利用ImageNet预训练分类模型， 初始化前置卷积网络层参数， 并开始单独训 练RPN网络参数； 步骤S44： 固定RPN网路独有的卷积层以及全连接层参数， 并通过ImageNet预训练分类 模型初始化前置卷积网络参数， 利用RPN网络生成目标建议框去训练Fast ‑RCNN网络参数；权　利　要　求　书 1/2 页 2 CN 115424280 A 2步骤S45： 固定Fast ‑RCNN训练好的前置卷积网络层参数， 去微调RPN网络独有的卷积层 以及全连接层； 步骤S46： 保持固定前置卷积网络层参数， 去微调Fast ‑RCNN网络的全连接层参数， 使得 RPN网络与Fast ‑RCNN网络共享前置卷积网络层参数， 构成一个统一网络； 步骤S47： 将训练好的Faster ‑RCNN网络模型保存好。 6.根据权利1中所述基于改进Faster ‑RCNN的手写数字检测方法， 其特征在于， 步骤S5 具体包括： 步骤S51： 输入测试图像， 并调整图像大小至指定范围； 步骤S52： 将调整后的图像输入残差网络ResNet50与特征金字塔FPN组成的网络主干， 生成多尺度融合的特 征图； 步骤S53： 将特征图输入目标区域推荐网络RPN， 生成的候选框投影到特征图上， 获得特 征矩阵； 步骤S54： 利用双线性插值方法， 将每 个特征矩阵连接Ro IAlign， 生成7*7的特 征图； 步骤S55： 通过将候选框特征图展平和全连接层操作， 计算出候选框的类别， 并利用边 界框回归获得目标精确位置 。权　利　要　求　书 2/2 页 3 CN 115424280 A 3