(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933090.4 (22)申请日 2022.08.04 (71)申请人 艾迪恩 （山 东） 科技有限公司 地址 264000 山东省烟台市芝罘区港城西 大街69号B座6楼 申请人 西南交通大 学烟台新 一代信息技 术 研究院 (72)发明人 姚涛　张瑞星　贺文伟　闫连山　 蒲桂东　 (74)专利代理 机构 烟台双联专利事务所(普通 合伙) 37225 专利代理师 矫智兰 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的特征点检测网络及跨分辨 率图像匹配方法 (57)摘要 本发明公开了一种基于深度学习的特征点 检测网络及跨分辨率图像匹配方法， 通过模型适 应技术采用自监督的方式打破传统神经网络对 人工标注的依赖， 首先从无标注数据集中构建特 征点伪标签， 建立网络模型利用伪标签进行有监 督的学习， 再利用学习后的网络模型更新伪标 签， 通过网络模型训练和标签更新的多次迭代， 自适应得到高质量的标签和 高性能的特征点检 测网络模型， 然后利用训练好的网络模 型检测到 的特征点和描述符计算图像的焦距比例和位置 对映关系， 然后自适应缩放图像来实现跨尺度图 像匹配， 匹配方法具有更高的灵活性， 可 以解决 不同分辨率图像的匹配问题， 即使跨8倍焦距的 图像也可以实现很好的图像匹配 。 权利要求书4页 说明书8页 附图5页 CN 115439669 A 2022.12.06 CN 115439669 A 1.一种基于深度学习的特 征点检测网络， 其特 征在于， 包括以下步骤： 步骤1， 从无 标注数据集中， 对真实场景图像数据进行 预处理， 生成伪实况 特征点； 步骤1.1， 使用SuperPoint预训练模型结合单应性技术对真实场景 图像数据集进行自 动标注特 征点标签， 生成特 征点标签集 为label1； 步骤1.2， 使用deepFEPE预训练模型结合单应性技术对真实场景图像数据集进行自动 标注特征点标签， 生成特 征点标签集 为label2； 步骤1.3， 使用模型适应技术对特征点标签集l abel1和label2进行处理， 生成特征点标 签集label， 并将其作为基准标签集； 其中ε取3， 即将对应点坐标误差限制在3个像素范围， 当Sup erPoint模型检测的准标签 点在deepFEPE模型检测的标签点内有在误差范围内的特 征点时， 将此点做为基准标签点； 步骤2， 构建基于非对称卷积的特 征点检测 和描述网络ACPo int； 步骤2.1， 使用一个共享的非对称卷积编码器、 特征点解码器和描述符解码器组成 ACPoint网络； 步骤2.2， 非对称卷积编码器采用VGG风格的网络结构， 具有8个大小为64 ‑64‑64‑64‑ 128‑128‑128‑128的非对称卷积模块ACB， 分为四组， 分别 命名为ACB1、 ACB2、 ACB3、 ACB4， 非 对称卷积 模块采用3 3、 3 1、 1 3三个并行卷积分支同时来学习特征信息， 每个分支后都有 BN层来进行批归一化， 每间隔两层ACB模块采用并列的最大池化层和平均池化层来降低图 像维度， 池化层的窗口大小为2， 步长为2； 步骤2.3， 解码器重构来自潜在表征空间的输入， 特征点解码器和描述符解码器头部都 有一个 256 单元的ACB模块， 然后是一个  1 1 卷积层， 其中特征点解码器部分的ACB模块 有 65 个单元， 命名为ACB5， 描述符解码器部分的ACB模块具有25 6 个单元， 命名为ACB6； 步骤3， 利用步骤1中的基准标签集作为 监督信息， 对ACPo int网络进行自监 督学习； 步骤3.1， 训练过程中为提高网络对光照和视角变换的鲁棒性， 使用随机高斯噪声、 运 动模糊、 亮度调整等标准数据增强技 术； 步骤3.2， 所有训练均采用小批量为16， 采用  Pytorch深度学习框架和默认参数为lr  =  0.0001 和 β = (0.9, 0.999) 的 ADAMW 求解器完成； 步骤4， 在训练阶段， 对于每一个输入的特征图采用步骤2中的ACB模块 （ACB1 ‑6） 来学得 更多的特 征信息； 步骤4.1， 训练过程中为了使模型检测的特征点能够稀疏且均匀， 采用非极大值抑制 NMS来抑制局 部范围内不是极大值的元素， 取NMS值为4， 保证每个特征点以自身为中心的9 9像素范围内不会有别的特 征点； 步骤5， 在推理阶段， 将步骤2中的ACB模块 （ACB1 ‑6） 的三个卷积核进行融合， 提升方形 卷积对局部特 征的表征能力； 步骤5.1， 对于步骤2中的ACB模块 （ACB1 ‑6） 的每个分支， 首先将批量归一化层的参数等 效地融合到卷积核和一个偏 差项， 然后 将融合核和偏 差项相加以获得单层； 训练过程中， BN 层学习一个批次输入特征中所有元素 的均值 和方差 ， 然后对输入元素减去均值除以权　利　要　求　书 1/4 页 2 CN 115439669 A 2标准差， 最后利用可学习参数 和 进行仿射变换来实现平移和缩放处理； 训练结束后， 卷 积核的参数和BN层的参数固定下来， BN层是对输入特征图的每一个像素点归一化后的线性 变换， 并且变换的参数相同； BN层的参数由以下公式表示： 将卷积层的公式 带入BN层： 令 则有 步骤5.2， 随后根据1 3和3 1卷积映射到3 3卷积的位置做相应的权重参数累加， 全部 卷积核融合完成后将原有的多余卷积核删掉； 是均值， 是方差， 是学习得到的缩放因子， 是偏置项， 是融合后的三维卷积 核, 是偏置； 步骤6， 使用经过步骤1 ‑5训练好的ACPoint网络模型， 再重新对真实场景图像数据 集生 成标签， 并重复步骤1通过模型适应技术来迭代更新伪标签， 不断提升标签的准确性， 重复 步骤3‑5以更新后的标签重新进行训练； 最后得到基于非对称卷积的特征点检测和描述网 络ACPoint。 2.根据权利要求1所述的一种基于深度学习的特征点检测网络， 其特征在于， ACPoint 网络最终的损失包括两部分损失： 特征点解码器损失 ， 描述符解码器损失 ； 训练过程中 对于给定的一张输入图像， 首先随机生成单应性实况 ， 并使用 生成对应的扭曲图像和扭 曲图像的伪实况特征点标签； 使用成对的合成扭曲 图像， 来同时优化两部 分损失， 最 终损失 如下所示：权　利　要　求　书 2/4 页 3 CN 115439669 A 3