(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211004903.8 (22)申请日 2022.08.22 (71)申请人 中国矿业大 学 地址 221000 江苏省徐州市南郊翟山 (72)发明人 程德强　徐帅　寇旗旗　徐飞翔　 王晓艺　韩成功　张皓翔　吕晨　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 俞晓梅 (51)Int.Cl. G06T 7/50(2017.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于细粒度多特征融合的矿井图像无监督 单目深度估计方法 (57)摘要 本发明提供一种基于细粒度多特征融合的 矿井图像无监督单目深度估计方法， 包括以下步 骤： 步骤1： 对原图多次采样， 将不同尺度的图像 输入到编码器网络； 步骤2： 将编码器的输 出通过 扩展卷积模块进行融合并输入到解码器网络； 步 骤3： 将解码器网络输出的视差图进行多尺度融 合； 步骤4： 重建视图； 通过采用多尺度图像输入 到网络， 同时将解码器输出的视差图进行逐层的 尺度融合， 加强弱纹理区域的深度估计效果， 并 且增加中间扩展卷积模块， 加大对全局信息的理 解。 权利要求书2页 说明书6页 附图3页 CN 115115686 A 2022.09.27 CN 115115686 A 1.基于细粒度多特征融合的矿井图像无监督单目深度估计方法， 其特征在于： 包括以 下步骤： 步骤1： 对原图多次采样， 将不同尺度的图像输入到编码器网络； 步骤2： 将编码器的输出通过扩展卷积模块进行融合并输入到解码器网络； 步骤3： 将解码器网络 输出的视 差图进行多尺度融合； 步骤4： 重建视图。 2.如权利要求1所述的基于细粒度多特征融合的矿井图像无监督单目深度估计方法： 其特征在于： 步骤1包括： 步骤1.1： 将原图像It多次下采样得到It1、 It 2、 It3、 It4； 步骤1.2： 把经过编码器第一层的原图像以及一次下采样的It 1融合后输入到编码器的 第二层； 步骤1.3： 按照步骤1.2流程依次将不同尺度的图像输入到编码器的第三层、 第四层、 第 五层。 3.如权利要求1所述的基于细粒度多特征融合的矿井图像无监督单目深度估计方法， 其特征在于： 步骤2包括： 步骤2.1： 将编码器的输出通过空洞空间卷积池化金字塔， 以不同的采样率的空洞卷积 进行采样； 步骤2.2： 将采样后的信息特征传输到扩展卷积模块， 通过不同感受野的路径后再进行 特征融合； 步骤2.3： 将经 过扩展卷积模块的特 征信息输入到解码器内。 4.如权利要求3所述的基于细粒度多特征融合的矿井图像无监督单目深度估计方法， 其特征在于： 所述步骤2.2中， 所述扩展卷积模块采用并联和级 联的方式， 采用1、 2、 4、 8的扩 展卷积层； 不同的感受野路径至少设有五条， 感受野路径之间 并行设置 。 5.如权利要求1所述的基于细粒度多特征融合的矿井图像无监督单目深度估计方法， 其特征在于： 步骤3包括： 步骤3.1： 将解码器第二层输出的视差图disp3上采样后与第三层输出的视差图特征融 合作为解码器第三层最终输出的视 差图disp2； 步骤3.2： 按照步骤3.1流程将不同尺度的视差图特征融合作为解码器第四层、 第五层 的输出disp1、 disp0 。 6.如权利要求1所述的基于细粒度多特征融合的矿井图像无监督单目深度估计方法， 其特征在于： 步骤4中， 通过步骤1到步骤3构建的深度估计网络得到的深度图Zt， 再通过位 姿估计网络得到相对位姿信息 ， 两者结合构建出原视图It的重建视图It ’； 其中， K是相机内参矩阵， ； p是像素的齐次坐标； ， 是p经过 变换后权　利　要　求　书 1/2 页 2 CN 115115686 A 2的坐标， 是一个可微双线性采样器， 用于获取 中 处的像素并在 中的p处制定 线性插值像素。 7.如权利要求6所述的基于细粒度多特征融合的矿井图像无监督单目深度估计方法， 其特征在于： 对得到的视图It ’利用结构相似性指标结合L1损失作为光度损失Lph来进行约 束； 其中 取0.75。权　利　要　求　书 2/2 页 3 CN 115115686 A 3