(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210900807.5 (22)申请日 2022.07.28 (71)申请人 中国测绘科 学研究院 地址 100830 北京市海淀区莲 花池西路28 号 (72)发明人 刘振东　张帅哲　洪志远　屈文虎　 蔡昊琳　 (74)专利代理 机构 北京市盛峰律师事务所 11337 专利代理师 于国强 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/30(2022.01) (54)发明名称 基于物方体素及几何特征约束的深度图融 合方法 (57)摘要 本发明公开了一种基于物方体素及几何特 征约束的深度图融合方法， 包括如下步骤， S1、 体 素网格尺寸计算； S2、 基于几何特征约束的融合 点代价值计算； S3、 基于物方体素约束的融合点 筛选。 优点是： 本发明方法通过物方体素约束并 顾及三维场景的几何特征结构， 构建评价融合点 质量的评价函数， 能够有效的降低点云密度同时 能保证密集点云的质量， 便于基于密集点云的几 何表面重建效率甚至点云语义分割等后续应用。 本发明方法中物方体素约束能够实现点云密度 的降低， 利用多重几何特征约束， 去除密集点云 中的噪声和异常点， 解决点云质量参差不齐的问 题。 权利要求书2页 说明书9页 附图5页 CN 115187843 A 2022.10.14 CN 115187843 A 1.一种基于物方体素及几何特 征约束的深度图融合方法， 其特 征在于： 包括如下步骤， S1、 体素网格尺寸计算； S2、 基于几何特 征约束的融合 点代价值计算； S3、 基于物方体素约束的融合 点筛选。 2.根据权利要求1所述的基于物方体素及几何特征约束的深度图融合方法， 其特征在 于： 步骤S1具体为， 利用所用影像中每个像素 的邻居像素以及各像素的深度值计算获取每 个像素的地面分辨率， 将所用影像中所有像素的地面分辨率取平均值作为最精细体素的网 格尺寸。 3.根据权利要求2所述的基于物方体素及几何特征约束的深度图融合方法， 其特征在 于： 步骤S1中， 像素的地 面分辨率计算过程 为， S11、 在获得每张影像的深度图后， 利用SFM方法计算得出的影像位姿， 即采用公式(1) 计算像素q所对应的三维点P， 其中， P为图像i计算得出的世界坐标系下的三维点； λ为深度值； Ri为图像i的旋转矩阵； T为矩阵的转置； Ki为图像i的内参； Ci为图像i对应的相机坐标系的坐标原点相对于世界坐 标系的坐标原点的偏移量； p为图像i的像素坐标； S12、 将像素q的深度值赋值给其某一方向的邻居像素q0， 利用公式(1)计算得出像素q0 所对应的三维点P0， 计算P0与P之间的距离L， 并用同样的方法计算其他方向上的距离， 取所 有方向上的平均距离作为像素q的地 面分辨率。 4.根据权利要求3所述的基于物方体素及几何特征约束的深度图融合方法， 其特征在 于： 步骤S2具体包括如下内容， S21、 依次确定当前参考影像Iref及其邻居影像， 逐像素遍历参考影像并命名为q， 利用 公式(1)计算得 出像素q对应的三维点P； S22、 根据参考影像Iref的法线图， 获取像素q对应物方空间的法线nq,计算三维点P的入 射光线rq与法线nq之间的夹角Aref(nq,rq),判断夹角Aref(nq,rq)是否小于第一角度阈值， 若 是， 则满足物方点法线角度约束条件， 则进入步骤S23； 否则， 返回步骤S21处 理下一个 像素； S23、 将三维点P反投影至邻居影像Isrc中， 计算得出三维点P在邻居影像中对应的像素 q′,利用邻居影像 Isrc的深度图以及内外参计 算得出三维点P ′； 计算三维点P ′的入射光线rq′ 与法线nq′之间的夹角Asrc(nq′,rq′)， 判断夹角Asrc(nq′,rq′)是否小于第二角度阈值， 若是， 则 将P′反投影至参考影像Iref中， 计算得出P ′在参考影像中的对应像素q ″； 否则， 处理下一张 邻居影像； 通过公式(2)判断三维点P ′是否符合融合条件； 其中， d为像素q与像素q ″在图像坐标系中的距离， 该距离表示三维点P ′的重投影误差；权　利　要　求　书 1/2 页 2 CN 115187843 A 2dep1为像素q在参考影像 Iref所对应深度图中的深度值； dep2为三维点P ′相对于参考影像 Iref 的深度值； A(nq,nq′)为像素q与像素q ′所对应法线之间的夹角； D为三维点P与三维点P ′之间 的距离； θrad为像素q所对应的地面分辨率； θ1、 θ2、 θ3为所设置的阈值参数； 若三维点P ′符合 公式(2)， 则表明该物方点满足预筛选条件， 将物方点的置信度作为权重因子进 行加权平均 计算融合 点的坐标值， 并进入步骤S34； S24、 利用公式(3)的评价 函数计算该融合 点的代价 值； 其中， C为计算得出的代价值； α、 β 、 γ为相应的权重因子； dRMSE为参与融合的三维点在参 考影像中的重投影误差的均方根误差； 为所用像素物方点的置信度的均值； 表示 所用三维点的法线与其入射 光线之间夹角的均值。 5.根据权利要求1至4任一所述的基于物方体素及几何特征约束的深度图融合方法， 其 特征在于： 步骤S3具体包括如下内容， S31、 创建只包 含根节点的八叉树， 遍历融合 点， 定位其在八叉树中的体素节点； S32、 判断该体素内是否存在其他融合点， 若不存在， 则将当前融合点存储在该体素中； 若存在且叶节点尺寸大于步骤S1中计算的体素网格尺寸， 则将该体素做八叉树划分， 直到 两个融合点位于不同体素节点和/或体素节点尺寸等于步骤S1中计算的体素网格尺寸为 止， 并保留代 价值高的融合点； 若存在 且叶节点尺寸等于步骤S1 中计算的体素网格尺寸时， 判断并保留代价 值高的融合 点； S33、 判断影像中的像素是否全部计算完成， 若否， 则继续执行上述步骤； 若是， 则收集 所有体素内的融合 点， 生成最终的密集 点云。权　利　要　求　书 2/2 页 3 CN 115187843 A 3