(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210928365.5 (22)申请日 2022.08.03 (71)申请人 杭州师范大学 地址 311121 浙江省杭州市余杭区余杭塘 路2318号 (72)发明人 丁丹丹　章骏腾　刘舸昕　张俊哲　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06T 3/40(2006.01) G06T 9/00(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于神经网络的点云属性有损压缩装 置及方法 (57)摘要 本发明公开了一种基于神经网络的点云属 性有损压缩装置及方法， 包括编码 压缩和解码重 建两个部分。 其中编码压缩部分包括下采样、 特 征提取和特征融合三个步骤， 首先分别对点云的 特征和坐标进行下采样， 然后提取点云特征， 最 后将深层的点云特征与浅层的点云属性进行融 合。 解码重建部分包括特征融合、 特征提取和上 采样三个步骤， 首先对编码压缩部分得到的码流 进行解码， 然后将点云属性和点云特征进行融 合， 再多次对融合后的特征进行特征提取与上采 样操作， 以得到重建点云。 本发明所提出的方法 能够将点云属性用一个紧密的特征表 示， 从而以 较少的数据量进行传输， 并对点云进行重建， 恢 复点云属性。 权利要求书2页 说明书5页 附图5页 CN 115239563 A 2022.10.25 CN 115239563 A 1.一种基于神经网络的点云属性有损压缩装置， 其特征在于： 包括编码压缩端和解码 重建端； 所述编码压缩端包括第一下采样模块、 第一特征提取模块、 第二下采样模块、 第 一特征 融合模块、 熵编码模块和G ‑PCC编码模块； 所述第二下采样模块通过平均池化对原始点云进行下采样， 输出浅层的点云属性； 第 一下采样模块和 第一特征提取模块通过稀疏卷积对原始 点云进行下采样和特征提取， 得到 浅层的点云特征， 然后对浅层的点云特征重复进行下采样和特征提取， 得到深层的点云特 征； 第一特征融合模块用于对浅层的点云属 性和深层的点云特征进行融合， 得到融合后的 点云特征； 熵编码模块和G ‑PCC编码模块分别将融合后的点云特征和 浅层的点云属性压缩 成码流； 所述解码重建端包括第二特 征融合模块、 第二特 征提取模块和上采样模块； 所述第二特征融合模块接收解压后的点云特征和点云属性， 进行属性与特特征的融合 后， 输出融合结果； 第二特征提取模块和上采样模块用于对第二特征融合模块输出 的融合 结果进行多次特 征提取和上采样， 输出重建点云。 2.如权利要求1所述一种基于神经网络的点云属性有损压缩装置， 其特征在于： 所述第 一特征融合模块通过稀疏卷积对浅层点云属 性进行处理后， 与深层点云特征进行拼接， 再 通过稀疏 卷积处理， 得到融合的点云特 征。 3.如权利要求1所述一种基于神经网络的点云属性有损压缩装置， 其特征在于： 所述第 一特征融合模块通过稀疏卷积对浅层点云属性与深层点云特征进 行处理后， 与深层点云特 征进行拼接， 将拼接结果 通过稀疏 卷积后再与深层点云特 征相加， 得到融合的点云特 征。 4.如权利要求1所述一种基于神经网络的点云属性有损压缩装置， 其特征在于： 所述第 一特征提取模块通过稀 疏卷积和KNN ‑Transformer模块提取点 云特征； KNN ‑Transformer模 块的输入数据依次通过KNN模块与自注意力模块后， 与KNN模块的输出相加， 得到的结果与 通过归一 化、 线性层处 理后的结果相加， 再通过归一 化层， 完成一次特 征提取。 5.如权利要求4所述一种基于神经网络的点云属性有损压缩装置， 其特征在于： 所述 KNN模块通过KNN算法对输入数据的坐标和特征分别进行聚合， 得到聚合坐标与聚合特征， 随后通过线性层对聚合坐标进行处理， 得到与聚合特征通道数相同的坐标嵌入信息， 然后 将坐标嵌入信息与聚合特 征相加， 得到嵌入坐标信息的聚合特 征； 所述自注意力模块采用多头注意力机制， 针对输入数据进行线性变换得到四组Key矩 阵， 针对嵌入坐标信息的聚合特征进行线性变换得到四组Query矩阵和四组V alue矩阵， 将 每组Query矩阵转置后与对应的Key矩阵进行矩阵叉乘， 再将计算结果通过softmax层后与 对应的Value矩阵进行 叉乘， 最后将四组结果进行拼接， 得到自注意力模块的输出。 6.如权利要求1所述一种基于神经网络的点云属性有损压缩装置， 其特征在于： 所述第 二特征融合模块首先通过稀疏卷积对解压后的点云特征、 点云属 性进行处理， 然后将处理 结果与解压后的点云属 性进行融合， 将融合结果通过稀疏卷积处理后， 再与解压后的点云 特征相加， 得到解码重建端融合后的点云特 征。 7.如权利要求4任一所述一种基于神经网络的点云属性有损压缩装置， 其特征在于： 所 述第二特征提取模块将 输入数据与经过稀疏卷积和KNN ‑Transformer模块处理后的输入 数 据相加， 完成解码重建端的一次特 征提取。权　利　要　求　书 1/2 页 2 CN 115239563 A 28.一种基于神经网络的点云属性有损压缩方法， 其特征在于： 利用权利要求1～7任一 所述的一种基于神经网络的点云属性有损压缩装置实现点云的压缩重 建， 具体包括以下步 骤： 步骤一、 编码压缩 s1.1、 通过平均池化操作对原 始点云进行 下采样， 得到 浅层的点云属性； s1.2、 通过稀疏卷积操作对原始点云进行下采样， 再进行特征提取操作， 得到浅层的点 云特征； 对浅层的点云特 征重复K‑1次下采样和特 征提取， 得到深层的点云特 征； s1.3、 将s1.1得到 的浅层点云属性与s1.2得到 的深层点云特征进行融合， 得到融合的 点云特征； s1.4、 对s1.1得到的浅层点云属性进行G ‑PCC编码， 对s1.3得到的融合的点云特征进行 熵编码， 完成编码压缩过程； 步骤二、 解码重建 s2.1、 将s1.4压缩后的点云特征和点云属性分别解压， 得到解压的点云特征和点云属 性； s2.2、 将s2.1解压后的点云特 征与点云属性融合， 得到融合后的点云特 征； s2.3、 对s2.2融合后的点云特 征进行K次的特征提取和上采样 操作， 得到 重建点云。权　利　要　求　书 2/2 页 3 CN 115239563 A 3