(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210887658.3 (22)申请日 2022.07.26 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 孙光民　汤长新　李煜　张忠祥　 (74)专利代理 机构 北京易捷胜知识产权代理有 限公司 1 1613 专利代理师 李会娟 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/778(2022.01) G06V 10/80(2022.01) (54)发明名称 基于自监督学习的OCTA 图像分类结构训练 方法 (57)摘要 本公开实施例涉及一种基于自监督学习的 OCTA图像分类结构训练方法， 包括： 基于无标签 信息的B‑scan OCTA图像序列对模型进行自监督 学习， 直至重建的B ‑scan OCTA图像序列与给定 的B‑scan OCTA图像序列之间的重构误差、 重建 OCTA特征图像与融合OCTA特征图像的重构误差 满足预设条件； 将给定的带标签信息的en ‑face  OCTA图像对自监督学习后的模型中的二维随机 掩码特征编码 模块、 全连接层、 softmax层进行微 调式训练， 获得用于对任一用户的OCTA图像进行 分类的二维随机掩码特征编码模块， 该二维随机 掩码特征编码模块作为 OCTA图像分类结构。 本发 明对基于人体视网膜en ‑face OCTA图像的疾病 分析提供依据， 使分类结果更准确， 分类准确率 更高。 权利要求书3页 说明书10页 附图5页 CN 115410032 A 2022.11.29 CN 115410032 A 1.一种基于自监 督学习的OCTA图像分类结构训练方法， 其特 征在于， 该 方法包括： A10、 基于预先给定的无标签信息的B ‑scan OCTA图像序列对预先建立的模型进行自监 督学习， 直至重建的B ‑scan OCTA图像序列与给定的B ‑scan OCTA图像序列之间的重构误 差、 重建OCTA特征图像与融合OCTA特 征图像的重构误差满足预设条件； 其中， 针对每一用户的B ‑scan OCTA图像序列， 预先建立的模型对输入的预处理的B ‑ scan OCTA图像序列处理， 生 成二维的融合OCTA特征图像， 以及将二维的融合OCTA特征图像 用于重建三维图像序列， 得到重建的B ‑scan OCTA图像序列； 对二维的融合OCTA特征图像进 行缩放、 采样并提取 特征后再重建， 得到 重建OCTA特征图像； A20、 将给定 的带标签信息 的en‑face OCTA图像对自监督学习后的模型中的二维随机 掩码特征组合处理单元进 行微调式训练， 获得用于对任一用户的OCTA图像进 行分类的二 维 随机掩码特征 组合处理单元， 该二 维随机掩码特征组合处理单元作为训练的OCTA图像 分类 结构。 2.根据权利要求1所述的训练方法， 其特征在于， 针对每一用户的B ‑scan OCTA图像序 列， A10包括： A11、 对预先给定的无标签信息 的B‑scan OCTA图像序列中每一张图像进行预处理， 得 到预处理后的B‑scan OCTA图像序列； A12、 基于建立的模型中的三维随机掩码特征编码器提取预处理后的B ‑scan OCTA图像 序列中的血 管特征信息， 生成二维的融合OCTA特 征图像； 其中， 三维随机掩码特 征编码器包括： 第一随机掩码单 元、 三维自编码器； 第一随机掩码单元， 用于将预处理后的B ‑scan OCTA图像序列的整体按照 长度75像素， 宽度75像素， 高度160像素的大小划分为64个立体图像块， 并以服 从均匀分布的采样策略以 0.5的概率进行采样， 得到非掩码部分和掩码部分， 将非掩码部分输入到三维自编码器； 三维自编码器， 用于对输入的非掩码部分提取血管特征， 输出二维的融合OCTA特征图 像。 3.根据权利要求2所述的训练方法， 其特 征在于， 三维自编码器包括： 多个自注意力编码块， 每一自注意力编码块， 为基于自注意力 机制 的编码块， 自注意力机制的计算公式为： 上式中Q， K， V分别表示非掩码部分与随机初 始化的矩阵WQ， WK， WV相乘得到的结果， KT是K 转置的结果， dk表示向量K的长度， Softmax表示 柔性最大值函数。 4.根据权利要求2所述的训练方法， 其特 征在于， A10还 包括： A13、 二维的融合OCTA特征图像输入到所述模型的三维解码器进行重建， 所述三维解码 器输出重建的B ‑scan OCTA图像序列； A14、 获取重建B ‑scan OCTA图像序列 与原B‑scan OCTA图像序列之间的重构误差； 公式(1)中， Lmse表示重构误差， L表示原B ‑scan OCTA图像序列的长度， H表示原B ‑scan 权　利　要　求　书 1/3 页 2 CN 115410032 A 2OCTA图像序列的高度， W表示原B ‑scan OCTA图像序列的宽度， ylhw,true为原B‑scan OCTA图像 序列中每个像素点的真实值， ylhw,pre为三维解码器输出的重建B ‑scan OCTA图像序列中每 个点的像素值； 原B‑scan OCTA图像序列为重建B ‑scan OCTA图像序列所属的预处理后的B ‑scan OCTA 图像序列。 5.根据权利要求 4所述的训练方法， 其特 征在于， A10还 包括： 二维随机掩码特征组合处理单元包括： 依次连接的二维随机掩码特征编码模块、 全连 接层、 softmax层； A15、 将二维的融合OCTA特征图像缩放处理， 并将缩放后的图像输入建立的模型中的二 维随机掩码特 征编码模块， 以提取融合OCTA特 征块； 二维随机掩码特 征编码模块包括： 第二随机掩码单 元和二维自编码器； 第二随机掩码单元， 用于将缩放后的图像按照指定尺寸划分为Q ’个平面图像块， 并以 服从均匀分布的采样策略以0.3～0.5的概率进行采样， 得到新的非掩码部分和新的掩码部 分， 将新的非掩码部分， 输入到二维自编码器； 二维自编码器对输入的新的非掩码部分进行 特征提取， 输出融合OCTA特 征块； A16、 将融合OCTA特征块与 新的掩码部分输入二维解码器， 二维解码器的输出作 为重建 OCTA特征图像。 6.根据权利要求5所述的训练方法， 其特 征在于， 获取重建 OCTA特征图像与融合OCTA特 征图像之间的重构误差； 上式中， Ltmse表示重构误差的大小， Ht表示融合OCTA特征图像的高度， Wt表示融合OCTA 特征图像的宽度， yhw,true表示融合OCTA 特征图像中的像素值， yhw,pre表示重建OCTA 特征图像 中的像素值； 在公式(1)和公式(2)中的重构误差满足预设条件时， 结束自监 督学习。 7.根据权利要求1至6任一所述的训练方法， 其特征在于， 二维随机掩码特征组合处理 单元包括： 依次连接的二维随机掩码特 征编码模块、 全连接层、 softmax层； A20包括： 将给定的带标签信息 的en‑face OCTA图像直接输入到二维随机掩码特征编 码模块； 二维随机掩码特征编码模块提取en ‑face OCTA图像的特征， 将提取的特征输入到依次 连接的全连接层、 softmax层， 得到分类结果； 其中， 以交叉熵函数作为损失函数来计算分类误差， 当分类误差满足预设条件时， 微调 式训练结束； 公式(3)中， Lce表示分类结果的误差大小， c表示类别数目， yi,true表示根据标签信息得 到的图像真实类别， yi,pre表示softmax层输出的分类结果。 8.根据权利要求5所述的训练方法， 其特 征在于， A15中将二维的融合OCTA特 征图像缩放处 理， 包括： 采用随机 裁剪的方式将二维的融合OCTA特 征图像缩放到 长224像素， 宽2 24像素。权　利　要　求　书 2/3 页 3 CN 115410032 A 3