(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210965724.4 (22)申请日 2022.08.12 (71)申请人 太原理工大 学 地址 030024 山西省太原市迎泽西大街79 号 (72)发明人 吴永飞　张帆　欧阳佳子 　马雪涛　 刘雪宇　李明　 (74)专利代理 机构 太原晋科知识产权代理事务 所(特殊普通 合伙) 14110 专利代理师 赵江艳 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/25(2022.01) G06T 7/00(2017.01) G06T 7/10(2017.01) G06N 3/04(2006.01) (54)发明名称 基于融合卷积神经网络的肾组织染色图像 质量评估方法与系统 (57)摘要 本发明属于人工智能辅助医疗检查技术领 域， 公开了一种基于融合卷积神经网络的肾组织 染色图像质量评估方法及系统， 包括以下步骤： S1、 采集肾组织的全视野数字切片， 并处理得到 下采样全视野数字切片和肾小球感兴趣区域； S2、 对下采样全视野数字切片和肾小球感兴趣区 域分别进行质量等级标注， 构建专家标签数据 集； S3、 将标注后的下采样全视野数字切片和肾 小球感兴趣区域分别输入融合卷积神经网络模 型进行训练， 得到DWSI分类模型和G ‑ROI分类模 型； S4、 对待评估的全视野数字切片进行下采样 和分割后分别输入训练完成的分类模 型， 根据输 出计算加权质量 分数； S5、 确定质量等级。 本发明 提高了切片质量评估精度， 可嵌入设备辅助医生 快速判断切片是否符合标准。 权利要求书3页 说明书11页 附图6页 CN 115393636 A 2022.11.25 CN 115393636 A 1.一种基于融合卷积神经网络的肾组织染色图像质量评估方法， 其特征在于， 包括以 下步骤： S1、 采集肾组织的全视野数字切片WSI， 并将其进行下采样和分割分别得到下采样全视 野数字切片DWSI和肾小球感兴趣区域G ‑ROI， 构建数据集； 其中， 下采样全视野数字切片 DWSI为一个， 肾小球感兴趣区域G ‑ROI为1个或者多个； S2、 对采样全视野数字切 片DWSI和肾小球感兴趣区域G ‑ROI进行质量等级标注， 获得专 家标签数据集； S3、 将专家标签数据集中的下采样全视野数字切片DWSI输入融合卷积神经网络模型进 行训练， 得到DWSI分类模 型； 再将专家标签数据集中的肾小球感兴趣区域G ‑ROI输入融合卷 积神经网络模型进行训练， 得到G ‑ROI分类模型； 所述融合卷积神经网络模型为 EfficientNet和DenseNet卷积神经网络融合得到； S4、 对待评估的全视野数字切片WSI进行下采样和分割， 得到下采样全视野数字切片 DWSI和肾小球感兴趣区域G ‑ROI， 将待评估的全视野 数字切片WSI中的下采样全视野 数字切 片DWSI输入训练完成的DWSI分类模 型， 得到下采样全视野 数字切片DWSI在各个质量类别下 的概率， 并计算其质量分数； 再将待评估的全视野数字切片WSI中的肾小球感兴趣区域G ‑ ROI输入G ‑ROI分类模 型， 得到肾小球感兴趣区域G ‑ROI在各个质量类别下的概率， 并计算其 质量分数； 最后将二者的质量分数进行加权平均得到待评估的全视野数字切片WSI的加权 质量分数SWSI； S5、 根据S4中得到的加权质量分数确定待评估的全视野数字切片WSI的质量 等级。 2.根据权利要求1所述的一种基于 融合网络的医学图像质量评估方法， 其特征在于， 所 述步骤S1中， 采用openslide对全视野 数字切片WSI进行下采样得到下采样全视野 数字切片 DWSI， 下采样系数设置为16， 采用GLO ‑YOLO卷积神经网络对全视野数字切片WSI进行分割， 得到所有的肾小球感兴趣区域G ‑ROI。 3.根据权利要求1所述的一种基于 融合网络的医学图像质量评估方法， 其特征在于， 所 述步骤S1中， 数据集R的结构被设置为： R＝{WSI1＝{DWSI1,G‑ROI11,G‑ROI12,…G‑ROI1i}， WSI2＝{DWSI2,G‑ROI21,G‑ROI22,…G‑ROI2i}， …， WSIj＝{DWSIj,G‑ROIj1,G‑ROIj2,…G‑ROIji}， }， 1<i≤10； WSIj表示第j个全视野数字切片WS I对应的数据， D WSIj表示第j个全视野数字切片WSI对 应的下采样全视野数字切片DWSI， G ‑ROIj1,G‑ROIj2,…G‑ROIji表示第j个全视野数字切片 WSI对应的第1， 2 ……i个肾小球感兴趣区域G ‑ROI。 4.根据权利要求1所述的一种基于融合网络的医学图像质量评估方法方法， 其特征在 于， 所述步骤S2中， 对每张图片进 行质量等级 标注时， 将图像定性地分为优秀、 良好、 一般和 差四个等级； 所述步骤S4中， 质量分数的计算方法为： 其中S表示类别数量， qj表示第j个类别对应的质量分数， pj表示第j个类别对应的概率，权　利　要　求　书 1/3 页 2 CN 115393636 A 2score表示质量分数； 所述步骤S4中， 加权质量分数ScoreWSI的计算公式为： ScoreWSI＝h×ScoreAG‑ROIs+(1‑h)ScoreDWSI； 其中， ScoreAG‑ROIs表示肾小球感兴趣区域GROI的质量分数， ScoreDWSI表示下采样全视野 数字切片 DWSI的质量分数； h表示权 重， h＞0.5； 所述步骤S5中， 通过确定各个类别的隶属度函数， 遵循最大隶属度原则确定加权质量 分数对应的类别， 作为质量 等级。 5.根据权利要求4所述的一种基于 融合网络的医学图像质量评估方法， 其特征在于， 所 述步骤S4中， h＝0.6 5。 6.根据权利要求1所述的一种基于融合网络的医学图像质量评估方法方法， 其特征在 于， 所述融合卷积神经网络模型包括： EfficientNet网络主体： 用于对输入图片进行 特征提取； 第一全局平均池化层： 用于对EfficientNet网络主体提取的特征进行全局平均池化操 作； Drop out层： 用于对第一全局平均池化层输出的数据进行丢弃法操作， 防止过拟合； DenseNet网络主体： 用于对输入图片进行 特征提取； 第二全局平均池化层： 用于对DenseNet网络主体输出的数据进行全局平均池化操作； Addition  Layer层： 用于对Drop  out层和第二全局平均池化层的输出进行拼接融合操 作； 全连接层： 用于将Ad dition Layer层输出的特 征映射到样本的标签空间； softmax层： 用于对 全连接层输出的特 征向量进行归一 化操作。 7.根据权利要求1所述的一种基于融合网络的医学图像质量评估方法方法， 其特征在 于， 所述步骤S 3中， 训练 时采用ImageNet中的预训练参数来初始化模 型， 超参数的最大迭代 次数为50次， epoch大小被设定为16幅图像； 采用的Adam优化器的初始学习率设置为10‑3； 在 训练过程中， 采用动态学习率， 如果在训练过程中出现了损失平台， 将学习率降低到 当前的 1/10。 8.一种基于融合网络的医学图像质量评估系统， 其特 征在于， 包括： 图像处理模块： 用于对采集的肾组织的全视野数字切片WSI进行下采样和分割， 得到下 采样全视野数字切片 DWSI和肾小球感兴趣区域G ‑ROI； DWSI分类模型： 用于对下采样全视野数字切片DWSI进行分类， 输出下采样全视野数字 切片DWSI的质量分数； G‑ROI分类模型： 用于对各个肾小球感兴趣区域G ‑ROI进行分类， 输出各个肾小球感兴 趣区域G‑ROI的质量分数； 质量分数转换模块： 用于对下采样全视野数字切片DWSI的质量分数和各个肾小球感兴 趣区域G‑ROI的质量分数进行加权平均计算的得到全视野数字切片WSI的加权质量分数 SWSI； 综合质量预测模块： 用于根据全视野数字切片WSI的加权质量分数SWSI计算出其对每个 质量等级的隶属度， 并根据隶属度确定其质量 等级； 所述DWSI分类模型和G ‑ROI分类模型分别为下采样全视野数字切 片DWSI的标签数据和权　利　要　求　书 2/3 页 3 CN 115393636 A 3