(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221098090 3.5 (22)申请日 2022.08.16 (65)同一申请的已公布的文献号 申请公布号 CN 115082743 A (43)申请公布日 2022.09.20 (73)专利权人 之江实验室 地址 311121 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 朱闻韬　陈怡达　薛梦凡　黄海亮　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 111709929 A,2020.09.25 CN 112084930 A,2020.12.15 CN 112084930 A,2020.12.15 CN 112259223 A,2021.01.2 2 CN 114565593 A,202 2.05.31 CN 113538422 A,2021.10.2 2 CN 114239756 A,2022.03.25 CN 114462520 A,202 2.05.10 CN 114463209 A,202 2.05.10 CN 114708258 A,202 2.07.05 CN 113963261 A,202 2.01.21 US 2021090217 A1,2021.0 3.25 CN 113449785 A,2021.09.28 CN 110310253 A,2019.10.08 SG 65260 A1,1999.06.22 WO 2007049282 A2,2007.05.03 US 2022156592 A1,202 2.05.19 (续) 审查员 王婕 (54)发明名称 考虑肿瘤微环境的全视野数字病理图像分 类系统及构建方法 (57)摘要 本发明公开了一种考虑肿瘤微环境的全视 野数字病理图像 分类系统及构建方法， 该方法首 先进行全视野 数字病理图像的特征提取， 随后构 建了由肿瘤微环境感知模块、 深度门控注意力模 块、 相似度感知注意力模块和分类层组成的多示 例分类网络， 实现了对全视野数字病理图像的分 类和病灶检测。 其中肿瘤微环 境感知模块可以建 模肿瘤微环 境中的拓扑结构信息， 使网络学习到 的特征具有更高的鲁棒性； 深度门控注意力模块 和相似度感知模块相结合可以更加准确地赋予 每个图像块对应的权重以实现对病灶区域更加 精准的检测。 还设计了图像增广方法的自监督对 比学习任务， 减少全视野数字病理图像因染色、成像等因素产生的颜色差异对网络产生影响， 且 训练过程无需任何标签 。 [转续页] 权利要求书2页 说明书9页 附图4页 CN 115082743 B 2022.12.06 CN 115082743 B (56)对比文件 李俊薇.基 于生成对抗网络的病理图像分析 及应用. 《中国优秀硕士学位 论文全文数据库 医 学卫生科技辑》 .2021,第2021年卷(第07期), 邓朝阳.基于注意力门控图神经网络的文本 分类. 《计算机科 学》 .2022,第49卷(第6期), Zhu Wentao 等.Anatom yNet: De ep Learning for Fast and Ful ly Automated Whole-volume Segmentati on of Head and Neck Anatom y. 《Medical Phy sics》 .2019,第46卷(第2期), Mengfan Xue 等.One Spati o-Temporal Sharpening Attention Mechanism for Light- Weight TOLO Models Based o n Sharpen ing Spatial A ttention. 《Sensors》 .2021,第21卷 (第23期), Wenda He 等.A N ovel Breast Ima ge Preproces sing For Ful l Field Digital Mammographic Segmentati on and Risk Classificati on. 《MIUA 2014》 .2014,2/2 页 2[接上页] CN 115082743 B1.一种考虑肿瘤微环境的全视野数字病理图像分类系统， 其特 征在于， 包括： 数据预处 理模块， 用于将获取的全视野数字病理图像分割成多个小图像块； 特征提取模 块， 用于提取每一小图像块对应的特征图 mk，k=1 ,…, K，K表示一张全视野 数字病理图像分割得到的小图像块的数量； 肿瘤微环境感知模块， 用于将每一小图像块特征图 mk与该小图像块相邻的 c圈小图像块 对应的特 征图进行融合获得融合了肿瘤微环境信息的特 征向量gk； 深度门控注意力模块， 用于计算获取每一小图像块的注意力分数 ak并确定关键示例 gm， 其中关键示例 gm是注意力分数从大到小排序前m个小图像块对应的特 征向量的均值； 相似度感知注意力模块， 用于计算获取每一小图像块的特征向量 gk与关键示例 gm之间 的相似度分数， 并基于相似度分数将全部小图像块对应的特征向量聚合生成slide级别的 特征gslide； 所述计算获取每一小图像块的特征向量 gk与关键示例 gm之间的相似度分数具体 为： 其中，qk是由融合了肿瘤微环境信息的特 征向量gk转化得到的搜寻向量： qk= Wq (gk)； 其中，Wq和Wi均为权重矩阵， < *>表示两个向量的内积； slide级别的特 征gslide表示为： ； ik是由融合了肿瘤微环境信息的特 征向量gk转化得到的信息向量： ik= Wi (gk)； 分类模块， 用于基于特 征gslide进行分类获得分类结果。 2.根据权利要求1所述的系统， 其特 征在于， 所述肿瘤微环境感知模块包括： 3D卷积层， 用于将与该小图像块相邻的 c圈小图像块对应的特征图进行3D卷积融合， 获 得第一融合特 征； 全连接层， 用于将第一融合特征与该小图像块对应的特征图 mk相加融合后的特征图转 换为特征向量， 获得融合了肿瘤微环境信息的特 征向量gk。 3.根据权利要求1所述的系统， 其特征在于， 所述计算获取每一小图像块的注意力分数 ak具体为： 其中Wa,1,…, Wa,4，Pa为可调权重矩阵， σ( ∙)表示sigmoid激活函数， tanh( ∙)为双曲正切 激活函数， ⊙表示两个矩阵逐 元素相乘。 4.根据权利要求1所述的系统， 其特征在于， 所述特征提取模块是一训练好的自监督对 比学习网络的特 征提取部分。 5.根据权利要求1所述的系统， 其特征在于， 还包括可视化模块， 用于提取所有小图像 块在相似度感知注意力模块生成的注意力 分数， 并生成对应颜色的色块， 以一定的透明度 覆盖在原 始全视野数字病理图像的相同位置， 得到病灶区域的检测热图。 6.一种权利要求1 ‑5任一项所述系统的构建方法， 其特 征在于， 包括： 收集全视野数字病理图像， 并将每张全视野数字病理图像分割成多个小图像块；权　利　要　求　书 1/2 页 2 CN 115082743 B 3