(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211012114.9 (22)申请日 2022.08.23 (71)申请人 紫东信息科技 （苏州） 有限公司 地址 215000 江苏省苏州市中国(江苏)自 由贸易试验区苏州片区苏州工业园区 金鸡湖大道88号人工智能产业园E3- 501 (72)发明人 江海洋　王镇煜　赖春晓　张希钢　 李峰　邱霖　何顺辉　赵志芳　 万苹　赖正义　戴捷　邵贝　 鹿伟民　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 陈华红子(51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于组块对抗的零样本胃溃疡分类系统 (57)摘要 本发明涉及一种基于组块对抗的零样本胃 溃疡分类系统， 包括： 数据处理模块获取有标注 的十二指肠溃疡病例和未标注的胃溃疡病例作 为训练集， 特征提取模块提取图片和血液检验指 标的特征； 组块对抗模块包括编码器和判别器， 编码器融合映射图片和血液检验指标的特征得 到高阶池化特征、 并和编码器进行对抗； 分类模 块根据高阶池化特征得到分类结果， 训练模块使 用训练集训练特征提取器、 编码器、 判别器和分 类器， 预测模块获取待测胃溃疡病例输入训练完 成的特征提取器、 编码器、 判别器和分类器得到 胃溃疡分类结果。 本发明可以充分提取病例中的 图片和血液检验指标的特征、 有效利用相似疾病 更加准确的捕捉胃溃疡相关的特征， 为医生提供 诊断参考。 权利要求书3页 说明书11页 附图2页 CN 115082747 A 2022.09.20 CN 115082747 A 1.一种基于组块对抗的零样本胃溃疡分类系统， 其特 征在于， 包括： 数据处理模块， 所述数据处理模块获取有标注的十二指肠溃疡病例 样本和未标注的胃 溃疡病例样本作为训练集， 所述十二指肠溃疡病例样本中的每个样本包括图片、 图片所对 应的血液检验指标和诊断类别标签， 所述胃溃疡病例样本中的每个样本包括图片和图片所 对应的血 液检验指标； 特征提取模块， 所述特征提取模块包括特征提取器， 所述特征提取器提取图片的特征 和血液检验指标的特 征； 组块对抗模块， 所述组块对抗模块包括编码器和判别器， 所述编码器将所述图片的特 征和血液检验指标 的特征进行融合并映射到隐空间范围内得到 胃溃疡疾病的高阶池化特 征和十二指肠溃疡疾病的高阶池化特征， 所述判别器和所述编 码器根据所述胃溃疡疾病的 高阶池化特 征和十二指肠溃疡疾病的高阶池化特 征进行对抗； 分类模块， 所述分类模块包括分类器， 所述分类器根据所述胃溃疡疾病的高阶池化特 征和十二指肠溃疡疾病的高阶池化特 征得到分类结果； 训练模块， 所述训练模块使用所述训练集训练所述特征提取器、 编码器、 判别器和分类 器得到训练完成的特 征提取器、 编码器、 判别器和分类 器； 预测模块， 所述预测模块获取待测的胃溃疡病例样本并输入所述训练完成的特征提取 器、 编码器、 判别器和分类 器中得到胃溃疡分类结果。 2.根据权利要求1所述的基于组块对抗的零样本胃溃疡分类系统， 其特征在于： 所述特 征提取器提取图片的特 征和血液检验指标的特 征， 具体为： 所述特征提取器包括图片提取器和文本提取器， 使用所述图片提取器提取所述有标注 的十二指肠溃疡病例样本中的图片的特征 和所述未标注的胃溃疡病例样本中的图片的 特征 ， 将所述 和 按照网格划分进行平均池化得到 和 ； 将所述血液检验指标转换成包括血液检测各项指标与对应的检测结果值组成的文本 序列， 使用所述文本提取器提取所述有标注的十二指肠溃疡病例样本中的文本序列的特征 和所述未 标注的胃溃疡病例样本中的文本序列的特 征 。 3.根据权利要求2所述的基于组块对抗的零样本胃溃疡分类系统， 其特征在于： 所述图 片提取器为残差网络ResNet5 0， 所述文本提取器为基于转换器的双向编码表示网络 。 4.根据权利要求2所述的基于组块对抗的零样本胃溃疡分类系统， 其特征在于： 所述编 码器将所述图片的特征和血液检验指标 的特征进行融合并映射到隐空间范围内得到 胃溃 疡疾病的高阶池化特 征和十二指肠溃疡疾病的高阶池化特 征， 具体为： 所述编码器使用注意力 机制得到图片间的交互注意力 权重， 再使用注意力 权重融合所 述 和 得到胃溃疡疾病的高阶特征 ， 所述胃溃疡疾病的 高阶特征H经过特征池化得到所述胃溃疡疾病的高阶池化特 征 ， 表示第i个胃溃疡病例样本的高阶池化特征， n表示胃 溃疡病例样本的数量； 所述编码器使用注意力 机制得到文本序列间的交互注意力 权重， 再使用注意力 权重融权　利　要　求　书 1/3 页 2 CN 115082747 A 2合所述 和 得到十二指肠溃疡疾病的高 阶特征 ， 所述 十二指肠溃疡疾病的高阶特征 H’经过特征池化得到所述十二指肠溃疡疾病的高阶池化特 征 ， 表示第i个十二指肠溃疡病例样本的高阶池 化特征， m表示十二指肠溃疡病例样本的数量。 5.根据权利要求1所述的基于组块对抗的零样本胃溃疡分类系统， 其特征在于： 所述编 码器为基于转换器的编码器。 6.根据权利要求4所述的基于组块对抗的零样本胃溃疡分类系统， 其特征在于： 所述判 别器和所述编码器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化 特征进行对抗， 具体为： 使用聚类划分函数将所述胃溃疡疾病的高阶池化特 征 划分为 个聚类组块 ， 其中 是胃溃疡疾病的高阶池化特征的聚类标签， 聚类划分后的胃溃疡疾病 的高阶池化特 征的聚类标签列表 ； 所述胃溃疡疾病的高阶池化特征 按照所述胃溃疡疾 病的高阶池化特征的聚类标签列表 进行分类得到 个类 ， 表示胃溃疡疾病的高阶池化特 征的第i个分类； 根据所述有标注的十二指肠溃疡病例样本中的每个样本中的所述诊断类别标签得到 十二指肠溃疡按照疾病诊 断分类的标签列表 ， 所述十二指肠溃疡 疾病的高阶池化特征 按照所述十二指肠溃疡按照疾 病诊断分类的标签列表 进行分类得到k个 类 ， 表示十二指肠溃疡疾病的高阶池化特征的 第j个分类； 将 按 照 标 签 分 类 后 的 高 阶 池 化 特 征 和 交叉配对后输入所述判别器和编码器， 通过所述 判别器的全连接神经网络和softmax函数获得疾病分类概 率， 建立所述判别器的优化目标； 随机生成疾病标签 ， 建立所述编码器的优化目标； 所述判别器和编码器根据所述判别器的优化目标和所述编码器的优化目标进行对抗 训练。 7.根据权利要求6所述的基于组块对抗的零样本胃溃疡分类系统， 其特征在于： 所述 聚 类划分函数为基于密度的噪声应用空间聚类法。 8.根据权利要求6所述的基于组块对抗的零样本胃溃疡分类系统， 其特征在于： 建立所权　利　要　求　书 2/3 页 3 CN 115082747 A 3