(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211031028.2 (22)申请日 2022.08.26 (65)同一申请的已公布的文献号 申请公布号 CN 115115897 A (43)申请公布日 2022.09.27 (73)专利权人 紫东信息科技 （苏州） 有限公司 地址 215000 江苏省苏州市苏州工业园区 金鸡湖大道88号人工智能产业园E3- 501 (72)发明人 何顺辉　李峰　张希钢　赖春晓　 王镇煜　邱霖　万苹　赵志芳　 江海洋　赖正义　戴捷　邵贝　 鹿伟民　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 陈华红子(51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 30/18(2022.01) G06V 30/19(2022.01) G06V 30/41(2022.01) G06V 10/40(2022.01) (56)对比文件 CN 112784801 A,2021.0 5.11 CN 114399465 A,2022.04.26 CN 114882978 A,202 2.08.09 审查员 卢星凝 (54)发明名称 多模态预训练的胃部肿瘤分类系统 (57)摘要 本发明涉及一种多模态预训练的胃部肿瘤 分类系统， 涉及医学图像处理技术领域， 包括数 据获取模块获取含有多图片和主诉文本的非肿 瘤相关和肿瘤相关的胃镜病例分别作为未标注 样本和有标注样本， 预训练模块使用未标注样本 对图片编码器、 文本编码器进行对比学习预训 练； 多模态特征模块使用预训练后的编码器提取 有标注样本的特征并融合得到多模态特征； 训练 模块使用有标注样本的特征训练预训练后的编 码器， 使用多模态特征训练分类器； 预测模块得 到待测病例的多模态特征并输入训练完成的分 类器得到胃部肿瘤的分类结果。 本发 明可以提取 多张图片和多条主诉文本的特征， 有效利用相似 疾病更准确地捕捉胃肿瘤相关的特征， 为医生提 供诊断参 考。 权利要求书4页 说明书13页 附图2页 CN 115115897 B 2022.12.09 CN 115115897 B 1.一种多模态预训练的胃部肿瘤分类系统， 其特 征在于， 包括： 数据获取模块， 所述数据获取模块获取含有多 张图片和多条主诉文本的非肿瘤相关的 胃镜病例样本和含有 多张图片和多条主诉文本的肿瘤相关的胃镜病例样本； 特征提取模块， 所述特 征提取模块包括图片编码器和文本编码器； 分类模块， 所述分类模块包括分类 器； 预训练模块， 所述预训练模块使用非肿瘤相关的胃镜病例 样本中的多张图片对所述图 片编码器进行对比学习预训练得到预训练后的图片编 码器， 使用非肿瘤相关的胃镜病例样 本中的多 条主诉文本对所述文本编 码器进行对比学习预训练得到预训练后的文本编 码器； 具体为： S1‑1： 抽取同一个病例中的m张图片的特 征得到图片特 征 其中 表示第i张图片的特征； 抽取同一个病例中的 n条主诉文本的特征得到文本特征 其中 表示第j条 主诉文本的特 征； S1‑2 ： 随 机遮掩所述图 片特征HO中的 一个特征得到遮掩 后的图 片特征 其中 表示在位置i上使用遮掩专用 特征代替原来的 图片特征 随机遮掩所述文本 特征HT中的一个特征得到遮掩后的文本 特 征 其中 表示在位置j上使用遮掩 专用特征代替原来的文本特 征 S1‑3： 使用图片编码器获取所述图片特征HO的共同特征表示QO和所述遮掩后的图片特 征 的共同特 征表示 使用文本编码器获取所述文本特征HT的共同特征表示QT和所述遮掩后的文本特征 的共同特 征表示 S1‑4： 在不同的病例中随机选取k张图片和k条主诉文本， 抽取k张图片的特征得到图片 特征 表示第k张图片的特征； 抽取k条主诉文本的特征得到文本特征 表示第k条主 诉文本的特 征； 结 合 所 述 和 被 遮 掩 的 图 片 特 征 得 到 图 片 候 选 特 征 其中 结 合 所 述 和 被 遮 掩 的 文 本 特 征 得 到 文 本 候 选 特 征权　利　要　求　书 1/4 页 2 CN 115115897 B 2其中 S1‑5： 将被遮掩的图片特征 对应的图片作为缺失图片， 将被遮掩的文本特征 对应的主诉文本作为 缺失主诉文本； 将所述图片候选特征对应的图片和所述文本候选特征对应的主诉文本组合作为对比 样本， 使用模态内联系 计算对比样本中第s个图片成为缺失图片的概率 和第s条主诉文 本成为缺失主诉文本的概率 使用模态间联系计算使用对比样本中第s条主诉文本预测 的图片成为缺失图片的概率 和使用对比样本中第s个图片预测的主诉文本成为缺失主 诉文本的概 率 所述使用模态内联系计算对比样本中第s个图片成为缺失图片的概率 和第s条主诉 文本成为 缺失主诉文本的概 率 所述 和 的计算方法为： 其中s∈{1， 2， . ..， k， k+1}， 其中s∈{1， 2， . ..， k， k+1}； 其中， σ 为激活函数， e是自然常数； len( )表示计算特征的长度， 表示所有图片特征中遮蔽位置为i的特征中的第d个元素， ()T表示转置， (()T)d表 示转置后特征的第d个元素， 表示所有主诉文本特征中遮蔽位置为i的特征中的第d 个元素； 所述使用模态间联系计算使用对比样本 中第s条主诉文本预测的图片 成为缺失图片的 概率 和使用对比样本 中第s个图片预测的主诉文本成为缺失主诉文本的概率 所 述 和 的计算方法为： 其中s∈{1， 2， . .， k， k+1}， 其中s∈{1， 2， . ..， k， k+1}； 其中， σ 为激活函数， 权　利　要　求　书 2/4 页 3 CN 115115897 B 3