(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210988832.3 (22)申请日 2022.08.17 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 孙建奇　张舒南　 (74)专利代理 机构 上海一平知识产权代理有限 公司 3126 6 专利代理师 竺云　徐迅 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/22(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于残差注意力约束机制的脊柱三柱骨折 分类与定位系统 (57)摘要 本申请涉及计算机图像处理以及医学人工 智能领域， 公开了一种基于残差注 意力约束机制 的脊柱三柱骨折分类与定位系统， 结合深度学习 的方法， 自动地对CT影像中每个椎骨前、 中后柱 的骨折进行分类与定位。 在这一自动化的结果的 提示下， 可以缩小分析范围， 提高整个工作效率； 并且， 提出了基于残差注意力约束机制的深度学 习模型， 在图像尺度与体素尺度的多尺度监督约 束下， 同时获得每个椎骨的类别与椎骨骨折的定 位图。 在整个过程中充分利用定位与分类任务之 间的关系， 使定位任务的引入能够引导模型更加 关注骨折区域进而获得更好的分类性能， 分类任 务的引入能够以数据驱动的形式对定位结果进 行影响， 减少定位图粗标签内的噪声对定位性能 的干扰。 权利要求书2页 说明书12页 附图3页 CN 115331059 A 2022.11.11 CN 115331059 A 1.一种基于残差注意力约束机制的脊柱三柱骨折分类与定位系统， 其特 征在于， 包括： 椎骨数据集构造单元， 用于根据输入数据获取用于模型训练和测试的椎骨数据集， 其 中， 所述输入数据是对椎骨CT影像数据以及其对应的类别标签和定位图标签进 行预处理之 后获得的数据； 基于残差注意力约束机制的分类与定位模型构建单元， 用于构造基于残差注意力约束 机制的分类与定位模型， 所述分类与定位模型是用于根据所述椎骨数据集对每个椎骨的三 柱骨折进行分类以及定位的深度学习模型； 其中， 所述基于残差注意力约束机制的分类与 定位模型构建单元用于实现骨折的分类与定位图的生成， 通过图像级别与体素级别的监督 约束， 引导模型关注骨折区域， 以获得分类结果与定位图； 模型训练单 元， 用于训练所述基于残差注意力约束机制的分类与定位模型； 以及 检测单元， 用于获取待检测的输入数据， 并基于所述基于残差注意力约束机制的分类 与定位模型， 获取与所述待检测的输入数据对应的分类结果与定位图。 2.如权利要求1所述的系统， 其特 征在于， 还 包含： CT数据集构造单元， 用于获取用来训练和测试的椎骨CT影像数据以及其对应的类别标 签和定位图标签； 数据预处理单元， 用于根据所述椎骨CT影像数据以及其对应的类别标签和定位图标 签， 获取基于残差注意力约束机制的分类与定位模型的输入数据。 3.如权利要求1所述的系统， 其特 征在于， 还 包含： 模型测试 单元， 用于测试训练好的所述基于残差注意力约束机制的分类与定位模型。 4.如权利要求1所述的系统， 其特 征在于， 所述CT数据集构造单元中， 收集脊柱骨折的患者的CT影像数据构造数据 集X， 对CT序列 中每一个椎骨的三柱骨折情况进行标注获得类别标签GTc和定位图标签GTs； 其中， 所述定位 图标签GTs的标注过程， 首先利用可以进行分割标注的软件， 使用二维或三维的分割标注刷 分别对每个椎骨的前、 中、 后柱骨折所在的区域进行涂抹， 使得背景、 前、 中、 后柱的骨折所 在区域分别被值 为0， 1、 2、 3的掩膜 覆盖， 然后将标注好的掩膜保存作为定位图标签GTs。 5.如权利要求1所述的系统， 其特 征在于， 所述基于残差注意力约束机制的分类与定位模型构建单元中， 构建基于残差注意力约 束机制的分类与定位网络， 所述基于残差注意力约束的网络包含三个支路： 主干特征提取 网络支路， 定位图生成网络支路， 融合分类网络支路。 6.如权利要求5所述的系统， 其特 征在于， 所述主干特征提取网络支路的特征提取步骤为： 将数据输入所述主干特征提取网络支 路， 依次经过卷积层C1、 最大池化层M1、 n个残差注意力约束子网络和一个全局平均池化层 后， 最终输出一个主干特征向量F1和ma个三维的空间注意力图S， 其中ma为整个模型中残差 注意力模块的个数， 所述空间注意力图由各个残差注意力模块产生。 7.如权利要求5所述的系统， 其特 征在于， 所述的定位图生成 网络支路的定位图生成步骤为： 首先选 择ms个4‑1中提取到的三维空 间注意力图S来构 造骨折定位图， 先将其上采样到与 原始输入图像相同的大小， 然后 将上采 样后的图沿特征通道进 行拼接， 再使用2个卷积核为3 ×3×3的卷积层将多个空间注意力图 融合成3个的空间注意力图， 最后使用Sigmoid激活函数将空间注意力图的值限制到0 ‑1之权　利　要　求　书 1/2 页 2 CN 115331059 A 2间以便得到前、 中和后柱骨折定位图SL,其中， ms为选择的空间注意力图的数量。 8.如权利要求5所述的系统， 其特 征在于， 所述的融合分类网络支路包含定位图特征提取和融合分类预测两个部分； 所述定位图 融合部分使用神经网络对骨折定位图SL的特征进 行提取， 所述融合分类预测部 分使用全连 接层对骨折定位图的特 征以及主干特 征向量F1进行融合并分类。 9.如权利要求5所述的系统， 其特 征在于， 所述融合分类网络支路获取最终分类结果的步骤为： 将前、 中和后柱骨折定位图SL输 入到定位图特征提取网络中提取一个定位图特征F2， 然后将主干特征向量F1与F2沿特征通 道进行拼接得到融合的特征向量F， 将F输入到所述融合分类预测网络中获得最终的分类结 果P。 10.如权利要求8所述的系统， 其特 征在于， 所述定位图特征提取的部分首先对3个定位图取平均获得一张骨折定位图， 然后一个 使用一个最大池化层和均值池化层， 将骨折定位图降采样到两个4 ×4×4大小特征图， 然后 将两个特 征图展开 拼接后获得维度为128的定位图特 征F2。 11.如权利要求1所述的系统， 其特 征在于， 所述模型训练单 元中， 其中， Ls定位自适应均方损失， 为第K类骨折定位图标签， SLK为模型预测得到的第K 类骨折定位图； K取值为0、 1、 2， 分别对应前、 中、 后柱骨折； i， j， k代表体素的三维坐标索引； ε为一个极小值， 取值 为0.000001， 用来保证分母不 为0。权　利　要　求　书 2/2 页 3 CN 115331059 A 3