(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211009767.1 (22)申请日 2022.08.22 (71)申请人 河北农业大 学 地址 071001 河北省保定市灵雨寺街289号 河北农业大 学 (72)发明人 李聪聪　刘明昊　滕桂法　李一帆　 王芳　张昱婷　 (74)专利代理 机构 北京卓岚智财知识产权代理 有限公司 1 1624 专利代理师 任漱晨 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/40(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 改进注意力机制的CNN-BiLSTM跌倒检测方 法 (57)摘要 本发明公开了一种改进注意力机制的CNN ‑ BiLSTM跌倒检测方法。 该方法通过CNN提取数据 的空间特征， 利用LSTM提取时间特征， 并进行特 征 融 合 ， 在 C N N 中 加 入 注 意 力 机 制— — Convolutional  Attention  Block Module (CBAM)卷积模块， 并针对CBAM的通道注意力模 块， 引入一维卷积替代全 连接层来聚合各通道间 的信息， 减少冗余计算的同时更好的对特征进行 提取， 以提高跌倒检测算法在复杂环 境下检测的 鲁棒性与稳定性。 权利要求书1页 说明书12页 附图3页 CN 115393956 A 2022.11.25 CN 115393956 A 1.改进注意力机制的CN N‑BiLSTM跌倒检测方法， 其特 征在于， 包括如下步骤： 将传感器固定 于受试者腰 部正中间， 采集人体日常活动和跌倒数据， 构建数据集； 将数据降噪以及数据分割处 理， 将数据转 化为预设形式的数据； 将预设形式的数据输入融合改进的CBAM注意力机制的CNN+双向LSTM的深度神经网络 模型， 得到跌倒的分类判别； 其中， 所述模型通过CNN提取数据的空间特征， 利用LSTM提取时间特征， 并进行特征融 合， 在CNN中加入注意力机制——Convolutional  Attention  Block Module(CBAM)卷积模 块， 并针对CBAM的通道注意力模块， 引入一 维卷积替代全连接层来聚合各通道间的信息， 以 减少冗余计算的同时更好的对特征进 行提取， 以提高跌倒检测方法在复杂环境下检测的鲁 棒性与稳定性。 2.根据权利要求1所述的改进注意力机制的CNN ‑BiLSTM跌倒检测方法， 其特征在于， 所 述融合改进的CBAM注 意力机制的CNN +双向LSTM的深度神经网络模 型主要由以下7个部分组 成： (1)输入层： 接受三轴加速度计和三轴角速度计的数据， 分别输入到卷积层和双向LSTM 层； (2)卷积层： 接受输入层传来的数据， 进行卷积运算， 其中卷积核大小为5 ×5×3， 每个 单元在卷积后根据方程ReLU激活函数进行激活； (3)注意力机制： 对于卷积神经网络生成的特征图， 卷积注意力模块(CBAM)会沿着两个 独立的维度(通道和空间)依次推断注意力图， 然后将注意力图与输入特征图相乘以进行自 适应特征优化； 为更好对人体的日常行为和跌倒行为的状态进行特征提取， 在模型 的不同 位置加入CBAM模块， 并对其进行改进； (4)池化层： 采用最大池化法进行子采样， 对卷积层所提取的信息做更一步降维， 缩减 模型大小， 减少计算 量， 同时提高所提取 特征的鲁棒 性； (5)双向LSTM层： 双向LSTM是由两层循环神经网络组成， 它们的输入相同， 只是信息传 递方向不同， 最终预测的结果是由前向和反向层共同决定； (6)Dropout层： 在全连接层和双向LSTM层后加入Dropout层， 在训练过程中， 对于神经 网络训练单元， 按照一定的概率将其从网络中移除， 防止模型过拟合， 提高模型的泛化能 力； (7)输出层： 对经过卷积处理后的特征向量和经过双向LSTM网络处理后的特征向量进 行拼接， 完成特征拼接， 再通过全连接层(Dense  layer)将每一个结点都与上一层的所有结 点相连， 用来把前边提取到的特征综合起来， 得到一个具体的数值， 然后根据softmax分类 器得出最终的分类结果。权　利　要　求　书 1/1 页 2 CN 115393956 A 2改进注意力机制的CN N‑BiLSTM跌倒检测方 法 技术领域 [0001]本发明属于人工智能领域， 尤其涉及一种改进注意力机制的CNN ‑BiLSTM跌倒检测 方法。 背景技术 [0002]现今， 随着 计算机计算能力的提高， 在人工智能(Art ificial Intelligent， A I)领 域中， 深度学习神经网络算法慢慢崭露头角。 深度学习是一种机器学习方法， 它作为人工神 经网络可以根据学习过程中的示例数据来独立地构建(训练)出基本规则。 随着深度学习模 型的不断发展， 利用深度学习对惯性传感器信号获取人体运动数据， 分析处理实现跌倒检 测具有重要意义。 深度学习算法能够自动提取最相关的特征来进行评估， 不需要从传感器 数据中手动提取预定特征， 与传统的机器学习算法相比可以提供更好的结果， 目前常见跌 倒检测中使用最多的深度学习模型有CN N、 LSTM等网络模型。 发明内容 [0003]发明人发现， 利用CNN提取数据特征并对数据进行检测与分类 的同时会忽略时序 化数据间的前后关联性， 针对这种情况， 可以设计循环神经网络来对时间序列数据进行处 理， 利用LSTM对前后关联信息的处理能力， 我们可以通过对跌倒前序列信号的分析得到导 致跌倒的行为模式， 来判断是否发生跌倒。 Mirto等人利用设计了一款基于LSTM的模型架 构， 该架构可以有效地检测跌倒， 同时可以在可穿戴设备上运行。 段美玲等人利用双向长短 期记忆神经网络进行跌倒检测， 实验结果表明， 利用双向LSTM可以更好地平衡精确度和 检 测时延两方面的性能， 但是LSTM网络在并行处 理上存在劣势， 并且忽略的数据的空间特 征。 [0004]因此， 为了充 分利用数据和特征来进行有效的跌倒检测， 针对上述CNN和LSTM深度 学习网络存在的问题， 本文利用基于加速度计和陀螺仪组合而成的IMU传感器装置的人体 运动数据进行采集， 提出了一种基于IMU的CBAM ‑IAM‑CNN‑BiLSTM跌倒检测算法， 该算法通 过CNN提取数据的空间特征， 利用LSTM提取时间特征， 并进 行特征融合， 在CNN中加入注 意力 机制——Conv olutional  Attention  Block Module(CBAM)卷积模块， 并针对CB AM的通道注 意力模块， 引入一维卷积替代全连接层来聚合各通道间的信息， 减少 冗余计算的同时更好 的对特征进行提取， 以提高跌倒检测算法在复杂环境下检测的鲁棒 性与稳定性。 [0005]具体， 改进注意力机制的CN N‑BiLSTM跌倒检测方法， 包括如下步骤： [0006]将传感器固定 于受试者腰 部正中间， 采集人体日常活动和跌倒数据， 构建数据集； [0007]将数据降噪以及数据分割处 理， 将数据转 化为预设形式的数据； [0008]将预设形式的数据输入融合改进的CBAM注意力机制的CNN+双向LSTM的深度神经 网络模型， 得到跌倒的分类判别； [0009]其中， 所述模型通过CNN提取数据的空间特征， 利用LSTM提取时间特征， 并进行特 征融合， 在CNN中加入注意力机制——Convolutional  Attention  Block Module(CBAM)卷 积模块， 并针对CBAM的通道注意力模块， 引入一维卷积替代全连接层来聚合各通道间的信说　明　书 1/12 页 3 CN 115393956 A 3