(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111453684.7 (22)申请日 2021.12.01 (71)申请人 上海市第六 人民医院 地址 200233 上海市徐汇区宜山路6 00号 (72)发明人 时海波　 (74)专利代理 机构 上海科政专利代理事务所 (普通合伙) 3146 3 代理人 杨军 (51)Int.Cl. G06V 40/18(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种识别眼部 视频中眨眼帧的方法 (57)摘要 本发明涉及视频影像 分析技术领域， 具体地 说是一种识别眼部视频中眨眼帧的方法， 包括以 下步骤： 1)采用深度学习模型对眼部视频数据进 行瞳孔中心定位， 获取视频内的瞳孔轨迹数据， 并将瞳孔轨迹坐标曲线转化为速度曲线； 2)使用 DBSCAN聚类算法， 依据瞳孔的时间序列数据特 征， 对眨眼帧进行识别； 3)依据步骤2)聚类算法 结果进行数据清洗； 4)对筛选出的眨眼帧进行平 滑操作； 本发明同现有技术相比， 选择不直接使 用视频中的图像数据进行判定， 而是将一段视频 作为一个整体， 使用机器学习的聚类方法进行识 别， 解决了能否在信号维度， 而非图像维度， 实现 医学视频中的眨眼帧快速自动识别的问题。 权利要求书1页 说明书4页 附图4页 CN 114093017 A 2022.02.25 CN 114093017 A 1.一种识别眼部 视频中眨眼帧的方法， 其特 征在于， 包括以下步骤： 1)采用深度学习模型对眼部视频数据进行瞳孔中心定位， 获取视频内的瞳孔轨迹数 据， 并将瞳孔轨 迹坐标曲线转 化为速度曲线； 2)使用DBSCAN聚类算法， 依据瞳孔的时间序列数据特 征， 对眨眼帧进行识别； 3)依据步骤2)聚类算法结果进行 数据清洗； 4)对筛选出的眨眼帧进行平 滑操作。 2.如权利要求1所述的识别眼部视频中眨眼帧的方法， 其特征在于： 步骤1)中， 瞳孔轨 迹速度公式为， 式中， x、 y为定位的瞳孔中心横坐标、 纵坐标， r为瞳孔半径。 3.如权利要求2所述的识别眼部视频中眨眼帧的方法， 其特征在于， 步骤2)中， 瞳孔时 间序列中每一帧的数据特征元组(dx， dy， dr)， 形成一个集合D， 指定搜索半径EPS和类别的 最小样本量Mi n Pts， 其具体步骤如下： (1)标记核心点， 核心点的定义为， 该点密度搜索半径EPS内至少包含Min  Pts个点， 其 余标记为非核心点； (2)从集合D中随机抽取一个未处 理的帧； (3)如果抽出的帧为核心点， 则从该点出发， 搜寻密度半径EPS内所有的可达对象， 与邻 接核心点 合并， 形成一个簇； 若抽出帧为非核心点， 则跳过； (4)重复步骤(2)和步骤(3)， 直至所有数据都被处 理； (5)最后输出 所有生成的簇， 选取最大簇作为清洗后样本 。 4.如权利要求3所述的识别眼部视频中眨眼帧的方法， 其特征在于： 步骤3)中， 根据瞳 孔数据中水平、 竖直方向的速度， 以及半径大小的变化速度， 同时结合三个特征维度上的信 息， DBSCAN聚类算法即可分辨出眨眼帧所在的位置 。 5.如权利要求4所述的识别眼部视频中眨眼帧的方法， 其特征在于， 步骤4)的具体步骤 为： (1)以眨眼帧为中心， 查找最近的非眨眼帧； (2)将该非眨眼帧的信号 值作为替换数值， 并将眨眼帧标记为 正常帧； (3)循环处 理直至所有眨眼帧均被处 理。权　利　要　求　书 1/1 页 2 CN 114093017 A 2一种识别眼部视频中眨眼帧的方 法 [技术领域] [0001]本发明涉及视频影像分析技术领域， 具体地说是一种识别眼部视频中眨眼帧的方 法。 [背景技术] [0002]目前， 深度学习已经广泛应用于医疗领域， 特别是在图像相关的领域。 关于眼部疾 病医疗领域， 由于光照、 头部摆动、 患者自身疾病等原因， 眼部的医学影像视频中眨眼帧的 频次会非常高， 这导致视频样本存在大量的噪声， 无法直接作为训练数据使用。 同时， 现有 的眨眼识别方法基于数值计算， 需要大量的时间成本， 没法满足对于 长视频的眨眼处 理。 [0003]具体地， 现有的眨眼检测方案为如下两种： [0004]方案一、 用面部数据的landmark进行眼球定位， 用以计算眼睛的纵横比(eye   aspect ratio,EAR)， 根据计算数值判 定是否眨眼； 再与 设定阈值进行比较， 若出现睁眼闭 眼状态的切换， 则认为出现眨眼动作； 该方案的缺点是对landmar k的准确率要求很高， 但是 在实际的各种复杂应用场景， 不同光照条件、 不同姿势、 高速运动时， landmark识别的准确 率较低， 因此基于此方法计算的眨眼检测准确 率不高， 而且需要对整张人脸的关键位置进 行计算， 计算 量较大， 造成延时较高， 不 适用于长视频的处 理。 [0005]方案二、 使用图像二值化的方法处理视频 图像， 然后选取最佳的阈值来提取每一 帧的瞳孔， 根据相邻两帧瞳孔形状的变化判断是否存在异常现象； 该方法可以快速得出结 果， 但对阈值的选择非常敏感， 非常依赖于瞳孔的准确提取， 而对于一段视频来说每一帧对 应的阈值往往不固定， 因此很难自动化处理； 同时该方法对于图像本身的要求较高， 出现反 光、 模糊、 黑白等问题会极大程度影响准确性。 [0006]此外， 以上两种方法都是基于图像的鉴别， 需要对整个图像进行解析， 难以将眨眼 检测作为一个独立的任务， 这限制了眨眼检测算法在一些场景中的表现， 如视频预处理等。 基于上述问题， 本发明选择不直接使用视频中的图像数据进行判定， 而是将一段视频作为 一个整体， 使用机器学习的聚类方法进行识别。 [发明内容] [0007]本发明的目的就是要解决上述的不足而提供一种识别眼部视频中眨眼帧的方法， 选择不直接使用视频中的图像数据进行判定， 而是将一段视频作为一个整体， 使用机器学 习的聚类方法， 最终 实现医学视频中的眨眼帧快速自动识别。 [0008]为实现上述目的设计一种识别眼部视频中眨眼帧的方法， 包括以下步骤： 1)采用 深度学习模型对眼部视频数据进行瞳孔中心定位， 获取视频内的瞳孔轨迹数据， 并将瞳孔 轨迹坐标曲线转化为速度曲线； 2)使用DBSCAN聚类算法， 依据瞳孔的时间序列数据特征， 对 眨眼帧进行识别； 3)依据步骤2)聚类算法结果进行数据清洗； 4)对筛选出的眨眼帧进行平 滑操作。 [0009]作为优选， 步骤1)中， 瞳孔轨 迹速度公式为，说　明　书 1/4 页 3 CN 114093017 A 3