(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013357.4 (22)申请日 2022.08.23 (71)申请人 天津瑞津智能科技有限公司 地址 300450 天津市滨 海新区西青经济技 术开发区赛达新兴产业园C座6层6- 215 (72)发明人 李月忠　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 姚泽鑫 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/30(2022.01) G06V 10/80(2022.01)G06T 7/30(2017.01) G06T 5/00(2006.01) (54)发明名称 基于红外光和可见光融合的行为识别方法 及终端设备 (57)摘要 本申请适用于行为识别技术领域， 提供了一 种基于红外光和可见光融合的行为识别方法及 终端设备， 其中， 方法包括： 获取待识别的至少一 个已配准图像组， 已配准图像组包括已配准的一 张可见光图像和一张红外光图像； 针对每个已配 准图像组， 对已配准图像组中的可见光图像进行 去噪处理， 得到可见光图像的去噪图像； 将已配 准图像组中的红外光图像与可见光图像的去噪 图像进行融合， 得到已配准图像组在预设约束条 件下的融合图像； 在预设约束条件下， 融合图像 与红外光图像的像素差异最小， 且融合图像与去 噪图像的梯度差异最小； 基于所有已配准图像组 在预设约束条件 下的融合图像， 确定已配准图像 组中的目标对象的行为类别。 该方案可以提高行 为识别的准确度。 权利要求书3页 说明书13页 附图3页 CN 115082968 A 2022.09.20 CN 115082968 A 1.一种基于红外光和可 见光融合的行为识别方法， 其特 征在于， 包括： 获取待识别的至少一个已配准图像组； 所述已配准图像组包括已配准的一张可见光图 像和一张红外光图像； 针对每个所述已配准图像组， 对所述已配准图像组中的可见光图像进行去噪处理， 得 到所述可 见光图像的去噪图像； 将所述红外光图像与 所述去噪图像进行融合， 得到所述已配准图像组在预设约束条件 下的融合图像； 在所述预设约束 条件下， 所述融合图像与所述红外光图像的像素差异最小， 且所述融合图像与所述去噪图像的梯度差异最小； 基于所有所述已配准图像组在预设约束条件下的融合图像， 确定所述已配准图像组中 的目标对象的行为类别。 2.根据权利要求1所述的行为识别方法， 其特征在于， 所述对所述已配准图像组中的可 见光图像进行去噪处 理， 得到所述可 见光图像的去噪图像， 包括： 基于所述可见光图像中各个像素的灰度值， 采用第 一梯度函数确定所述可见光图像中 各个像素的水平二阶梯度和垂直 二阶梯度； 所述第一梯度函数为： VISh(i)=[1/2(visi‑visr(i))+1/2(visi‑visl(i))]2； VISv(i)=[1/2(visi‑visb(i))+1/2(visi‑viso(i))]2； 其中，VISh(i)为所述可见光图像中第 i个像素的水平二阶梯度， VISv(i)为所述可见光图 像中第i个像素的垂直二阶梯度， visi为所述可见光图像中第 i个像素的灰度值， visr(i)为位 于所述第 i个像素右侧且与所述第 i个像素相邻的像素的灰度值， visl(i)为位于所述第 i个 像素左侧且与所述第 i个像素相邻的像素的灰度值， visb(i)为位于所述第 i个像素下方且与 所述第i个像素相邻的像素的灰度值， viso(i)为位于所述第 i个像素上方且与所述第 i个像 素相邻的像素的灰度值； 针对所述可见光图像中的每个像素， 对所述像素的所述水平二阶梯度与所述垂直二阶 梯度之和进行开 二次方运 算， 得到所述像素的综合梯度； 将所述可 见光图像中所有像素的所述综合梯度之和 确定为去噪调节因子； 基于所述可见光图像的列向量、 所述去噪调节因子及预设正则化权重， 采用预设去噪 函数确定所述去噪图像的列向量； 所述预设去噪函数为： DeN=Vis+ λ*DeNvis； 其中，DeN为所述去噪图像的列向量， Vis为所述可见光图像的列向量， λ为所述预设正 则化权重，DeNvis为所述去噪调节因子 。 3.根据权利要求1所述的行为识别方法， 其特征在于， 所述将所述红外光图像与所述去 噪图像进行融合， 得到所述已配准图像组在预设约束条件下的融合图像， 包括： 基于所述红外光图像的列向量和所述去噪图像的列向量， 采用预设约束函数确定所述 融合图像的待调节列向量； 所述预设约束函数为： ； 其中，MIX*为所述融合图像的待调节列向量， InF为所述红外光图像的列向量， ▽MIX*为 所述融合图像的梯度向量， DeN*为所述去噪图像的列向量， || MIX*‑InF||2用于表示 MIX*‑权　利　要　求　书 1/3 页 2 CN 115082968 A 2InF的L2范数， ||▽MIX*‑ DeN*||1用于表示 ▽MIX*‑ DeN*的L1范数， λ为预设正则化权 重； 所述融合图像的梯度向量中的每 个元素的值均通过以下公式确定得到： MIX* 1=[1/2(MIX* i‑MIX* r(i))+1/2(MIX* i‑MIX* l(i))]2； MIX* 2=[1/2(MIX* i‑MIX* b(i))+1/2(MIX* i‑MIX* o(i))]2； ； 其中，MIX* i为所述融合图像的待调节列向量中第 i个元素对应的像 素的灰度值， MIX* r(i) 为位于所述第 i个元素对应的像素右侧且与所述第 i个元素对应的像素相邻的像素 的灰度 值，MIX* l(i)为位于所述第 i个元素对 应的像素左侧且与所述第 i个元素对应的像素相邻的像 素的灰度值， MIX* b(i)为位于所述第 i个元素对应的像素下方且与所述第 i个元素对应的像素 相邻的像素的灰度值， MIX* o(i)为位于所述第 i个元素对应的像素上方且与所述第 i个元素对 应的像素相邻的像素的灰度值； 对所述融合图像的待调节列向量进行 标准化处理， 得到所述融合图像的列向量。 4.根据权利要求3所述的行为识别方法， 其特征在于， 所述对所述融合图像的待调节列 向量进行 标准化处理， 得到所述融合图像的列向量， 包括： 基于预设标准化公式对所述融合图像的待调节列向量进行标准化处理， 得到所述融合 图像的列向量； 所述预设标准 化公式为： ； 其中，MIX* i为所述融合图像的待调节列向量 中第i个元素对应的像素的灰度 值，MIXi为 所述融合图像的列向量中第 i个元素对应的像素的灰度值。 5.根据权利要求4所述的行为识别方法， 其特征在于， 所述基于所有所述已配准图像组 在预设约束条件下的融合图像， 确定所述已配准图像组中的目标对象的行为类别， 包括： 将所有所述融合图像导入至上下文注意力网络 中， 得到所述已配准图像组中的目标对 象的动态行为数据； 所述动态行为数据通过每相 邻两个所述融合图像中所述目标对象与 环 境对象之间的位置变化向量描述； 将所述动态行为数据导入行为识别模型中， 得到所述目标对象的动作类型。 6.一种终端设备， 其特 征在于， 包括： 第一获取单元， 用于获取待识别的至少一个已配准图像组； 所述已配准图像组包括已 配准的一张可 见光图像和一张红外光图像； 图像去噪单元， 用于针对每个所述已配准图像组， 对所述已配准图像组中的可见光图 像进行去噪处 理， 得到所述可 见光图像的去噪图像； 图像融合单元， 用于将所述红外光图像与所述去噪图像进行融合， 得到所述已配准图 像组在预设约束条件下 的融合图像； 在所述预设约束条件下， 所述融合图像与所述红外光 图像的像素差异最小， 且所述融合图像与所述去噪图像的梯度差异最小； 行为识别单元， 用于基于所有所述已配准图像组在预设约束条件下的融合图像， 确定 所述已配准图像组中的目标对象的行为类别。权　利　要　求　书 2/3 页 3 CN 115082968 A 3