(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211064052.6 (22)申请日 2022.08.29 (71)申请人 锋睿领创 （珠海） 科技有限公司 地址 519000 广东省珠海市横琴新区环岛 东路1889号创意谷18栋110室-534 （集 中办公区） (72)发明人 何良雨　崔健　刘彤　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 谭果林 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/77(2022.01) (54)发明名称 辅助加权数据融合方法、 装置、 设备及存储 介质 (57)摘要 本发明涉及人工智能领域， 尤其涉及机器视 觉领域， 公开了一种辅助加权数据融合方法、 装 置、 设备及存储介质， 其中， 方法包括： 获取对目 标物进行多源光学信息采集得到的主要视觉数 据和辅助视觉数据； 分别对主要视觉数据和辅助 视觉数据进行特征提取得到主要视觉特征和辅 助视觉特征； 对主要视觉特征和辅助视觉特征进 行特征距离关系计算得到目标距离关系矩阵； 基 于目标距离关系矩阵进行权重转换得到权重值， 并根据权重值对主要视觉特征进行加权计算得 到目标物的视觉融合特征； 本发 明以两种不同的 光学信息数据为基础， 利用距离关系矩阵加权， 获得表达能力更强更全面的视觉融合特征， 从而 能够解决更多更复杂的材 料工艺视 觉分析问题。 权利要求书2页 说明书18页 附图3页 CN 115496975 A 2022.12.20 CN 115496975 A 1.一种辅助加权数据融合方法， 其特 征在于， 包括： 获取对目标物进行多源光学信息采集得到的主 要视觉数据和辅助视 觉数据； 分别对所述主要视觉数据和所述辅助视觉数据进行特征提取， 得到主要视觉特征和辅 助视觉特征； 对所述主要视觉特征和所述辅助视觉特征进行特征距离关系计算， 得到目标距离关系 矩阵； 基于所述距离关系矩阵进行权重转换得到权重值， 并根据 所述权重值对所述主要视觉 特征进行加权计算， 得到所述目标物的视 觉融合特 征。 2.如权利要求1所述的辅助加权数据融合方法， 其特征在于， 所述对所述主要视觉特征 和所述辅助视 觉特征进行特征距离关系计算， 得到目标距离关系矩阵， 包括： 对所述主要视觉特征进行矩阵维度转换， 并对矩阵维度转换后的所述主要视觉特征进 行非线性激活， 得到第一预处 理特征； 对所述辅助视觉特征进行全局平均池化处理， 并对全局 平均池化后的所述辅助视觉特 征进行非线性激活， 得到第二预处 理特征； 采用矩阵乘法对所述第 一预处理特征和所述第 二预处理特征进行协方差矩阵计算， 得 到所述主 要视觉特征和所述辅助视 觉特征的距离关系矩阵， 作为所述目标距离关系矩阵。 3.如权利要求2所述的辅助加权数据融合方法， 其特征在于， 所述对所述主要视觉特征 进行矩阵维度转换， 并对矩阵维度转换后的所述主要视觉特征进行非线性激活， 得到第一 预处理特征， 包括： 获取维度压缩参数， 并根据所述维度压缩参数对所述主要视觉特征进行维度压缩， 得 到预设维度的第一压缩特 征； 对所述第一压缩特 征进行矩阵维度转换， 得到第一 转换特征； 采用第一激活函数对所述第一 转换特征进行非线性激活， 得到所述第一预处 理特征。 4.如权利要求2所述的辅助加权数据融合方法， 其特征在于， 所述对所述辅助视觉特征 进行全局平均池化处理， 并对全局平均池化后的所述辅助视觉特征进行非线性激活， 得到 第二预处 理特征， 包括： 根据维度压缩参数对所述辅助视觉特征进行维度压缩， 得到预设维度的第二压缩特 征； 对所述第二压缩特 征进行全局平均池化处 理， 得到第二全局特 征； 对所述第二全局特 征进行向量 转置， 得到第二 转换特征； 采用第二激活函数对所述第二 转换特征进行非线性激活， 得到所述第二预处 理特征。 5.如权利要求1所述的辅助加权数据融合方法， 其特征在于， 所述对所述主要视觉特征 进行矩阵维度转换之前， 所述方法还 包括： 确定所述主 要视觉特征是否包括多个子特 征； 若所述主要视觉特征未包括多个所述子特征， 则对所述主要视觉特征进行矩阵维度转 换； 若所述主要视觉特征包括多个所述子特征， 且多个所述子特征的图像尺度依次增加， 则对所述辅助视觉特征和图像尺度最小的第一个所述子特征进行特征距离 关系计算， 得到 第一个所述子特 征的距离关系矩阵；权　利　要　求　书 1/2 页 2 CN 115496975 A 2对上一所述子特征的距离关系矩阵进行上采样， 得到当前所述子特征对应的采样特 征， 并对每一所述子特征和对应的所述采样特征进行特征距离关系计算， 得到每一所述子 特征的距离关系矩阵； 将每一所述子特 征的距离关系矩阵汇总作为所述目标距离关系矩阵。 6.如权利要求5所述的辅助加权数据融合方法， 其特征在于， 所述对每一所述子特征和 对应的所述采样特 征进行特征距离关系计算， 得到每一所述子特 征的距离关系矩阵， 包括： 对每一所述子特征进行矩阵维度转换， 并对矩阵维度转换后的所述子特征进行非线性 激活， 得到每一所述子特 征的预处 理特征； 对每一所述采样特征进行全局平均池化处理， 并对全局 平均池化后的所述采样特征进 行非线性激活， 得到每一所述采样特 征的预处 理特征； 分别对每一所述子特征的预处理特征和对应所述采样特征的预处理特征进行协方差 矩阵计算， 得到每一所述子特 征的距离关系矩阵。 7.如权利要求1 ‑6任一项所述的辅助加权数据融合方法， 其特征在于， 所述目标距离关 系矩阵包括所述主要视觉特征中多个子特征对应的所述距离关系矩阵， 所述基于所述距离 关系矩阵进行权重转换得到权重值， 并根据所述权重值对所述主要视觉特征进行加权计 算， 得到所述目标物的视 觉融合特 征， 包括： 采用第三激活函数对每一所述子特征的距离关系矩阵进行激活， 得到每一所述子特征 的权重值； 根据每一所述子特征的权重值对多个所述子特征进行融合， 得到所述视觉融合特征， 所述子特征 的距离关系矩阵为基于所述辅助视觉特征对所述子特征进行特征距离关系计 算获得的距离关系矩阵。 8.一种辅助加权数据融合装置， 其特 征在于， 包括： 采集模块， 用于获取对目标物进行多源光学信 息采集得到的主要视觉数据和辅助视觉 数据； 特征提取模块， 用于分别对所述主要视觉数据和所述辅助视觉数据进行特征提取， 得 到主要视觉特征和辅助视 觉特征； 距离关系计算模块， 用于对所述主要视觉特征和所述辅助视觉特征进行特征距离关系 计算， 得到目标距离关系矩阵； 融合模块， 用于基于所述距离关系矩阵进行权重转换得到权重值， 并根据所述权重值 对所述主 要视觉特征进行加权计算， 得到所述目标物的视 觉融合特 征。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述辅助加权数据融合方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述辅助加权数据融合方 法的步骤。权　利　要　求　书 2/2 页 3 CN 115496975 A 3