(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211017115.2 (22)申请日 2022.08.23 (71)申请人 陕西省君凯电子科技有限公司 地址 710000 陕西省西安市 浐灞生态区欧 亚大道西段6 66号欧亚国际C座12层 (72)发明人 张凯元　 (74)专利代理 机构 北京和信华成知识产权代理 事务所(普通 合伙) 11390 专利代理师 胡剑辉 (51)Int.Cl. G06Q 20/32(2012.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 物品智能支付管理方法系统及其方法 (57)摘要 本申请公开了一种物品智能支付管理方法 系统及其方法， 其通过基于转换器的上下文编码 器对由摄像头扫描贴附于被扫描商品的FRID标 签上的条形码或二维码得到的商品信息进行编 码以得到商品描述特征向量， 并通过基于对抗生 成网络的图像生成器以得到商品生成图像， 然后 将被扫描商品的商品图像和商品生成图像输入 作为特征提取器的卷积神经网络模型以得到生 成图像特征矩阵和扫描图像特征矩阵， 然后通过 比较图像特征矩 阵和扫描图像特征矩 阵之间的 差异来得到表示扫描贴附于被扫描商品的FRID 标签上的条形码或二维码得到的商品信息是否 与被扫描商品相适配的分类结果。 这样， 在支付 前进行商品信息和RRID标签的校验， 以降低错误 支付的几率。 权利要求书3页 说明书13页 附图5页 CN 115330381 A 2022.11.11 CN 115330381 A 1.一种物品智能支付管理系统， 其特 征在于， 包括： 数据采集模块， 用于获取由摄像头扫描贴附于被扫描商品的FRID标签上的条形码 或二 维码得到的商品信息以及由所述摄 像头采集的所述被扫描 商品的商品图像； 商品信息描述编码模块， 用于对所述商 品信息进行分词处理后通过基于转换器的上下 文编码器以得到多个语义特征向量， 并将所述多个语义特征向量进行级联以得到商品描述 特征向量； 文本图像理解模块， 用于将所述商品描述特征向量通过基于对抗生成网络的图像生成 器以得到商品生成图像； 卷积编码模块， 用于将所述商 品生成图像和所述被扫描商 品的商品图像分别通过作为 特征提取器的卷积神经网络模型以得到生成图像特 征矩阵和扫描图像特 征矩阵； 融合模块， 用于 融合所述商品生成图像的数据矩阵和所述生成图像特征矩阵以得到优 化生成图像特 征矩阵； 差分模块， 用于计算所述优化生成图像特征矩阵与所述扫描图像特征矩阵之间的差分 特征矩阵； 以及 管理结果生成模块， 用于将所述差分特征矩阵通过分类器以得到分类结果， 所述分类 结果用于表示扫描贴附于被扫描商品的FRID标签上的条形码或二维码得到的商品信息是 否与被扫描 商品相适配。 2.根据权利要求1所述的物品智能支付管理系统， 其特征在于， 所述商品信 息描述编码 模块包括： 嵌入向量化单元， 用于使用所述上下文编码器的嵌入层将所述商 品信息进行分词处理 后映射为嵌入向量以获得嵌入向量的序列； 上下文语义关联编码单元， 用于使用所述上下文编码器的转换器对所述嵌入向量的序 列进行基于上 下位的全局语义编码以获得多个 语义特征向量。 3.根据权利要求2所述的物品智能支付管理系统， 其特征在于， 所述卷积编码模块， 包 括： 进一步用于使用所述卷积神经网络的各层在层的正向传递中分别对输入数据进行基于 卷积核的卷积处理、 池化处理和非线性激活处理以由所述卷积神经网络的最后一层输出所 述图像特征矩阵或所述扫描图像特征矩阵， 其中， 所述卷积神经网络的第一层的输入为所 述商品生成图像或所述被扫描 商品的商品图像。 4.根据权利要求3所述的物品智能支付管理系统， 其特征在于， 所述融合模块， 进一步 用于： 以如下公式来对所述商品生成 图像的数据矩阵和所述生成图像特征矩阵进行浅层 ‑ 深层特征分布的融合以得到优化 生成图像特 征矩阵， 其中， 所述公式为： 其中， M2′为优化生成图像特征矩阵， M1为所述商品生成图像的数据矩阵， M2为所述生成 图像特征矩阵， 表示所述生成图像特征矩阵的各个位置的值的均值， 且N为所述生成图像 特征矩阵的尺度， ⊙表示按位置 点乘， 表示按位置加， exp( ·)表示特征矩阵的指数运算，权　利　要　求　书 1/3 页 2 CN 115330381 A 2所述特征矩阵的指数运 算表示计算以矩阵中各个位置的特 征值为幂的自然指数函数值。 5.根据权利要求4所述的物品智能支付管理系统， 其特征在于， 所述差分模块， 用于以 如下公式来计算所述优化生成 图像特征矩阵与所述扫描图像特征矩阵之间的差分特征矩 阵， 其中， 所述公式为： 其中， Fd为所述差分特征图， F1为所述优化生成图像特征矩阵， 且F2为所述扫描图像特 征矩阵， 表示按位置 差分。 6.根据权利要求5所述的物品智能支付管理系统， 其特征在于， 所述管理结果生成模 块， 进一步用于： 使用所述分类器以如下公式对所述差分特征矩阵进行处理以生成分类结果， 其中， 所 述公式为： softmax{(Wn， Bn)： ...： (W1， B1)|Project(F)}， 其中Project(F)表示将所述差分 特征矩阵投影为向量， W1至Wn为各层全连接层的权重矩阵， B1至Bn表示各层全连接层的偏置 矩阵。 7.一种物品智能支付管理方法， 其特 征在于， 包括： 获取由摄像头扫描贴附于被扫描商品的FRID标签上的条形码或二维码得到的商品信 息以及由所述摄 像头采集的所述被扫描 商品的商品图像； 对所述商品信息进行分词处理后通过基于转换器的上下文编码器以得到多个语义特 征向量， 并将所述多个 语义特征向量进行级联以得到商品描述特 征向量； 将所述商品描述特 征向量通过基于对抗 生成网络的图像生成器以得到商品生成图像； 将所述商品生成图像和所述被扫描商品的商品图像分别通过作为特征提取器的卷积 神经网络模型以得到生成图像特 征矩阵和扫描图像特 征矩阵； 融合所述商品生成图像的数据矩阵和所述生成图像特征矩阵以得到优化生成图像特 征矩阵； 计算所述优化 生成图像特 征矩阵与所述扫描图像特 征矩阵之间的差分特 征矩阵； 以及 将所述差分特征矩阵通过分类器以得到分类结果， 所述分类结果用于表示扫描贴附于 被扫描商品的FRID标签上的条 形码或二维码得到的商品信息是否与被扫描 商品相适配。 8.根据权利要求7所述的物品智能支付管理方法， 所述对所述商品信息进行分词处理 后通过基于转换器的上 下文编码器以得到多个 语义特征向量， 包括： 使用所述上下文编码器的嵌入层将所述商品信息进行分词处理后映射为嵌入向量以 获得嵌入向量的序列； 使用所述上下文编码器的转换器对所述嵌入向量的序列进行基于上下位的全局语义 编码以获得多个 语义特征向量。 9.根据权利要求8所述的物品智能支付管理方法， 其特征在于， 包括： 以如下公式来对 所述商品生成图像的数据 矩阵和所述生成图像特征矩阵进 行浅层‑深层特征分布的融合以 得到优化 生成图像特 征矩阵， 其中， 所述公式为： 权　利　要　求　书 2/3 页 3 CN 115330381 A 3